RECOM: A Validity Discrimination Tradeoff in Automatic Metrics for Open Ended Reddit Question Answering
自动指标被默认用于评测 LLM 生成文本,但同时承担两个任务:区分真实语义对齐与表面巧合(validity),以及区分系统好坏(discriminative power)。作者构建无污染评测集 RECOM,含 15,000 个 r/AskReddit 问题(2025 年 9 月,晚于所有被测模型训练截止)及其真实社区回复,对 5 个 7–10B 开源 LLM 打分。发现没有指标能同时做好两件事:余弦相似度能区分真实与随机回复(Cohen's d≈2)却无法排序模型(|d|<0.1);BERTScore precision 看似能排序(|d|≤0.63),但控制回复长度后塌缩到 |d|=0.09。
INSIGHT直接关系到社区搜索如何评测生成式答案质量。论文指出 validity–discrimination tradeoff 是指标本身的性质而非模型差异,源于表示设计;三个独立 LLM 裁判同样复现了 validity 缺口。实践启示:评测 UGC 问答与生成式答案时,应在两个轴上分别报告指标并显式给出随机派生(random-derangement)基线地板,警惕用单一相似度指标做模型选型会失效。其无污染数据集构造思路(用训练截止之后的社区真实回复)也值得借鉴。