Zhejiang University
USTCLLM-as-a-Judge for Reliable and Explainable Offline Evaluation in Top-K Recommendation
City University of Hong Kong
SJTUXiamen University📖 有深读 · 8 分钟传统离线推荐评测用 Top-K 指标加严格 ID 匹配，受曝光偏置影响导致评估失真，且只给数字不给理由。论文提出 LLM-as-a-Judge 离线评测框架：用用户文本行为构造语义代理（semantic proxy）替代 holdout 反馈，在语义空间做柔性匹配；LLM 以'先推理后打分'生成相关性判断与显式理由，再聚合为带解释的 Top-K 指标，并为每次命中或漏召给出依据。实验显示该框架在可靠性、可解释性与鲁棒性上均优于传统离线评测。
INSIGHT核心是把推荐评测从'ID 命中'换成'语义命中 + 可解释理由'，绕开曝光偏置导致的假阴性。对 UGC 社区搜索这种有海量用户文本行为的场景特别契合——可用同样思路做相关性离线评测，让每个 hit/miss 都有 LLM 给出的判断依据，缓解人工标注成本与离线/在线指标错配。落地需关注 LLM 判分的成本与跨样本一致性。
LLM-as-a-Judge 离线推荐评测 深度解读：用语义匹配替代 ID 匹配
1. 问题与动机
论文针对离线 Top-K 推荐评测的两个根本缺陷。其一是可靠性：传统离线评测把 holdout 的用户反馈当作"真实偏好"的代理，并在推荐列表 π_K 与 holdout 集 T̂ 之间做严格 ID 匹配。但真实反馈是 MNAR（missing-not-at-random）的——用户历史只覆盖被系统曝光的一小部分物品，曝光受部署系统的 exposure control 与用户浏览行为偏置塑造。于是 ID 匹配会把"用户其实喜欢但从未曝光"的物品判为不相关（假阴性），使离线排名与无偏 ground truth 系统性偏离。其二是可解释性：Recall@K、NDCG@K 只给数字、不给理由，强化了离线评测的黑箱性，无法支撑可解释推荐研究。作者主张借 LLM 的世界知识与推理能力，把"ID 命中"换成"语义命中 + 可解释理由"。
2. 方法详解
框架分三步。(1) Judging Process：假设每个物品带自然语言侧信息（标题、属性、短描述）。Judge 先在 reasoning 步从用户历史交互总结出"语义代理"P_u（high-level 兴趣画像），再做 semantic matching——对推荐列表每个候选，基于语言特征做 chain-of-thought 推理判断其与推断画像是否匹配，产出一句话理由；scoring 步据此给二值相关性分（1 相关/0 不相关）。(2) Prompt Construction：模板固定两条 basic principle——reasoning-then-scoring（先推理后打分）与 reject-by-default（默认拒绝，起始位置 REJECT(0)，仅当证据无可辩驳才给 1），后者专门对冲 LLM 的 over-approve 与幻觉倾向。模板把 task definition、matching criteria、input fields、output format 模块化，换任务只改 instruction block，输出强制为含 'reason' 与 'score' 的 JSON。(3) Outcome Evaluation：把二值判断聚合回标准 Top-K 指标。NDCG_Judge@K 按标准方式把 y_{u,i_r}∈{0,1} 当相关性信号；因不依赖 holdout T_u（其大小不可得），Recall_Judge@K 用 1/K 归一化命中数（Eq.6）。默认 backbone 用 Qwen3-30B-A3B，temperature=0 保证确定性输出。
3. 核心技术贡献
1) 提出"语义代理 + 语义匹配"替代 holdout ID 匹配，从机制上绕开 MNAR 曝光偏置导致的假阴性——把离线评测从"数据集依赖"转向"偏好语义依赖"的范式切换。2) 设计 reasoning-then-scoring + reject-by-default 的判分协议，并经消融证明二者缺一不可；reject-by-default 是抑制 LLM 评测虚高的关键工程设计。3) 给出可聚合为标准 Recall/NDCG 的协议，使方法能无缝替换现有评测管线，同时每个 hit/miss 附 LLM 理由，实现可解释评测。
4. 实验结果分析
用两个带"无偏测试集"的数据集做 ground truth：Kuairec（12.5M 交互、7.1k 用户、10.7k 物品，含全曝光稠密子集 1.4k 用户×3.3k 物品）与 Coat（290 用户对 300 件服饰评分，含每用户 16 个随机曝光物品的无偏集）。被评排序模型涵盖 MF、NeuMF、NGCF、LR-GCCF、LightGCN、SimGCL、MGCCF、GTN、CAGED。以"代理评测排名与无偏排名的一致性"衡量（Pearson/Spearman/Kendall）。Table 1 显示 LLM Judge 全面优于 normal testing：Kuairec Recall@20 的 Pearson 从 35.56 提到 87.62（+52.07）、Spearman 26.19→85.71；NDCG@20 Pearson 2.65→62.61。最具说服力的是 Coat NDCG@3——normal testing 与无偏 ground truth 竟是强负相关（Pearson −77.57、Spearman −76.19），即传统离线评测会给出方向性错误的模型排名，而 LLM Judge 把它逆转为正相关（Pearson 73.86、Spearman 80.95），且所有提升均通过 p<0.05 显著性检验。可解释性（Table 2，人工三维打分、Fleiss' κ>0.75）：Coat 上 Coherence/Faithfulness/Persuasiveness 分别 85.33/83.33/82.17%；理由聚类（BGE-M3 + K-Means）显示 Match 含"逻辑外推、直接匹配、交叉匹配"三类，Mismatch 能识别性别错配、属性级冲突。鲁棒性（RQ3）：从 Qwen3-4B 到 30B 再到 DeepSeek-V3.2 各 backbone 均超基线，说明不强依赖单一模型容量；输入消融（Table 4）中 rewrite（改写 prompt）几乎不影响，w/o-RJ（去掉 reject-by-default）因过度批准使 NDCG 大幅退化，w/o-RS（去掉先推理后打分）整体变差；保留 60%/30% 历史仍稳定，降到 10% 才失效（等价冷启动）。
5. 局限与未来方向
作者在结论中明确未来工作：把该评测范式从 Top-K 扩展到序列、跨域、实时推荐。论文自身揭示的局限：当用户历史只剩 10%（冷启动）时 Judge 失效，因语义代理无法从极稀疏行为构建；方法依赖物品有可用的自然语言侧信息（无文本的 Yahoo!R3 被排除），对纯 ID、缺描述场景不适用；reject-by-default 虽抑制虚高，也可能漏掉真实但证据"不够无可辩驳"的偏好。隐含成本：每个候选都要一次 LLM 推理，大规模评测的算力与延迟开销显著（论文把 runtime 放在附录）。
6. 工业实践意义
对 UGC 社区搜索/推荐这种天然富含用户文本行为（搜索词、发帖、评论）与物品文本（帖子标题、问答正文）的场景，这套方法契合度极高：可用同样的"语义代理 + reasoning-then-scoring"做相关性离线评测，缓解曝光偏置造成的离线/线上指标错配，并让每个判断可追溯到 LLM 给的理由，降低人工标注成本。最值得直接搬用的工程点是 reject-by-default——它是把 LLM 判分从"老好人"拉回可用的关键，否则离线指标会系统性虚高。落地建议：先在有小规模无偏（随机曝光/人工标注）集的子流量上校准 Judge 与人工的一致性，再用作大规模 A/B 前的离线门槛；用确定性解码（temperature=0）保证可复现；对成本敏感时可用较小开源模型（实验显示 Qwen3-4B 即超基线）并对候选做采样判分。需警惕：对缺乏文本侧信息的纯 ID 物品、以及重度冷启动用户，该评测不可靠，应保留传统指标兜底。
Yonsei University
Deezer