LLM-as-a-Judge for Reliable and Explainable Offline Evaluation in Top-K Recommendation
传统离线推荐评测用 Top-K 指标加严格 ID 匹配,受曝光偏置影响导致评估失真,且只给数字不给理由。论文提出 LLM-as-a-Judge 离线评测框架:用用户文本行为构造语义代理(semantic proxy)替代 holdout 反馈,在语义空间做柔性匹配;LLM 以'先推理后打分'生成相关性判断与显式理由,再聚合为带解释的 Top-K 指标,并为每次命中或漏召给出依据。实验显示该框架在可靠性、可解释性与鲁棒性上均优于传统离线评测。
INSIGHT核心是把推荐评测从'ID 命中'换成'语义命中 + 可解释理由',绕开曝光偏置导致的假阴性。对 UGC 社区搜索这种有海量用户文本行为的场景特别契合——可用同样思路做相关性离线评测,让每个 hit/miss 都有 LLM 给出的判断依据,缓解人工标注成本与离线/在线指标错配。落地需关注 LLM 判分的成本与跨样本一致性。