The Impact of Backbone Evolution on LLM-Based Relevance Assessments
论文固定 UMBRELA 与 EXAM 提示,比较 Gemini、GPT、Qwen、Llama 的版本变化对相关性打标的影响。新版模型并不稳定保留旧版正确判断;Gemini Flash 在 UMBRELA 下31.3%的退化错误来自过度强调局部方面,另有6.4%来自表面关键词匹配。
INSIGHT社区搜索使用 LLM 产生训练标签或离线评估时,应把模型版本视为评估配置的一部分,并维护固定人工标注集。升级前逐条分析正确变错误的样本,区分整体准确率与标签稳定性;同时验证提示与模型是否匹配,避免标签漂移让 nDCG 改善失去可比性。