Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments
商业搜索同时优化行为相关性(用户点击/下载)与文本相关性(语义匹配),但专家标注的文本相关性标签相对海量行为标签极度稀缺。论文系统评估多种 LLM 配置,发现经过专门微调的小模型在生成高相关性标签上显著优于规模大得多的预训练大模型;以该最优模型为「放大器」生成数百万条文本相关性标签,用于增强 App Store 生产排序器。结果显示注入 LLM 生成判断后线上排序相关性获得提升。
INSIGHT直接回应「文本相关性标注稀缺」这一搜索团队普遍痛点:与其用超大模型零样本打标,不如用领域微调的小模型批量生产标签做数据扩增,性价比更高。把 LLM 判断作为弱监督信号注入生产排序器、而非直接替换排序器,是工业界落地 LLM-as-judge 的稳妥路径,可直接迁移到社区搜索的相关性样本扩充。