Joint Optimization of Relevance and Engagement in Multi-Task Ranking for E-Commerce with Efficient LLM Supervision
工业搜索排序只用参与度信号优化会引入系统性偏差,偏向热门或价格锚定商品而不满足语义意图。论文提出生产级多任务排序系统,把语义相关性作为首要优化目标:用 ordinal relevance head 预测跨相关性阈值的累积概率以保留标签序关系,再与 engagement head 通过统一 value model 融合,实现可控的相关性-参与度权衡。用微调的轻量 LLM 在 1 亿+ query-item 对上批量生成三级序数相关性标签。离线 NDCG@10 与在线 A/B 均报告提升(摘要未给具体数值)。
INSIGHT对“相关性(nDCG)+CTR 双目标”的社区搜索场景高度对口。ordinal head 用累积概率建模有序标签,比多分类更契合相关性等级语义;用轻量 LLM 产 1 亿级相关性标签解决了相关性标注稀缺,是把 LLM 当离线标注器而非在线打分器的实用路线,在线无额外推理成本。