Joint Optimization of Relevance and Engagement in Multi-Task Ranking 深度解读

1. 问题与动机

工业搜索排序若只用参与度信号（CTR / ATCR 加购率 / CVR）优化，会引入系统性偏差：因热门、价格锚定或词面重叠而获得点击的商品会被上排，即便语义上并不满足用户意图。难点在于高质量语义相关性监督在生产规模下稀缺——人工标注昂贵、缓慢，且对含数百万商品与长尾 query 的动态目录难以维护。于是形成根本张力：行为信号丰富但有偏，人工相关性判断可靠但稀疏。DoorDash 的目标是把语义相关性提升为首要优化目标，同时可控地平衡参与度。

2. 方法详解

三大件：序数相关性头 + 统一 value model + LLM 大规模产标。

• Ordinal relevance head：不做二分类或 softmax，而是预测两个累积概率 p(r≥1)、p(r≥2)（相关性分级 0 不相关 / 1 中等 / 2 高度相关），标量相关性分 ŝ_rel = p̂(r≥1)+p̂(r≥2) 即期望相关性等级（式 3），天然保序。
• 统一 value model 打分（式 1）：S(q,i)=α·ŷ_CTR+β·ŷ_ATCR+γ·ŷ_CVR+(1−α−β−γ)·ŝ_rel，α/β/γ∈[0,1] 可调，显式控制相关性-参与度权衡。
• LLM 大规模产标流水线：①收集约 60 万人工标注作基线；②审计步骤——对"人工标 irrelevant 但参与度排进前 50%"的样本，用 GPT-4o 或 o3 配更细粒度 prompt 复评；③用 Query-to-Taxonomy(Q2T) transformer 预测相关类目做"标签调和"：类目命中则取人工/审计 LLM 的较高分，否则取较低分；④在审计后标签上微调 gpt-4o-mini，再推到 1 亿+ query-item 对。微调 LLM 在 10.5 万 hold-out 上三分类准确率 89%、within-1 准确率（|人工−LLM|≤1）98%。
• 多任务架构：共享底层处理 query / item / consumer / interaction（BM25、历史率、字符串相似度）/ user-item / user-taxonomy 等特征，任务塔分别预测 CTR/ATCR/CVR 与序数相关性头；因共享底层与特征复用，加相关性头几乎不增计算成本。

3. 核心技术贡献

(1) 把 LLM 从"外部裁判"升级为"一等训练信号"：用多阶段审计 + Q2T 调和 + 微调小模型，把可靠相关性标签从 60 万人工扩到 1 亿级，解决相关性监督稀缺的根因，且 within-1 98% 的标注质量足以支撑训练。
(2) 序数累积概率头：相比 softmax 多分类或 MSE 回归，更契合相关性"有序等级"语义，并可直接转成能加进 value model 的标量分。
(3) 统一 value model 用可调权重显式建模相关性-参与度权衡，给出可操作的 trade-off 前沿，而非隐式融合。

4. 实验结果分析

离线（Table 1，200 万 query-item 对）：参与度-only 基线用 CTR 当相关性代理，Relevance NDCG@10 仅 0.812；本文序数法把 Relevance NDCG@10 提到 0.962（+0.150），同时 Click/ATCR/CVR 的 AUC（0.838/0.851/0.855）与基线持平。softmax(0.961)、regression(0.959) 也能拉高相关性 NDCG，但 trade-off 前沿（图 2）显示序数法在相同转化 NDCG 下相关性 NDCG 更高，且"适度的相关性权重即可大幅提升相关性、几乎不损参与度"。
在线 A/B（Table 2，三周）：ATCR +1.16%(p=0.01)、CVR +1.10%(p=0.01)、GOV 总订单额 +0.50%(p=0.03)，均显著。关键发现：提升语义相关性不仅没牺牲参与度，反而拉高了参与度与成交。
消融：仅把序数头当辅助任务、不把相关性并入最终打分（Auxiliary Only），相关性 NDCG 仅比基线微升——证明把相关性整合进统一 value model（式 1）才是收益关键，而非单纯多一个监督任务。

5. 局限与未来方向

作者未单列局限，但指向：探索更丰富语义信号（query 意图分解、属性级相关性）；用 query 自适应权重替代全局 value model 权重；纳入长期用户满意度指标。隐含局限：序数仅取 0/1/2 三级以平衡，未试更细粒度；微调 gpt-4o-mini 受标签分布敏感性约束，且未量化推理成本/延迟；在线实验仅三周，对低方差指标统计功效有限。

6. 工业实践意义

这篇与"社区搜索（相关性 nDCG + CTR 双目标）"场景几乎逐项对口，落地启示：(1) 别让 LLM 在线打分，而把它当离线/近线的相关性标注器，用"人工种子→审计可疑样本→类目调和→微调小模型批量推全量"的流水线，把相关性监督扩到亿级，within-1 98% 质量即可用；(2) 相关性头用序数累积概率而非多分类，保序且能转标量；(3) 用统一 value model 的可调权重显式做相关性-参与度权衡，并据 trade-off 前沿选"适度相关性权重"——可能同时涨相关性和 CTR/转化；(4) 关键是把相关性分真正并入线上排序打分，仅当辅助任务收益甚微。DoorDash 三周 A/B 的 ATCR/CVR/GOV 同向正收益，是双目标可兼得的有力证据。