TaboolaJoint Optimization of Relevance and Engagement in Multi-Task Ranking for E-Commerce with Efficient LLM Supervision
DoorDash📖 有深读 · 6 分钟工业搜索排序只用参与度信号优化会引入系统性偏差，偏向热门或价格锚定商品而不满足语义意图。论文提出生产级多任务排序系统，把语义相关性作为首要优化目标：用 ordinal relevance head 预测跨相关性阈值的累积概率以保留标签序关系，再与 engagement head 通过统一 value model 融合，实现可控的相关性-参与度权衡。用微调的轻量 LLM 在 1 亿+ query-item 对上批量生成三级序数相关性标签。离线 NDCG@10 与在线 A/B 均报告提升（摘要未给具体数值）。
INSIGHT对“相关性(nDCG)+CTR 双目标”的社区搜索场景高度对口。ordinal head 用累积概率建模有序标签，比多分类更契合相关性等级语义；用轻量 LLM 产 1 亿级相关性标签解决了相关性标注稀缺，是把 LLM 当离线标注器而非在线打分器的实用路线，在线无额外推理成本。
Joint Optimization of Relevance and Engagement in Multi-Task Ranking 深度解读
1. 问题与动机
工业搜索排序若只用参与度信号（CTR / ATCR 加购率 / CVR）优化，会引入系统性偏差：因热门、价格锚定或词面重叠而获得点击的商品会被上排，即便语义上并不满足用户意图。难点在于高质量语义相关性监督在生产规模下稀缺——人工标注昂贵、缓慢，且对含数百万商品与长尾 query 的动态目录难以维护。于是形成根本张力：行为信号丰富但有偏，人工相关性判断可靠但稀疏。DoorDash 的目标是把语义相关性提升为首要优化目标，同时可控地平衡参与度。
2. 方法详解
三大件：序数相关性头 + 统一 value model + LLM 大规模产标。
- Ordinal relevance head：不做二分类或 softmax，而是预测两个累积概率 p(r≥1)、p(r≥2)（相关性分级 0 不相关 / 1 中等 / 2 高度相关），标量相关性分 ŝ_rel = p̂(r≥1)+p̂(r≥2) 即期望相关性等级（式 3），天然保序。
- 统一 value model 打分（式 1）：S(q,i)=α·ŷ_CTR+β·ŷ_ATCR+γ·ŷ_CVR+(1−α−β−γ)·ŝ_rel，α/β/γ∈[0,1] 可调，显式控制相关性-参与度权衡。
- LLM 大规模产标流水线：①收集约 60 万人工标注作基线；②审计步骤——对"人工标 irrelevant 但参与度排进前 50%"的样本，用 GPT-4o 或 o3 配更细粒度 prompt 复评；③用 Query-to-Taxonomy(Q2T) transformer 预测相关类目做"标签调和"：类目命中则取人工/审计 LLM 的较高分，否则取较低分；④在审计后标签上微调 gpt-4o-mini，再推到 1 亿+ query-item 对。微调 LLM 在 10.5 万 hold-out 上三分类准确率 89%、within-1 准确率（|人工−LLM|≤1）98%。
- 多任务架构：共享底层处理 query / item / consumer / interaction（BM25、历史率、字符串相似度）/ user-item / user-taxonomy 等特征，任务塔分别预测 CTR/ATCR/CVR 与序数相关性头；因共享底层与特征复用，加相关性头几乎不增计算成本。
3. 核心技术贡献
(1) 把 LLM 从"外部裁判"升级为"一等训练信号"：用多阶段审计 + Q2T 调和 + 微调小模型，把可靠相关性标签从 60 万人工扩到 1 亿级，解决相关性监督稀缺的根因，且 within-1 98% 的标注质量足以支撑训练。
(2) 序数累积概率头：相比 softmax 多分类或 MSE 回归，更契合相关性"有序等级"语义，并可直接转成能加进 value model 的标量分。
(3) 统一 value model 用可调权重显式建模相关性-参与度权衡，给出可操作的 trade-off 前沿，而非隐式融合。
4. 实验结果分析
离线（Table 1，200 万 query-item 对）：参与度-only 基线用 CTR 当相关性代理，Relevance NDCG@10 仅 0.812；本文序数法把 Relevance NDCG@10 提到 0.962（+0.150），同时 Click/ATCR/CVR 的 AUC（0.838/0.851/0.855）与基线持平。softmax(0.961)、regression(0.959) 也能拉高相关性 NDCG，但 trade-off 前沿（图 2）显示序数法在相同转化 NDCG 下相关性 NDCG 更高，且"适度的相关性权重即可大幅提升相关性、几乎不损参与度"。
在线 A/B（Table 2，三周）：ATCR +1.16%(p=0.01)、CVR +1.10%(p=0.01)、GOV 总订单额 +0.50%(p=0.03)，均显著。关键发现：提升语义相关性不仅没牺牲参与度，反而拉高了参与度与成交。
消融：仅把序数头当辅助任务、不把相关性并入最终打分（Auxiliary Only），相关性 NDCG 仅比基线微升——证明把相关性整合进统一 value model（式 1）才是收益关键，而非单纯多一个监督任务。
5. 局限与未来方向
作者未单列局限，但指向：探索更丰富语义信号（query 意图分解、属性级相关性）；用 query 自适应权重替代全局 value model 权重；纳入长期用户满意度指标。隐含局限：序数仅取 0/1/2 三级以平衡，未试更细粒度；微调 gpt-4o-mini 受标签分布敏感性约束，且未量化推理成本/延迟；在线实验仅三周，对低方差指标统计功效有限。
6. 工业实践意义
这篇与"社区搜索（相关性 nDCG + CTR 双目标）"场景几乎逐项对口，落地启示：(1) 别让 LLM 在线打分，而把它当离线/近线的相关性标注器，用"人工种子→审计可疑样本→类目调和→微调小模型批量推全量"的流水线，把相关性监督扩到亿级，within-1 98% 质量即可用；(2) 相关性头用序数累积概率而非多分类，保序且能转标量；(3) 用统一 value model 的可调权重显式做相关性-参与度权衡，并据 trade-off 前沿选"适度相关性权重"——可能同时涨相关性和 CTR/转化；(4) 关键是把相关性分真正并入线上排序打分，仅当辅助任务收益甚微。DoorDash 三周 A/B 的 ATCR/CVR/GOV 同向正收益，是双目标可兼得的有力证据。
LinkedIn