Single-Token Expected-Value Scoring for Cold-Start Candidate Ranking

原文：https://arxiv.org/html/2609.18188v1 。以下依据全文第2—8节，数值来自论文表格；业务迁移建议是本报告的判断。

1. 问题与动机

论文研究招聘推荐中的双边匹配：雇主希望候选人符合职位要求，求职者也需要职位符合自己的偏好。传统流程先召回数千名候选人，再让语言模型逐条判断必要条件和加分条件，最后用人工权重相加。这个规则隐含了各条件独立且可线性累加的假设，但某项关键资格可能改变其他条件的重要性。与此同时，小流量招聘平台没有训练传统深度排序模型所需的数百万次行为交互。

这里的“冷启动”并非没有监督数据。作者有语言模型生成的相关性等级标签，部署模型使用20万对样本；真正短缺的是点击、保留等自然行为日志。预训练模型提供通用知识，标签提供领域对齐，这使问题与完全无标签的新用户推荐有所区别。作者沿用既有细粒度等级期望打分思路，新增可训练的序数目标和实际部署验证，因此更适合视作可复用的工程训练方案，而非全新的排序范式。

零样本语言模型虽然能理解自然语言要求，却可能因自由生成而出现分数波动，且难以稳定处理细粒度候选差异。论文把第二阶段的打分单独抽出来优化；上游检索和下游列表推理不属于该方法的创新范围，这一点对理解其收益边界很重要。

2. 方法详解

输入由职位信息、候选人资料、匹配约束及上下文拼接为文本。标注阶段分别取得雇主相关性和求职者相关性，再通过固定规则合成1至5级的总体标签：双方都很匹配才得到高等级，任意一方严重不匹配则给低等级。有可用的真实行为时，行为结果优先；训练、验证、测试使用相同标签政策，并采用时间切分，减少标签规则漂移和时间泄漏。

模型只读第一个生成位置的五个等级 token 对应的 logits，做归一化得到p1到p5，最终分数为p1+2p2+3p3+4p4+5p5。它保留完整等级分布，不只是取最大概率等级，也不同于仅用p5作为排序分数。实现时必须明确取的是等级词表上的概率，避免全词表中其他输出的概率质量影响期望值；商业模型实验会保留这些等级概率后重新归一化。

训练损失是0.6倍均方误差与0.4倍交叉熵之和。均方误差比较连续期望分数与真实等级，使1误判成5比1误判成2受到更大的惩罚；交叉熵约束具体等级，避免仅把期望推近目标但类别分布不准确。训练和推理使用同一个连续分数，使优化目标与最终读出方式一致。

部署骨干是Qwen3-8B，采用LoRA冻结基座，只更新全部注意力和MLP投影上的适配器。论文给出rank=16、alpha=32、dropout=0.05；优化器为paged AdamW 8-bit，weight decay为0.01，学习率为1e-5，使用带warmup的线性调度。8张GPU配合DeepSpeed ZeRO-2；每设备batch为4、梯度累积16步，有效batch为512。正文未给出足够明确的GPU型号及总训练步数，不能据此推算完整训练费用。

线上通过共享特征渲染配置保持离线与在线一致，使用自托管vLLM服务及不同目标的LoRA适配器。权重和KV cache均用fp8，配合连续批处理、前缀缓存及16,384 token上下文。单token主要减少解码开销，长输入的prefill与特征获取开销依然存在，不能把一个输出token等同于一次廉价的传统MLP打分。

3. 核心技术贡献

第一，论文将等级期望从零样本读出方式变成直接训练的目标。这样可以利用1—5的有序距离，兼顾分级与连续排序。其价值在于工程上容易替换原有规则聚合器，仍然输出单一分数，不要求改写召回链路或生成完整推荐列表。

第二，作者把双边偏好写入监督信号。原基线偏重雇主硬性要求，求职者意愿基本未被优化；新模型的目标因此覆盖了先前遗漏的部分。这能解释为何求职者侧收益远大于雇主侧，不能把两侧不同幅度都归因于模型结构本身。

第三，完整等级分布比只看最高等级更有信息。全体等级对的pairwise accuracy从p5读出的0.7306提高到期望读出的0.7353，约为0.64%的相对改善。10组等级对中有8组不劣或更优，尤其在低、中等级的区分上有价值。这个收益规模并不大，却表明在无需增加模型推理次数的前提下，分数读出方式也值得单独实验。

第四，生产验证不仅依赖模型生成标签。线上候选人保留率来自雇主实际保留或移除行为，相对提高7.07%，支持排序变好不仅是更贴近原标注器。与此相比，相关性等级的离线提升仍有评估器与训练监督相近的风险，需要结合行为指标解释。

4. 实验结果分析

论文表3在相同Qwen3-8B、20万样本及其他超参数下比较损失函数：

混合损失不是所有排序指标的最好结果，例如NDCG@10的最高点估计来自仅MSE。作者明确说，全部七项排序指标的95%置信区间重叠，不能声称混合损失显著优于两种单独目标。更可靠的解释是：仅MSE容易给相邻等级，却损失精确分类能力；混合目标在类别准确率和召回之间提供较均衡的工作点。部署选择0.6/0.4是折中，不是已证实的普遍最优常数。

细粒度分析中，5级对1级的区分准确率为87.64%，相邻等级只有约61%—64%；但原启发式基线在相邻等级上约51%，接近随机。可见模型主要消除了原规则对微妙差异的失明，尚未解决相邻偏好的标签歧义。

端到端模拟每个职位最多保留30个候选，并绕过下游列表重排，以隔离点式打分的效果。Qwen3-8B在雇主NDCG@10上提高3.1%，求职者NDCG@10提高54.2%；求职者低相关率下降46.7%。后者的大幅改善与基线未优化求职者侧有关，不能移植成社区CTR的预期增幅。

线上实验以雇主为随机化单位，避免同一雇主的多个账号进入不同实验组。雇主低相关率相对下降27.31%，95%置信区间为下降35%至20%；保留率提高7.07%，区间为5.0%至9.1%。申请率提高5.68%，但区间下界为0，证据强度弱于保留率，不应笼统表述为所有行为指标均显著提高。

数据规模比较同样有明确边界：GPT-4.1-mini从2万到5万标签的增益趋缓，Qwen3-8B从5万到20万仍继续改善。在相同5万样本下，前者七项指标领先约10.4%—32.3%；即使后者用四倍数据，仍落后约4.2%—8.4%。这说明低样本效率取决于基座能力，不能把2万标签视为各模型通用的饱和点。正文还说明某零样本基线采用自由生成而其他模型用期望读出，读出不同会混入比较，应避免把差异直接归结为模型能力。

5. 局限与未来方向

作者明确承认当前是pointwise评分，未来希望引入listwise微调，让模型学习同一职位内部的相对顺序；进一步降低服务延迟也是未来方向。相邻等级的准确率仍有限，作者将一部分原因归于招聘资格边界和标注歧义。混合损失的排序优势在置信区间下没有显著结论，也是原文主动说明的限制。

从报告评估角度，额外需要注意的是任务范围集中在招聘平台，启发式控制组强度与成熟社区推荐模型不同。论文中的生产实践支持可用性，但不等于已经证明相对DCNv2或大型序列推荐器有同等收益。文中提供了不少训练参数，却不足以完整重建私有数据和成本；这些缺口应在复现计划中单列，不能用公开骨干可下载代替端到端可复现的判断。

6. 工业实践意义

对社区UGC搜索，可先在历史行为不足的新内容、低频query或新场景测试“细粒度相关性标签—小模型微调—等级期望读出”。保留人工相关性评估和真实CTR两条指标，避免模型标签的一致性掩盖用户体验偏差。若已有成熟点击排序器，更适合把这种得分作为特征或蒸馏目标，逐步测量增量，而非直接替换整条精排链路。

延迟尤其要谨慎解释：原文报告的每会话阶段p95目标是8秒，并非每候选毫秒级打分。它使用并发评分、共享连接池、特征获取与上游逻辑重叠等优化，仍处于招聘工作流的预算下。社区搜索通常预算更紧，应限制重排候选数，评估输入裁剪、缓存或离线蒸馏是否能满足实际SLO。文中并未提供可直接用于估算高QPS社区搜索GPU容量的吞吐曲线。

运维设计也值得借鉴。每次调用被归为scored、no_logprobs、parse_reject或call_error，失败时回退到确定性启发式；作者区分约99.95%的服务可用率与约99.8%的可用评分率，后者能够暴露请求成功但分数不可用的静默退化。模型上线前还有48小时影子验证，并监控等级分数与logits分布。业务试验应同样把接口可靠性、输出可用性、排序质量分开记录，再通过用户级实验评估CTR、nDCG及低相关曝光比例。