ANGLE：用分层文本表示连接生成式召回与最终排序

原文：https://arxiv.org/html/2609.18296v1 。以下基于正文第3、4节、表2—5及附录C、D；原文口径冲突单独列出，不替作者补齐。

1. 问题与动机

搜索广告通常经过召回、相关性、粗排和精排四级处理。上游漏掉的候选无法在后续阶段恢复，各模块独立训练也使最终商业目标难以反向约束召回。ANGLE希望让生成器直接给精排提供高质量候选，减少中间环节的误差传播。这里的“一步”指缩短召回到精排之间的路径，最终排序依然存在。

作者指出离散语义ID需要学习额外的ID与广告映射，新增广告会带来维护与泛化问题。另一个不足是将生成器的优化完全依赖小型点击率模型，限制大模型自身对相关性和商业价值的利用。论文改用自然语言作为检索中间表示，将高层意图与广告标题中的具体信息结合，再共同学习生成、判别与偏好排序。

对社区搜索的意义是提出了一种可解释的生成式索引选择：帖子可以同时带有用户需求概括与内容中真实存在的短语。不过广告具有较稳定的商业类别和品牌，UGC主题开放、表达嘈杂，迁移价值需要通过社区数据验证。

2. 方法详解

广告侧使用Hunyuan-13B生成表示。商业意图是概括性的自然语言类别，摘要保留标题里的具体词语或n-gram。一个广告可以对应多组“意图×摘要”，随后建立文本对到广告的倒排索引。例如正文用一款游戏说明，角色扮演、末日生存等意图可以共同映射到同一个游戏名称。系统清洗去重后得到约70万个粗粒度商业意图；新广告先在已有意图约束下生成，再产生自由摘要，更新倒排表。

查询侧使用Hunyuan-1B，承担三项任务。生成任务采用目标文本逐token交叉熵。判别任务在输入末尾追加[CLS]，以对应隐藏状态通过MLP产生标量，再经sigmoid得到相关概率，使用二元交叉熵监督。偏好任务采用DPO，用优胜与落败广告相对参考策略的对数概率比差值训练生成策略。三项损失加权求和，正文给出形式但未披露可直接复用的完整权重配置。

训练时，点击广告集合A用于生成，负例集合B参与判别和偏好学习；对B屏蔽生成损失，避免模型同时被要求输出不相关广告。商业排序监督来自线上实际消费排序，因而生成概率承载的不只是语义相似度。迁移到社区时，不能照搬这一商业标签，需要重新定义有点击且满足相关性的优胜样本，并检查曝光偏差。

动态约束束搜索先生成意图，再根据当前用户可投放的广告集合重建后续摘要前缀树。若某摘要没有有效广告，就剪除该路径；若意图下已无有效摘要，则整个意图分支终止。生成结束后，判别头还会给查询与文本对打相关性分。这个设计将有效性约束前移，减少生成后才发现候选无法投放的浪费。

实现设定为beam=64，意图最长3个token、摘要最长4个token，索引按小时更新。正文4.1给出的数据口径为广告侧约5千条样本，查询侧从一个月点击日志构造约43万条含负例训练样本；但附录表5把两者的数据量对应关系写反，因此这里保留冲突。文章未提供充分的优化器、batch size、训练步数与训练硬件细节，无法仅凭公开文本精确重建训练过程。

3. 核心技术贡献

第一，文本表示把泛化与落地检索分开处理。意图提供高层抽象，摘要保留具体实体或服务信息，倒排索引负责映射到真实广告。新增广告可以更新表示与索引，而不用为新的离散编号重新学习全部映射。该机制对内容高频新增的业务有吸引力，但效果仍依赖意图覆盖、摘要质量以及一对多映射后的候选规模。

第二，相关性判别与商业偏好进入生成模型训练。与只学习点击文本的SFT相比，模型同时受到“哪些候选相关”和“相关候选中哪些更有价值”的约束。去掉GDR训练后，HR@10从0.1961降至0.1278，绝对下降0.0683；但这个消融同时改变多项能力，不能解释成DPO单独贡献了全部差异。

第三，动态约束解码把业务有效性变为搜索空间的一部分。去掉DCBS后，HR@100由0.5273降到0.2975，说明仅生成语义上合理的文本再用近邻映射，不足以替代有效候选约束。该消融同时改变生成和检索流程，因此既体现约束作用，也包含候选映射方式变化，不能简单当作某一种前缀树优化的纯收益。

4. 实验结果分析

离线评测包含1万条查询，来自一个月曝光与点击记录，每条查询最多包含1千个候选，并加入随机无关广告；作者报告总候选规模约22万。下表摘录原文表2，所有数值保持原量纲。

ANGLE的HR@100比BERT高0.2198，约为相对提升71.5%；这只是论文评测集上的比较。基线采用的自由生成加近邻映射与ANGLE动态约束检索不完全相同，不能把全部差异归因于模型规模或某一种训练损失。评测还利用点击构造相关集合，没有公开完整人工相关性判定，因此应避免将点击命中率直接等同于社区语义相关性。

消融中，去掉意图的HR@100为0.4645，去掉摘要为0.3519，去掉DCBS为0.2975，去掉GDR-LLM为0.4412。摘要的缺失比意图缺失损失更大，符合具体广告区分信息不可省略的解释；DCBS的影响最大，表明候选合法性与生成空间设计非常关键。论文没有逐一拆分生成、判别、DPO损失的独立贡献，不能据此确定三者的最佳配比。

线上实验使用20%流量，持续5天。表3中WTS的消费、GMV、点击和转化分别增加1.81%、2.16%、1.50%和1.44%；QBS分别增加6.57%、5.01%、6.11%和0.72%。然而4.2正文把消费增幅写成1.18%，与摘要和表3的1.81%冲突。最稳妥的报告方式是明确引用表格并保留冲突，而不是自行认定哪处为笔误。曝光量也分别增长2.49%和7.82%，所以“点击增长”不能直接写成“CTR增长”。

附录C对ACR的文字说明谈到广告覆盖，但公式实际上为有广告召回的请求数除以总请求数。这两个概念不同，本文只保留ACR的原数值，不将其解释为独立广告覆盖率。原文没有给出置信区间、显著性检验方法或更长期的效果曲线，五天结果说明生产可行性，却不能证明持续收益已经稳定。

5. 局限与未来方向

作者在Limitations中明确指出，搜索广告还需要动态创意选择、智能竞价等依赖排序的组件，因此ANGLE没有取消最终精排。未来方向是进一步研究大模型能否承担这部分工作。这也解释了正文提到目前作为排序队列的补充部署：它不是一个已经彻底替换原系统的全链路单模型产品。

另有几项属于本次阅读观察，而非作者声明的局限：训练样本量的正文与附录对应关系冲突；消费增幅存在1.18%与1.81%两种口径；正文的90毫秒与附录60毫秒没有明确说明测量边界；ACR定义与公式不一致。复现前需向作者核实，尤其不能根据这些文本直接承诺容量、成本或业务收益。数据和完整训练配方也不足以支撑严格复现。

6. 工业实践意义

对于以nDCG和CTR为核心的UGC短文本搜索，优先可试验的是索引表示与生成约束，而不是整套替换搜索链路。先抽取真实帖子短语，再生成需求概括，建立文本对到帖子集合的索引；将删除、过期和当前用户不可见等状态纳入解码有效集合。随后比较新帖与长尾query的召回率，观察生成结果是否覆盖足够多的不同帖子，避免大量文本对集中到少量热门内容。

线上应保留原召回和精排作为对照及回退，初期让ANGLE式召回只提供增量候选。训练目标需要同时衡量相关性与用户收益，评测至少分离人工相关性、nDCG、CTR和曝光变化，避免把更多曝光导致的点击增长误认为排序质量提高。与社区业务的联系属于迁移建议，论文没有提供社区搜索实验支持。

附录D报告使用数百张L40组成GPU集群，模型转换为FP8，单卡约30 QPS，GPU利用率接近90%，并称端到端请求可在60毫秒内完成。正文另称每token约8毫秒、文本对生成在90毫秒内完成；两处缺少清晰的硬件与链路对照，应作为不同描述保留。工程预算不能只用7个token乘单token耗时，还要包括beam=64的并行成本、动态索引检查和网络开销。

可操作的试验顺序是先验证索引更新与合法候选命中，再加入联合监督，最后扩大候选量和QPS。每一步都记录输出有效率、索引新鲜度、解码延迟分位数与回退率，只有在相关性和资源预算同时达标后再扩流。论文真正值得借鉴的是将表示、训练目标与业务有效性一起设计；它尚未证明任意社区场景都能获得相同商业收益。