CoHyDE: Iterative Co-Training of LLM Rewriter & Dense Encoder for Tool Retrieval — 深度解读
作者: Vaishali Senthil, Ashutosh Hathidara, Sebastian Schreiber｜分类: cs.AI / cs.IR / cs.LG｜arXiv:2605.29271
说明: 本文基于 arXiv 全文页（arxiv.org/html/2605.29271）抓取内容撰写；论文未在抓取页面披露的训练超参（batch size、硬件、步数等）不做臆测，相应处仅作方法层面分析。
1. 问题与动机
论文聚焦 LLM agent 的「工具检索」(tool retrieval)：给定用户 query，从工具库中召回正确的 API/工具。作者指出现有两条路线各有失败模式。其一，微调稠密编码器（dense encoder）擅长匹配 query 与工具描述的「表面词形」，但面对欠规约 / 模糊 query（underspecified / vague）时召回急剧下降——用户往往不会用工具文档里的术语来表达需求。其二，冻结 LLM 的 query 扩展（HyDE 式，生成假想工具描述再检索）能更好地理解模糊意图，却会产生与工具库词表不匹配(vocabulary mismatch)的描述，即「想对了但说的词不对」。两条路线的割裂正是动机：改写器懂意图但不懂库，编码器懂库但不懂模糊意图。这一矛盾在工具检索里尤为尖锐，因为工具库术语高度规范、而 agent 转写的用户意图高度自由。
2. 方法详解
CoHyDE 的核心是把 LLM 改写器与稠密编码器当作一个共同演化的系统做迭代协同训练，而不是各自独立训练后拼接。流程可拆为：
- Warm-start（冷启动）：两个组件都先在工具库目录(tool catalog)上初始化，让编码器先学会工具描述的表示、让改写器先见过库内术语分布。
- HyDE 式改写：改写器为 query 生成「假想工具描述」，把短而模糊的 query 投射到接近工具库的语义/词表空间，再交给编码器检索。
- 编码器更新：用 InfoNCE 对比损失在检索正负样本上重训编码器，使其表示对齐改写后的 query 分布。
- 改写器更新：用 DPO（Direct Preference Optimization）对齐改写器——偏好信号来自检索结果的好坏（能召回正确工具的改写优于不能的），从而让生成的改写「对检索有用」而非仅「读起来合理」。
- 迭代：编码器变了，改写器的最优改写也随之变；改写器变了，编码器的最优表示又变。两者交替更新、互为对方的训练信号，逐轮收敛到协同最优。
关键设计在于「闭环对齐」：改写器的奖励直接绑定下游检索效果（经 DPO），编码器的目标直接绑定改写后的 query（经 InfoNCE），从而消解了「懂意图」与「懂库」之间的鸿沟。
3. 核心技术贡献
- 协同训练范式：把 HyDE（query 扩展）从「冻结、外挂」变为「可训练、与编码器联合优化」，解决词表不匹配。机制上，DPO 用检索成败作偏好，使改写从「语言流畅」转向「检索有用」。
- 以检索反馈对齐改写器：相比纯 prompt 或 SFT 改写，用偏好优化把下游召回收益反传到生成端，对模糊 query 的增益最大。
- catalog warm-start + 迭代：用工具库自身做冷启动并迭代协同，缓解了「编码器与改写器分布漂移」的冷启动难题。
4. 实验结果分析
- 数据：ToolBench 约 1 万工具的子集。指标：NDCG@5。
- 主结果：相对最强基线，标准 query 的 NDCG@5 提升 +2.5 个百分点；模糊 query 提升 +6.3 个百分点；最难的一档模糊 query 提升达 +8 个百分点。增益随 query 模糊程度单调放大，印证了方法专攻「欠规约 query」的设计意图。
- 消融：协同训练是必要的——只用编码器或只用改写器（去掉协同）都会明显变差，在模糊 query 上的损失最高达 -8 个百分点。这说明收益主要来自两组件的「互相对齐」，而非任一单点改进。
- 解读：标准 query 上微调编码器本就够强，故增益有限（+2.5pp）；真正的价值在长尾/模糊 query。这与社区搜索「头部 query 已被现有相关性模型吃透、增量空间在长尾」的经验一致。
5. 局限与未来方向
论文证据集中在 ToolBench 单一基准、单一指标（NDCG@5），缺少跨数据集与线上 A/B 验证，外推到通用文档检索/社区搜索需谨慎。抓取页未充分披露训练成本（迭代轮数、算力、改写器规模），而迭代协同 + DPO 的训练开销与收敛稳定性是落地的关键未知量。改写器在线引入的额外延迟（生成假想描述）也未给出端到端时延分析。未来方向自然包括：减少迭代轮数的高效协同、改写器蒸馏以降延迟、以及把「检索反馈作偏好」推广到非工具检索场景。
6. 工业实践意义
对社区/UGC 短文本搜索的启示明确：头部 query 靠现有稠密召回已足够，增量在模糊与长尾 query，而 CoHyDE 给出的「改写器 + 编码器联合训练、以召回成败为偏好」正是攻这块的可行范式。可借鉴点：(1) 不要把 query 改写当成与召回无关的前置黑盒，用线上召回/点击信号经 DPO 反向对齐改写器；(2) 改写器与召回编码器若分属两个团队，需要建立联合迭代的训练闭环，避免目标错位；(3) 工程上要权衡在线改写带来的延迟——可考虑离线对高频模糊 query 预生成改写、或把改写器蒸馏成小模型。落地前应自建带「模糊度分层」的评测集，复现「增益随模糊度放大」这一现象，再决定是否上在线改写链路。
小红书
University of Glasgow