Reasoning Quality Matters: Combating Reasoning Collapse in LLM-based Embedding Learning

1. 问题与动机

CoFree 研究的核心问题是：当一个已有良好检索能力的 LLM 嵌入模型重新学习生成推理文本时，如何同时保留向量的判别力与文字的检索价值。作者区分两种退化。第一种是生成本身崩溃，输出重复片段或无效文本；第二种是语言依然流畅，却不再提供能够区分相关文档和难负例的信息。只看最终向量检索得分，无法判断推理链是否已经变成无意义的中间产物。

这一问题直接影响社区搜索：短查询通常省略主语、使用口语或依赖背景知识，补充语义有机会弥合查询与帖子表达的差异，但错误扩展也可能改变用户需求。论文不是笼统地增加思考长度，而是要求推理保留原意，并为相关性判断增加信息。作者在 4B 模型上观察到 SFT 前重复指标 seq-rep-4 达到 99.37%，训练后降至 3.32%；生成退化的三个模型评审结果也从接近 100% 降到 4% 以下。这里是作者定义下的生成诊断，不应混同线上搜索失败率。

2. 方法详解

模型分别处理查询与文档，输入是指令和原文，生成解释或扩展文本后取结束标记的最后层隐藏状态作为向量。检索相似度是“原文加其自身推理”编码后的余弦相似度；文档扩展时不读取某个特定查询，因而可以独立编码。训练分成恢复推理的 SFT 与提高检索有效性的 RL 两步。

SFT 同时优化三个目标。语言建模损失学习教师生成的推理；InfoNCE 对比损失拉近查询和正文档，并加入难负例、批内文档和其他查询作为负例；参考约束则让新的推理条件向量接近冻结原始嵌入模型在原文上的向量。总损失写作语言损失加 μ 倍对比损失、再加 γ 倍向量均方误差，默认 μ=1、γ=40、对比温度为 0.07。每组有一个查询、一个正例和两个难负例，约束覆盖这四段文本。这个参考模型是训练前的嵌入骨干，而不是用来生成示范的教师。

RL 使用 GRPO，为同一输入采样 8 个推理候选。嵌入奖励计算查询与正例的余弦相似度减去与负例的相似度；推理奖励使用冻结的 Qwen3-Reranker-4B，对查询和文档的原文加推理进行相关性判断，再取正负例得分差。差值设计可以抑制同时抬高所有文档分数的空泛扩展。文档侧生成和编码不回传梯度，查询侧通过组内标准化奖励获得优势信号。正文档与负文档也可能在其他样本中充当查询侧输入。

RL 还包含生成分布的 KL 约束和向量空间的 MSE 约束；两者共用冻结的 SFT 检查点。默认嵌入奖励权重为 1，KL 系数为 0.04，MSE 系数为 10。附录说明每批 rollout 仅做一次更新，不重复使用，更新开始时重要性比率为 1，裁剪项因此不生效。这一点在复现时比泛称“使用标准 GRPO”更具体。

数据集 RTED 从约 700 万条原始样本保留约 360 万条。首先用 0.6B 重排器过滤低相关正例，再用 8B 重排器筛掉疑似假负例：负例分数不得高于正例分数的 95%，最后取两个高分合格负例。教师 Qwen3-235B-A22B 使用非思考模式，为查询和文档分别生成保留实体、数字及限定条件的扩展，并通过固定嵌入模型检查扩展质量。

训练采用 AdamW、学习率 2e-5，无梯度累积。SFT 训练一轮，预热比例 0.05；RL 训练 1000 步，预热比例 0.10，最大生成长度 1024、采样温度 0.99。4B 版本使用 32 张 NVIDIA GPU，SFT 约 24 小时、RL 约 48 小时。SFT 按数据集和长度分桶，4B 单设备批大小从短序列的 64 逐级降到长序列的 4，丢弃超过 3072 token 的训练样本；因此不能把某个批大小当成全程固定值。

3. 核心技术贡献

第一项贡献是用参考向量保护原有能力。语言生成需要逐 token 组织信息，检索要求把语义压缩到一个向量，两个目标并不天然一致。参考约束为这种联合训练提供稳定目标，避免恢复推理时破坏骨干已经学到的邻域结构。4B 的 SFT 消融中移除它会从 39.9 降到 37.1，比移除对比损失的 1.1 分下降更大。

第二项贡献是明确区分“向量有区分度”和“推理文字有用”。只优化嵌入奖励，可能让模型找到不具备可解释语义的内部捷径；推理奖励则独立检查增强后的文本能否区分正负文档。作者使用与训练奖励模型不同的重排器和语言模型开展质量评估，减少了同一评审器给自己打分的问题，不过模型评审仍不能替代真实相关性标注。

第三项贡献是同时限制生成与表示空间的漂移。KL 保护输出分布，MSE 保护最后用于搜索的向量，二者约束的对象不同。RL 中保留 KL 但移除 MSE，最终分数由 40.8 降到 40.1，表明单独维持语言策略不足以稳定向量能力。另一个有说服力的对照是相同训练数据下的纯对比微调：4B 仅为 32.6，完整模型为 40.8，说明增益不能简单归因于更多查询文档对。

4. 实验结果分析

以下数字来自论文表 1，指标均为 nDCG@10，采用 0–100 标度。总分按 10 个 MTEB 检索数据集与 12 个 BRIGHT 子任务共 22 项平均，不能把两个基准的汇总分直接各占一半计算。

4B 相对骨干的总平均提高 2.8 个点，其中 MTEB 增加 2.3，BRIGHT 增加 3.1。社区重复问答一组从 60.2 升至 63.4，和 UGC 搜索较接近。重要反例是 BRIGHT 代码组：4B 从 11.5 降至 9.9；1.5B 的代码组却从 9.4 升至 10.3，说明同一训练方法对不同骨干的影响并不一致。

消融显示收益主要在 SFT 阶段已形成：完整 SFT 为 39.9，随后 RL 达到 40.8，增加 0.9。RL 中去掉嵌入奖励为 40.4，去掉推理奖励为 40.3，去掉表示 MSE 为 40.1。这支持双奖励与表示约束都有效，但不支持将全部 2.8 分提升都解释成 RL 收益。复现资源有限时，可先验证 SFT，再评估是否值得增加 RL 成本。

作者还固定六种编码器，分别输入原文、原文重复、等长随机文本以及不同模型生成的推理。CoFree 推理在六种编码器上相对原文增加 1.75–2.94 个点，且优于重复与噪声对照。这比只在自身编码器上测试更能说明扩展文字包含可迁移信息。1.5B 的独立重排器平均正负判别准确率由 SFT 后的 51.30% 升至完整 RL 后的 64.00%；去掉推理奖励只有 50.90%。

效率方面，1.5B 在 MTEB 和 BRIGHT 平均生成 39.4、65.8 个 token，端到端吞吐分别相对 Search-R3-Small 达到 4.4–5.4 倍、相对 UME-R1-2B 达到 7.3–12.1 倍。比较对象都是推理型嵌入模型，这不意味着它比直接编码的骨干更快，也不能据此推算生产 P99。

5. 局限与未来方向

作者明确承认，两阶段训练、教师生成示范和奖励模型打分增加开销，未来需要更精简的训练与监督方式。RTED、代码与模型在文中仍以计划公开表述，复现不能预设这些资源已经可下载。

附录讨论代码检索退化时给出两种可能原因：混合域续训改变原模型代码能力，或者训练中代码推理监督覆盖不足。CodeSearchNet 筛选后仅保留原始样本的 13.54%，两个代码来源合计约占最终元组的 5.5%。作者并未确定两者的相对贡献，因此不能把代码退化归因为单一因素。

我的实践判断是，英文公开基准与电商线上场景尚不足以证明中文社区短文本上的收益。UGC 中讽刺、隐喻和多义简称可能放大扩展偏差，必须另建标注集；这一点是迁移风险分析，不是作者已经验证的结论。线上部分也不能直接给出本业务成本预算：论文的相对吞吐并未替代绝对延迟、并发和尾延迟测量。

6. 工业实践意义

论文在线上电商系统把 CoFree 作为现有 Qwen3 嵌入通道之外的新增召回通道。报告 CTR 绝对增加 0.02 个百分点、CVR 绝对增加 0.12 个百分点，订单与 GMV 分别相对增长 13.56% 和 8.15%；注意绝对百分点与相对百分比不能互换。这是该系统实验结果，并非社区搜索可直接套用的收益预期。作者称已于 2026 年 1 月全面部署，服务数亿用户，早于论文公开日期。

在社区搜索中，可先建立三类查询评估集：表述不一致的同义查询、缺少上下文的短查询、包含实体或数字硬约束的查询。先观察扩展是否保留意图，再测召回率和 nDCG；新增命中需要确认确实回答问题，而不只是主题相似。上线阶段以 CTR 为主要业务指标，同时检查无关结果比例及 P95/P99 延迟，避免语义扩展牺牲硬约束。

工程上可离线生成并缓存帖子侧扩展，查询侧采用长度控制和高频缓存，作为独立通道与现有召回融合。索引与编码器必须保持版本一致，更新模型后应重建或迁移向量库；推理文字也要纳入版本记录，以便回溯相关性回退。先验证参考约束 SFT 的成本收益，再增加双奖励 RL，比直接投入完整 32 卡训练更便于定位收益来源。上述部署建议是基于方法结构的推断，论文没有提供可直接照搬的中文 UGC 部署配置。

来源：https://arxiv.org/html/2609.20563v1 （正文第 3–5 节及附录 B、C、D、F）。