TaoSR1 验证了 LLM「思考式」排序在工业电商搜索中的可行性路径：SFT→RL 纠偏→在线部署三步法。核心经验是 CoT 推理并非开箱即用，直接 fine-tune 会产生判别式幻觉（模型编造理由来合理化错误判断），需要 RL 阶段专门纠正这一问题。对于社区搜索中复杂 query（如长尾问题、含歧义的 UGC 搜索词），这种思考式相关性模型可能比传统 BERT 排序提供更好的语义理解。
1. 问题与动机
电商搜索中的查询-商品相关性预测是核心任务。当前 BERT 类判别式模型能满足 80-90% 的搜索需求，但在长尾复杂查询上存在短板：否定查询（如「非棉质衬衫」）、替代品查询（如「Miumiu 平替」）、问答类查询、知识依赖查询。BERT 的双向注意力存在低秩问题，限制了参数规模扩展的收益。LLM 虽具备更强语义理解和推理能力，但直接部署面临延迟、错误传播和判别性幻觉三大挑战。
2. 方法概述
TaoSR1 是三阶段训练 + 部署优化的完整框架：
- Stage 1 — SFT with CoT：基于 RAG 合成思维链数据进行监督微调，采用 respond-then-think 格式
- Stage 2 — Pass@N DPO：多次采样构建偏好对，引入 DeepSeek-R1 作为 Oracle 指导硬样本
- Stage 3 — GRPO：在线采样强化学习，通过均衡标签分布解决判别性幻觉
- CumPT 部署模块：累积概率分层，单参数稳定转换为 Good/Mid/Bad 三档
3. 核心技术贡献
3.1 Respond-Then-Think：逆直觉的 CoT 格式
在判别任务中采用「先给出标签、再展开推理」格式，部署时只需提取标签 token 概率，推理过程可被截断，大幅降低延迟。SFT 阶段 Macro F1 从 57.63 提升到 60.01。
3.2 RAG-Augmented CoT 数据合成
设计五步 RAG 流水线（查询理解→商品理解→类目匹配→属性匹配→相关性判断），将业务规则分解为原子化组件并动态检索注入，解决 LLM 对领域业务规则的盲区。
3.3 Pass@N + Oracle 双轨 DPO
Pass@1 准确率 67.38% vs Pass@5 81.73%，多次采样揭示模型潜力。对可解样本用正确回答做 chosen，对硬样本引入 DeepSeek-R1 作为 Oracle。
3.4 标签分布均衡的 GRPO + CumPT
GRPO 中标签 CV 与性能呈强负相关，强制均衡分布后幻觉错误率降 30%。CumPT 将传统 4+ 阈值压缩为单参数，Macro F1 在 67.05-67.17 间稳定（传统方法 56.83-65.26 大幅波动）。
4. 实验结果分析
离线评测（~70,000 条人工标注）
- BERT 基线: Macro F1 61.33
- TaoSR1 (CoT + DPO + GRPO): Macro F1 67.12, Accuracy 76.86
- 比 BERT 提升 5.79 pt Macro F1
- 最难的 Class-3 (Related) F1 从 32.91 提升到 39.40
在线 A/B 测试（GSB 并排人工评估）
- 替代品查询: GSB +34.43%, Query Goodrate +13.11pt
- 问答类查询: GSB +16.62%, Query Goodrate +6.53pt
- 知识依赖查询: GSB +18.45%
- 否定类查询: GSB +10.92%
用户行为指标
- UV +0.22%, 商品页面浏览量 +2.43%, 交易笔数 +0.82%, GMV -0.29%（置信区间内持平）
5. 局限与未来方向
- respond-then-think 格式并未真正提升推理能力，改进主要来自更好地遵循业务规则
- 完整 CoT 在线推理延迟无法承受，截断后无法利用深度推理
- DPO 中依赖 DeepSeek-R1 作为 Oracle，且只覆盖约 50% 硬案例
- 未来方向：Implicit CoT / Adaptive CoT（根据查询难度自适应展开 CoT）
6. 工业实践意义
- 生成式判别范式可行性：提取第一个 token 概率作为相关性分数，无缝替换判别式模型
- Pass@N 是诊断上界的廉价手段：先做 Pass@N 分析再决定标注策略
- Oracle-Guided DPO 突破自我改进上限：引入外部更强模型为硬案例提供指导
- 标签分布均衡对 RL 至关重要：强制均衡分布（即使总量减少）显著优于原始分布
- CumPT 降低运维成本：单参数且不敏感，每次模型迭代无需重新校准阈值
- GMV 中性是关键安全信号：提升体验不损害商业收益，为类似系统提供风险基准