SHE: Stepwise Hybrid Examination Reinforcement Learning Framework for E-commerce Search Relevance
针对电商搜索中 LLM 相关性预测面临的训练困难(SFT/DPO 长尾泛化差、传统 RLVR 反馈稀疏),提出分步混合检验 RL 框架 SHE。核心是 SRPO(分步奖励策略优化),结合生成式奖励模型与人工标注验证器提供细粒度的步骤级信号,配合多样化数据过滤保持策略熵和多阶段课程学习。在真实电商搜索基准上,SHE 在推理质量和相关性预测精度上全面超越 SFT、DPO、GRPO 等基线。
INSIGHTSHE 将 LLM 搜索相关性从粗粒度的序列级优化推进到细粒度的步骤级奖励,解决了传统 RL 方法在中间推理错误上无法纠偏的痛点。对搜索系统而言,其混合奖励机制(生成式 + 人工验证)为平衡标注成本和模型质量提供了可行路径,课程学习策略则有效缓解了 RL 训练的不稳定性。这一框架对 UGC 短文本搜索中的长尾 query 相关性判断尤为适用。