Learning to Retrieve via Reinforcement Learning in Embedding Space
RELER 在单位球面的向量空间采样,通过检索奖励和 RLOO 更新编码器,并用条件均值投影降低梯度噪声。BRIGHT 原始查询上,BGE-M3 的 nDCG@10 从 InfoNCE 的 12.63 升至 14.49;Qwen3-Embedding-0.6B 从 22.64 升至 23.38。
INSIGHT对 UGC 搜索,可探索将编码器后训练直接对齐相关性奖励,而非仅依赖对比损失;其推理仍是确定性向量检索。优先在固定文档索引下适配查询编码器,降低重建成本,同时按主题检查收益分布;平均提升不代表每个领域都改善,奖励构造与训练候选访问也影响比较结果。