ELVA: Exploring Ranking-Driven Universal Multimodal Retrieval
ELVA 面向通用多模态检索(UMR),指出对比学习把样本简单当正/负二分类会导致 grain blindness——模型忽略 query 里的粒度信息、处理复杂 query 时失效。它提出一个基于规则的 RL 框架:把 RLVR(Reinforcement Learning with Verifiable Rewards)从生成任务扩展到检索,无需 reward model、也无需显式 ranking 标签,用 rule-based reward 按负样本与正样本的相似度差异做差异化排序,同时拉大正负相似度间隔。
INSIGHT把对比学习的二元正负换成按相似度分级的排序信号是这篇的关键——负样本不该一视同仁,离正样本越近越要细分。用 RLVR 替代 reward model 来训练检索/embedding 模型是个值得关注的新范式:当 query 带细粒度意图时,纯 InfoNCE 容易丢信息,引入 ranking-aware 的 reward 可能比单纯堆负样本更有效,对训练社区搜索的语义匹配模型有直接启发。