Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers
论文发现混合文本、图片和图文文档时,检索器偏向文本,导致无关文本压过相关图片。Trident 将三种视图作为同等正例,用多正例 InfoNCE 联合训练。在六个视觉文档基准上,Qwen3VL-2B 的混合库平均 nDCG@10 从 40.12 升至 73.90,去掉该损失后为 66.36。
INSIGHT社区 UGC 常同时含帖子正文与图片,单模态离线成绩不能预测混合库表现。可先固定语义内容、改变文本与图片比例做诊断,再使用同一内容的多视图正例校正分数偏置。论文结果来自视觉文档基准,迁移中文社区需重新测量文本噪声、图片召回和整体 nDCG。