MERRIN: A Benchmark for Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments
MERRIN 是一个面向真实嘈杂网络环境的多模态证据检索与推理基准。不同于现有工作,MERRIN 使用不含模态线索的自然语言查询,引入视频和音频等未充分探索的模态,并要求从嘈杂、冲突的多模态网页证据中进行多跳推理。评估涵盖 10 个模型,包括 GPT-5.4-mini、Gemini 3/3.1 Flash/Pro 等闭源模型和 Qwen3-4B/30B 等开源模型。
INSIGHTMERRIN 首次系统性地评估搜索增强 Agent 在真实网络噪声条件下的多模态检索和推理能力。三个关键设计:(1)查询不包含显式模态线索,要求模型自主判断需要哪种模态的证据;(2)纳入视频、音频等非文本模态;(3)证据本身可能存在冲突和噪声。对搜索系统的启示:现有模型在处理跨模态、多跳、含噪声的检索任务上仍有显著差距,社区搜索中的 UGC 内容同样具有多模态和噪声特性,该基准提供了有价值的评估维度。