SnapBench: Benchmarking Snap-and-Ask Multimodal Retrieval for Mobile Interactions
SnapBench 研究拍照加短问题检索在模糊图片、错字和粗粒度问句下的稳定性,提供 1,145 个查询、9,085 个图库条目和 53 种受控扰动,评测 16 个检索器。在 GME-7B 上,把粗问句替换为实体标签后,相对图像单模态的 R@1 拖累从 7.68 点缩至 0.17 点,说明文本粒度与融合校准会影响检索。
INSIGHT对于社区图文搜索,增加文本输入不必然提升相关性,笼统问句可能掩盖图像中的辨识信息。可仿照该基准分别扰动图片和文本,比较单模态、联合检索与可靠性加权融合,检查噪声时能否退回可信模态。实体标签替换属于诊断实验,线上通常拿不到正确标签,不能把这项改善直接视为可部署收益。