原文：RegRet: Enhancing Region-Level Retrieval in Large Multimodal Models。以下方法、实验和训练参数来自正文与附录；社区搜索试验建议属于实践推演。作者来自浙江大学与小红书，论文已被ECCV 2026接收，本文基础评分4.10。
1. 问题与动机
社区图片经常同时包含商品、人物和环境。用户框出地毯时，整图向量可能优先匹配相似房间；只裁剪局部又可能让遮阳伞变成难以辨认的白布。问题并不是背景一律无用，而是不同查询需要不同程度的背景。找同款材质时应压低环境干扰，寻找“穿着这件衣服站在咖啡店前的人”时则必须保留背景关系。作者将这种冲突拆为区域信息与全局上下文的平衡问题。
现有LMM主要接受完整图像，常见补丁是画框、裁剪或把局部图作为第二张图输入。正文表6显示，这三类零样本区域提示的REGMB均分分别为55.9、55.9和63.1，RegRet-8B-zs达到78.8。这里的差距来自指定基线和指定评测，不能解释为所有视觉模型都会改善同样幅度。另一缺口是训练数据：已有区域基准偏图搜图，缺少同时覆盖图搜文、文搜图与组合查询的数据。
2. 方法详解
RegRet保留原LMM的全图视觉编码器CE，另设区域编码器RAE。全图由CE产生分层特征；ROI经过区域自注意力后，以区域隐状态为query、相应CE层隐状态为key和value，进行跨注意力。其核心更新可理解为“区域表示加上alpha乘以从全图读取的信息”，alpha是从零初始化的可学习权重。对应层的自注意力共享权重，避免从头训练另一套完整视觉网络；跨层对应读取则让区域同时接触浅层纹理和深层语义，而不是只读取CE最后一层。
RAE和CE分别通过独立projector连接语言模型。作者最初共享projector，但区域训练会显著破坏全图表征，因此改为冻结CE，并给区域通道独立映射空间。输入末尾加入特殊[EMB]标记，取其最终隐藏状态作为检索向量；查询和候选通过向量相似度进行匹配。因此，它仍然属于表征检索，没有把文档ID作为自回归目标。
训练分为三阶段。第一阶段使用DAM与PAM的80万区域图文对，进行详细局部描述的下一词预测，只更新RAE跨注意力和projector，语言骨干冻结。batch size为64、学习率为1e-4。第二阶段使用NLI、HotpotQA、MSMARCO共78万文本对，以InfoNCE将语言能力转为嵌入能力；batch size为1104、学习率1.1e-4、训练1个epoch，语言骨干使用rank 64的LoRA。第三阶段混合M-BEIR的180万图像级对与REGMB的20万区域级对，继续InfoNCE训练2个epoch，batch size同为1104、学习率2e-4、LoRA rank为128。论文称三阶段可在24张NVIDIA H20上20小时内完成；可读取的训练附录没有明确优化器名称或完整步数，不额外补写。
InfoNCE把本查询与正候选的相似度除以温度后做指数，再除以当前批次候选的指数和，最小化负对数。第三阶段还按任务控制视觉token：局部优先的任务1至3只提供RAE token，需要背景关系的任务4则拼接CE与RAE token。这使背景成为受任务控制的输入，减少简单拼接造成的语义污染。论文以3B和8B版本报告结果；复现时应依据最终代码确认具体骨干标识，因为正文采用Qwen2-VL及3B/8B的总模型口径。
3. 核心技术贡献
第一，逐层跨注意力把“裁剪后看不到背景”变成可学习的信息选择。它不要求局部独立解释，也不强制完整背景全部进入最后的向量。对细粒度材质、轮廓与环境关系共存的社区内容，这比单独调画框提示更接近结构性修复。表4中，在已有独立projector的前提下，加入逐层协调使REGMB均分从82.6到86.2，即增加3.6分。
第二，区域与全局投影解耦保护原有能力。共享projector的RAE-sharep在M-BEIR仅27.2；独立projector的RAE-encdec恢复至57.1，完整RAE为57.3。与其只看区域涨分，更应把全图回归作为必要检查。这个消融说明新增分支可以改变既有表征空间，不能因为主干部分冻结就假设原任务不会退化。
第三，REGMB同时补足数据覆盖与检索训练。它有20万训练对、2.5万测试对，包含四类任务，来源包括SAM、COYO、ImgDiff、Vismin和来自社交平台的XGoods、XLife。XGoods先用微调YOLO v8获得区域，再用SigLIP2召回候选、人工标正负，形成接近商品图与真实用户照片之间的分布差异。论文表5中，使用相同新增数据的LamRA达到80.9，完整RegRet为86.2；因此数据和架构都在起作用，不能把所有收益归给RAE。
4. 实验结果分析
下表按正文表1、表2给出原始分数。REGMB平均值混合不同子任务的Recall指标，公共区域平均值也混合mAP与Recall，不能直接作为线上nDCG使用。
| 模型 | REGMB平均 | Oxford-Hard mAP | DeepFashion2 R@1 | ILIAS图搜图 mAP@50 | ILIAS文搜图 mAP@50 |
|---|---|---|---|---|---|
| LamRA | 65.7 | 42.0 | 13.2 | 71.1 | 62.6 |
| RegRet-8B-zs | 78.8 | 42.8 | 15.8 | 75.7 | 59.1 |
| RegRet-8B | 86.2 | 45.0 | 20.2 | 86.4 | 72.6 |
区域训练使REGMB平均值从78.8到86.2，增加7.4个分数点，按相对比例约为9.4%。公共区域四项平均从48.3到56.1，增加7.8分，约为16.1%的相对增幅。正文部分表述使用“7.4%”或“20%以上”，阅读时应以各表指标和分母为准，避免把百分点、相对比例与不同基线平均混为一谈。8B完整模型相对表1 LamRA的65.7高20.5分，但这个比较同时包含数据和方法变化；同数据条件下的80.9对86.2更适合判断架构额外作用。
各数据集并非同步进步。零样本RegRet的ILIAS文搜图59.1低于LamRA的62.6，而图搜图75.7高于71.1；区域对比训练后两者都提高。REGMB任务4强调背景和组合条件，完整模型在部分子任务仍不如RzenEmbed或mmE5。例如表1中XGoods组合检索列，RzenEmbed为98.2、RegRet为93.6。作者明确指出局部与全局表示存在张力，因此不能只报平均分就宣称所有任务领先。
数据消融也支持这一点。3B模型只用文本对时均分68.4，加图像级数据为69.4，加入区域级数据后为79.9；后一步增加10.5分，远大于仅增加普通图像数据的1分。另一方面，任务化视觉输入在3B上优于统一策略：混合提示79.9，全部crop为78.4，全部concat为75.8，随机二选一为76.7。相对统一拼接的4.1分收益说明，是否显式传入背景需要与查询目标一致。
案例中，辅助图基线会把框内赛车匹配成占据画面大面积的人群；裁剪基线又会把装饰物误当成真实花朵。RegRet通过区域通道聚焦主体、通过背景读取恢复语境。它针对的是这些有明确ROI和相关背景的错误类型，尚不能证明用户不提供框选时也具有相同改善。
5. 局限与未来方向
作者报告的限制包括局部与全局目标难以同时最优，以及任务4的部分落后。结论提出未来扩展到视觉文档检索和RAG，说明这些属于后续方向，不能当作已完成验证。附录还明确披露ILIAS没有使用原始100万干扰项，而只用4.72千核心子集，原因是完整索引耗时太高；这使规模泛化证据较弱。DeepFashion2因官方测试候选不公开而使用验证集，也需要在横向比较时统一协议。
实践判断方面，XGoods和XLife属于平台自有来源，不能仅凭论文构建了数据就假设所有数据与权重均可下载。ROI获取误差、中文长尾查询、多个主体歧义、索引刷新成本，以及真实搜索的CTR、满意度都没有在本文中给出线上验证。本次证据质量为4分而非5分，正是因为有离线对照和消融，但缺少生产A/B。对纯文本UGC短查询而言，这是可迁移设计，不是可以直接替换文本召回器的方案。
6. 工业实践意义
若社区已有图片搜索或帖子图文匹配需求，可以先收集三类查询：只看主体、必须理解背景、主体与背景相冲突。以现有图文向量、裁剪输入和局部加整图输入作对照，复现独立投影及按任务融合的收益。对每类查询单独报告Recall@K和nDCG，并同步检查原全图检索是否回退；只有主体桶涨分而背景桶明显退化时，不宜用一个总均值掩盖问题。
候选侧可以离线检测主体并保存区域向量与全图向量，使在线侧仅计算查询并检索对应表示。但这是部署建议，论文没有提供生产索引方案。一个帖子含多个区域会扩大索引，需度量区域数、向量尺寸、去重策略与更新频率，避免区域召回把同一帖子占满前排。对中文口语属性词，还应补充人工标注，不能用英文描述生成数据替代真实查询分布。
论文附录以batch size 96比较编码耗时：RAE比只裁剪更慢，因为同时处理整图与ROI；与辅助图方式相比，报告的批次耗时由9.1到7.1，约快22%。这不是单请求延迟，也不是端到端搜索加速22%；ANN、检测、网络和排序开销需要单独计入。训练预算24张H20、20小时也提示应先做小规模数据和冻结主干实验，再决定是否完整复现。
最终可执行的业务假设是：减少背景主导的误召回，可能改善带图UGC的相关性。上线时先用离线标注验证，再通过分桶A/B观察CTR与满意度，保留纯文本路径作为独立对照。本文没有线上CTR数字，因此不能预填预计收益。