WIDE: Wildcard Inference with Dynamic Expansion for Cross-Modal Generative Retrieval

原文：https://arxiv.org/html/2609.03554v1 。以下依据正文第4—6节、表1—3撰写；涉及社区搜索的建议属于迁移分析，并非论文已验证的线上结论。

1. 问题与动机

WIDE讨论跨模态生成式检索的一种特定错误：文本查询仅描述少量语义，而候选图像包含背景、颜色、姿态等大量细节。系统把候选表示压缩成多层残差量化标识，再自回归生成完整标识时，会要求查询为每一层提供信息。传统trie约束束搜索必须选择一个具体token；如果查询没有描述该细节，正确分支也可能得到低概率，累积对数分数随之下降，最终在早期被淘汰。作者称其为被迫幻觉，这里的幻觉指离散标识的无依据选择，不是自然语言回答编造事实。

这与扩大模型容量或统一增加beam宽度解决的问题并不完全相同。即使模型准确理解查询，也无法从没有提供的信息中确定唯一视觉细节。论文以GENIUS式残差量化加自回归框架为起点，希望保留查询确实支持的离散约束，跳过缺乏证据的层，再使用其他信号区分扩展出的候选。社区UGC的短查询经常只给出对象或主题，因此这个问题具有迁移价值；不过论文直接验证的是跨模态检索，不能据此断言纯文本搜索同样获得收益。

2. 方法详解

基础链路分为两侧。查询侧编码文本、任务指令和可选图像，通过FUSE与MLP形成统一向量；候选侧把图像和文本映射到共享空间，残差量化RQ将候选压缩成层级离散标识。自回归解码器以查询融合表示为条件学习目标标识。WIDE主要改变推理流程，依次加入AET、AWD和BSR。

AET是离线分层熵校准。对训练样本采用teacher forcing，即每层输入真实前缀，计算该层合法token分布的熵，再在样本间求均值，得到阈值τ_k。不同RQ层和不同前缀的合法子节点数量不同，直接使用一个全局固定熵阈值会混淆这种天然尺度差异。在线实际熵H_k高于对应层的历史均值时，模型把该状态标记为异常不确定。这里的“动态”主要体现为逐层、随模型输出触发，而不是每次查询重新训练阈值。

AWD在每条活动beam上判断是否存在这种语义盲点。H_k不超过阈值时，正常生成具体代码并累加该token的对数概率；超过阈值时，把此层记入盲点集合A，并输出通配符，不加入该层的对数概率惩罚。trie临时激活所有合法子分支，但解码仍会继续。如果更深层出现明确约束，系统恢复具体token生成，再据此剪枝。因此它允许中间层留空，同时保留前后有证据的层，而不是首次不确定就直接截断标识。

每条beam最终匹配的物品集合，应当满足全部非盲点层的具体代码相等，盲点层不作限制。合并保留beam的匹配集合后，BSR执行混合重排。它先对非盲点层的生成概率求平均，注意这里使用概率均值而非束搜索的累积对数概率；随后将查询与候选向量的cosine映射到[0,1]，即(1+cosine)/2。最终分数是二者的加权和，向量项权重α等于盲点数除以标识长度M。盲点越多，表示查询对离散代码的约束越弱，向量项越重要；概率项按有效层数归一化，减少不同beam有效长度造成的偏差。

复现时需要明确处理全部层均为盲点的边界：原式的有效层数可能为零，按权重含义应退化为向量相似度，而具体数值实现需核对作者代码或自行增加保护。这是本文的工程检查建议，不是论文报告的新增算法。

正文训练设置为微调CLIP的score-level fusion变体作为表示基础，随机初始化T5-small作为自回归解码器，在两张NVIDIA L20上训练。优化器为AdamW，batch size为256，峰值学习率为1e-4并采用cosine衰减；RQ训练20个epoch，解码器训练30个epoch。M-BEIR包含10个数据集、560万候选及8类检索任务；这些是基准规模，不应等同于单一训练任务的配对样本数。正文未在所核实设置段落给出总训练step数，不能据此补写。

3. 核心技术贡献

第一项贡献是将“查询缺少细节”明确转化为解码时的部分约束，而不是把每个低置信度代码都视为必须选出的答案。AWD使不可靠层不再拖低整个正确路径的分数，同时保留后续可靠层的筛选能力。表2中，仅加入固定阈值通配符，VisualNews从22.2升至24.8，WebQA从38.4升至41.0，说明无需完整模型改造，也能从推理解码规则中获得收益。

第二项贡献是层级参考熵。阈值来自真实前缀下的历史分布，因此不同RQ层不再共用一个尺度。由固定阈值变为AET后，VisualNews再增加1.9个百分点，WebQA增加2.0个百分点；COCO增加0.3个百分点，说明收益依赖任务的信息不对称程度，并非各数据集都同样敏感。

第三项贡献是重排时显式利用盲点比例。通配符会扩展候选，同一beam内候选可能共享所有可靠代码，仅凭离散得分无法充分区分。BSR同时利用生成证据与连续向量信息，按可靠程度分配权重。在已经使用AWD和AET的基础上，BSR使四个消融数据集再提升2.6到3.5个百分点。该贡献也限定了WIDE的性质：最终系统仍依赖连续向量表示，不能将其描述为完全摆脱embedding的纯离散方案。

4. 实验结果分析

下表取自表1与表2，数值单位为百分数；FashionIQ使用R@10，其余列使用R@5。比较时必须区分指标和检索方向。WebQA沿用表2数值；正文表1与表2对此列的方向标注并不完全一致，迁移复现时需核对评测配置。

相对GENIUS，WIDE在VisualNews提高2.8个百分点，FashionIQ提高2.4个百分点；CIRR另有39.5到41.5的提升。表1也存在例外：文本目标的COCO列，GENIUS为91.1，WIDE为89.8，因此“所有任务全面最优”不成立。强向量系统U-MARVEL采用Qwen2-VL-7B，整体表现更高，说明WIDE验证的是小型生成式框架内的不确定性处理价值，不能替代同成本模型的公平比较或声称跨范式绝对领先。

消融的共同模式是通配符先恢复被剪掉的候选，分层阈值改善何时扩展的判断，混合重排负责扩展后再次区分。四个数据集上，加入BSR的增益都大于仅将固定阈值替换为AET的增益。但逐步添加实验不是完整析因实验，模块间可能存在交互，不能据此得出独立贡献严格相加或某模块永远最重要的结论。

表3报告每个通配符模式在跨beam合并之前的匹配规模。查询加权平均盲点层数为1.97，平均局部候选数为1142.7，相对完整库缩减99.76%。VisualNews平均为1654.2，EDIS为2357.7，显示较大的候选库可能带来额外重排压力。WebQA平均276.8却有P95仅2.0，论文解释为少量极端展开抬高均值。这个长尾现象对线上系统很关键：只监控P95仍可能遗漏最昂贵的一小批请求，还应记录P99、最大候选数与超时比例。

必须强调，99.76%是局部展开候选相对于整库的缩减比例，并不是相对原始beam搜索的加速倍数，也不是最终全局候选池缩减比例。论文承认额外开销，没有提供可直接迁移到社区搜索的线上CTR、nDCG或A/B收益。

5. 局限与未来方向

作者第6节明确列出三点局限。首先，通配符扩展引入额外解码和重排开销，即使触发范围受限，仍比标准trie束搜索更复杂。其次，重排依赖连续embedding提供的语义区分能力，离散标识并未独立解决所有问题。第三，高熵不一定来自模态信息不对称，也可能来自噪声、查询歧义或解码器自身置信度不足，导致不必要的扩展。

基于这些已陈述的问题，后续可验证按请求预算限制扩展，以及区分真正缺信息和模型未学好的不确定性。这些属于本文建议，不是作者已给出的有效方案。另一个需独立核实的工程问题是候选标识高度不均衡时的尾部成本，以及内容更新后阈值是否需要重新校准。当前论文使用公开离线基准，对高频UGC更新、线上流量漂移和点击目标没有提供直接验证，应保留这一证据边界。

6. 工业实践意义

对社区图文搜索，建议先在已有生成式召回旁路测试这一设计：从短查询、图文帖子、明确与省略视觉属性的样本构建分组，观察正确帖子在哪一层被剪枝，再对比普通beam、固定阈值通配符、分层校准、混合重排四个版本。首轮目标应是解释召回损失，而不是直接改动整个排序链路。

离线衡量至少包括Recall@K、nDCG、候选池大小分布、各层通配符触发率和无结果率。若短查询组的召回增加，但重排nDCG下降，说明扩展留下了太多语义近似但意图不符的内容，需要进一步验证BSR与现有相关性模型的衔接。与此相对，如果收益主要来自复杂图文查询，纯文本帖子未改善，就应限制应用场景。

部署层面，需保留用于BSR的候选向量、trie索引以及层级阈值，计量实际内存和查询向量计算成本；“离散索引紧凑”不能抵消向量存储的存在。两张L20和T5-small说明实验复现的训练规模相对可控，但不足以推出线上QPS或延迟承诺。考虑表3的重尾展开，建议设置候选预算和回退策略，并报告限额对召回的影响。这些措施是工程建议，论文未验证其收益。

只有在本地离线与时延预算同时通过后，才应把这一候选召回方案进入小流量CTR实验。此次论文没有生产A/B结果，最可借鉴的结论是“对查询没有提供的信息保留不确定性”，以及把解码阶段和重排阶段的置信度使用方式区分开来。