OneRetrieval：用「可编辑」的生成式检索统一电商多路召回
1. 问题与动机
工业电商搜索的召回阶段通常并行三路分支，各有结构性短板：倒排索引(BM25)"词面忠实但语义盲"、稠密检索"匹配粗、对新内容周转慢"、协同过滤存在"头部偏置、压制长尾与新品曝光"。三路相互独立、靠人工调权融合，无法联合优化。生成式检索(GR)有望把这一阶段塌缩为单模型，但论文指出真正的拦路虎不是召回指标，而是实时可编辑性：倒排分支转化率低于平台均值，却几乎是唯一能让运营"小时级注入一个新 term、无需任何模型更新"的通道，任何单模型替身都必须保住这一能力。现有 GR 恰恰缺失：闭合码本方法(DSI、TIGER、LC-Rec)把标识符槽位在训练时绑定为量化 embedding，部署后无法注入新词；开放词表方法(SEAL、GLEN)又缺乏"把 term 绑定到指定 item 集合"的显式机制。OneRetrieval 的目标就是在保持召回质量的同时，恢复推理期可编辑性。
2. 方法详解
核心是 Keyword-Aligned Encoding(KAE)：给每个 item 生成长度 L=6 的语义标识符(SID)，每个位置取自该位的专属码本，且每个位置对应一个可解释的关键属性词(实体、品牌、颜色等)，而非量化向量。属性体系上，作者从生产数据(约 1.08×10⁶ 个带类型词)归纳出 18 类细粒度属性，用信息论凝聚聚类按对称条件熵 IL(X,Y)=½(H(X|Y)+H(Y|X)) 贪心合并为 6 组(实体作为单例锚点)，累计信息损失在 G=6 处出现拐点。每个码本含四类槽位：空槽(index 0)、聚类槽(尾部词 embedding 的 k-means 质心)、独占槽(高频头部词)、以及每位 10 个、共 60 个训练时不绑定的预留槽(reserved slots)，留给部署后绑定的趋势词。推荐配置 L6-D3 在前 3 个稠密位各 2048 槽、后 3 位各 1024 槽，核心 9216 + 预留 60 = 9276 个 SID token。编码时拼接标题/属性/详情页/图片 OCR，用 Aho-Corasick 自动机匹配生产属性词典、按组选代表词(主体优先 + 行为重要度 PV/CTR)，全程无需神经推理。训练用标准自回归极大似然损失，backbone 为 BART-base 扩展 9276 个 SID token，并设计四阶段 SFT：Stage 0 属性—SID 对齐(建立"词归属第 ℓ 组就在第 ℓ 位发射"的位置偏置)；Stage 1 内容对齐(检索质量主来源，约 0.8M 样本)；Stage 2 协同共现(唯一暴露 query 侧 SID、确立 query-SID→item-SID 路由，约 74.3M 样本，对可编辑性至关重要)；Stage 3 个性化检索 + 预留槽自路由(用极小辅助块教模型把 query 中的预留前缀 ⟨ℓv⟩ 原样发射到 item SID，不绑定具体词)。在线服务时 query 端用 Aho-Corasick 确定性匹配出 s_q(请求路径无神经推理)，策略用 beam size 512 的无约束 beam search 解码 top-K SID，再经查找索引 T 还原为每 SID 最多 5 个 item 送下游预排。
3. 核心技术贡献
(1) 可扩展码本的 GR 设计：通过"预留槽 + 词典绑定"实现参数无关的实时干预——新趋势词 w_new 来时只需在其属性组分配一个未用预留槽 ⟨ℓv⟩、在查找索引里把该槽映射到目标 item 集，query 编码经 Aho-Corasick 路由到 ⟨ℓv⟩，策略凭 Stage 3 自路由把它发射出来，对应 item 即进入结果。其成立靠三条性质：句法可达(无约束 beam 可发射任意码本 token)、词无关身份路由(自路由训练不绑定具体词)、编码端确定性(词典查找固定)，而闭合码本方法三条全不满足。(2) 信息论属性合并 ECOM6：用条件熵把 18 类原则性地降到 6 组，支撑稠密感知的非均匀槽位分配。(3) 四阶段 SFT 解耦：把检索质量(Stage 1)与可编辑性(Stage 2)拆到近乎不相交的阶段，由消融验证。(4) 层级编码负结果：实体条件码本虽能降密度却劣于全局编码(Table 4)。
4. 实验结果分析
离线用 31 天生产日志、5×10⁶ 训练样本、约 3 万 click + 3 万 order 测试样本、7.6M query、20.2M item。检索质量(Order HR@350)：BM25 0.2215、DPR 0.4346、LC-Rec 0.3751、OneSearch 0.5550、OneRetrieval 0.5482——在深召回(HR@350)与最强基线 OneSearch 基本持平，仅在浅 cut(HR@10)落后；但 OneSearch"几乎没有推理期可编辑性"，OneRetrieval 把它找了回来。编码范式对比(Table 5)最关键：在 IHR@350(干预命中率)上 KAE 0.0806 vs RQ-VAE/RQ-kmeans/RQ-OPQ 的 0.0021–0.0030，高出 30 倍以上，且差距是结构性的而非调参。与 BM25 比可编辑性(Table 6)：IAR@350 OneRetrieval 0.553 vs BM25 0.761，即恢复约 73% 的倒排激活率，同时把召回质量翻倍(Order HR 0.2215→0.5482)。四阶段消融(Table 7)：去掉 Stage 2 后 IHR@350 从 0.1340 崩到 0.0030，证明 Stage 2 是可编辑性的承重墙；去 Stage 1 主要伤检索质量。线上 A/B(Kuaishou 站外搜索，20% 相对流量)：仅替换倒排分支时 Order +0.711%†(p<0.05)、Buyer +0.450%；同时替换倒排+稠密分支时 Item CTR +0.821%†、转化不掉。人工 GSB：query-item 相关性 +0.82%、item 质量 +1.36%。分行业 CTR 16/20 为正、均值 +1.00%，女鞋 +3.05%、内衣 +3.00% 等属性丰富类目增益最大。
5. 局限与未来方向
作者明确指出：OneRetrieval 在浅召回(HR@10 0.1846 vs OneSearch 0.2551)与 MRR@350(0.0880 vs 0.1333)上落后，这与它定位于召回阶段(而非 top 精排)一致，作为喂给排序器的召回分支可接受；预留槽共 60 个(每位约 10 个)是按"平台周级趋势周期 + 余量"设定，换到趋势更快或类目更多的目录可能需要重新规划容量；层级/实体条件编码的劣化(Table 4)说明这条降密度路线仍有未挖掘的优化空间。整体看，把"可编辑性"作为一等约束来设计 GR，是该方向尚未充分探索的维度。
6. 工业实践意义
对社区搜索这类海量 UGC 短文本场景，OneRetrieval 给出三点可借鉴的设计：其一，别只盯召回指标，要把"运营能否小时级干预召回"当作硬约束——这正是倒排长期不可替代的原因，预留槽 + 词典绑定提供了一条在单模型里保住该能力的范式。其二，编码方式决定可编辑性上限：KAE 这种"位置↔属性词"的可解释编码相比 RQ-VAE 量化，在干预命中率上有 30 倍量级差距，说明把语义 ID 做成人可读、可干预的结构本身就是工程价值。其三，训练阶段要按目标解耦：检索质量与可编辑性由不同 SFT 阶段承载，便于分别诊断与优化。部署上它很轻量：BART-base 规模，H100 训练、RTX 4090 推理，请求路径用 Aho-Corasick 确定性编码、无神经推理，beam size 512 解码、每 SID 还原最多 5 个 item，新词干预沿用与 BM25 相同的"小时级索引刷新"机制。社区搜索若想把多路召回逐步收敛到生成式单模型，可优先在"可被运营干预的热词/活动词"这一痛点上试点，先替换语义盲的词面分支、再逐步纳入稠密分支。