VikingRAG: Accurate and Token-efficient Retrieval-augmented Generation over Structured Documents
VikingRAG 针对结构化文档问答的多轮检索成本,将目录、摘要与文本块统一为可寻址对象,并按证据缺口调用检索工具。系统把历史检索路径保存为经验边,再按证据充分性决定是否升级多轮搜索。
查找解读请用站内搜索。
VikingRAG 针对结构化文档问答的多轮检索成本,将目录、摘要与文本块统一为可寻址对象,并按证据缺口调用检索工具。系统把历史检索路径保存为经验边,再按证据充分性决定是否升级多轮搜索。
HyperTrace 将在线个性化建模为隐含偏好追踪,维护五个带权自然语言假设,按选择反馈更新,并分层保存会话意图与长期偏好。
PDMR 将文档拆成多个语义片段,用“文档标题/片段标题”构建标识,并通过多目标损失学习多个有效访问路径。MS MARCO Doc 上 R@1 为37.71、MRR@10为48.66;NQ320K上 R@1 为67.6,高于MINDER的62.7,但R@10略低于后者。
多任务精排里,常见的统一骨干让所有任务共用前面每一层,只在最后的预测塔才分开,点击和深聊这类差别很大的目标被迫共享同一套中间表示。陌陌的这篇论文在骨干里放一组随层更新的小向量,几个由所有任务共用,每个任务再各有一个。
这篇论文最值得看的地方,是它把超长行为序列的计算从按候选重复做改成了每个用户只做一次。
论文针对 DSI 基线难以复现、NQ320K 构造口径不统一的问题,发布覆盖原子、任意数字和语义三类标识符的 ReDSI,并拆分文档去重与文本序列化流程。
DrEM 研究上游行为预估同时充当融合排序输入与监督时的噪声传播,以共享的 logit 高斯噪声模型估计偏好翻转概率,结合风险修正和保序扰动训练。
针对短查询无法描述图像全部细节、生成式检索却被迫猜测离散标识的问题,WIDE用分层熵阈值触发通配符扩展,再融合生成置信度与向量相似度重排。
PTDG 针对多任务推荐中深层转化信号沿固定漏斗衰减的问题,用低秩分解生成实例相关任务图,在因果掩码内传播信息,并按标签稀疏度逐步屏蔽共享参数。工业数据平均 AUC 为 0.8878,线上两周实验相对 MMoE 实现 CVR 提升 1.2%、eCPM 提升 1.9%。
MURAL 针对静态物品图和多模态噪声,用 HNSW 找候选邻居,再学习边权,并结合模态重要性与不确定性融合表征。
AtomRec 把用户与内容历史拆成带关键词、标签、时间和关联链接的原子记忆,用大模型更新局部字段,再沿两跳语义路径汇集证据完成推荐。
针对同一文档被不同查询反复编码的开销,DoPR 离线选择显著 token,将其转换为可复用的多层前缀状态,在线仅处理查询与评分 token。
UniCon把一次展示的候选、用户和环境信息组织成上下文单元,用单元内注意力学习竞争关系,再用跨单元注意力建模兴趣变化。美团搜索广告实验中,AUC从0.8558升至0.8697;七天线上测试的CTR、RPM和收入分别提升2.07%、3.09%和2.95%。
阿里提出面向多兴趣用户的引导查询生成框架,以单兴趣样本学习表达,再用分层奖励训练兴趣拆分,最后通过偏好优化将思考能力迁移到直接生成。天猫线上实验在10%流量时报告uCTR相对提升4.46%,扩大至40%流量后的六天验证仍提升2.53%;查询由近线生成、线上读取。
论文把统一推荐模型从“层内特征交互”改写为“跨层特征运输”,提出 CRAFT 模块:由非序列特征生成可靠性感知的上下文场,再控制意图与行为序列表示的残差位移和记忆保留。
论文指出双边匹配平台只优化点击、回复或匹配量,会忽略低匹配用户更高的流失风险;作者据此设计保留导向的后处理,对高流失风险用户提升排序分数,并在真实招聘平台做在线实验。实验组用户流失方向性下降,但未达到常用统计显著性水平,公司侧流失也未出现恶化。
论文面向工业级生成式 POI 推荐,指出仅依赖行为序列和协同信号生成 Semantic ID,会让结果兴趣相符却远离用户实时位置。SPAR 从 Semantic ID 构造、空间知识学习与生成保持三个阶段显式注入距离、方向和可达性,使生成目标同时满足偏好与真实城市空间约束。
ReST 面向工业推荐排序中行为序列噪声高、时间不规则且一份用户历史需匹配大量候选的问题,采用双门控注意力、旋转位置与时间编码,并把重型可复用编码器和轻量交叉解码器拆开。
腾讯 TGR 用 CCFormer、BARGE、HiGR 与离线 reason token 串联多任务排序、Semantic ID 生成和推理。
针对现有 LLM 检索通常只增强 query、最终匹配仍依赖下游检索器的问题,论文提出 CoGR,让查询端与物品端生成器共同产出紧凑关键词并直接通过倒排索引匹配。
工业推荐中的单一用户向量难以覆盖多兴趣,而固定多路召回又会产生兴趣坍缩和无效 ANN 查询。
CAMIE 面向 Snap 动态商品广告的 I2I 召回,把图像与商品元数据送入同一 LLM/MLLM 原生多模态接口,再用用户旅程挖掘的共参与商品对和对称式 in-batch InfoNCE 对齐转化行为。
针对电商生成式检索在 Semantic ID 构建、低曝光商品监督和偏好优化三个阶段出现的意图漂移,ICEGR 将查询意图贯穿 SID、统一 SFT 与相关性校准偏好学习。
针对推荐与广告排序中异构特征直接全量混合导致参数浪费的问题,HubMixer 用少量可学习 latent hub 依次执行特征归纳、hub 间高阶交互和 token 条件化回写,复杂度从 token 两两交互转为与 T×H 成正比。
PMFRec 面向服务端看不到用户交互、客户端又看不到专有物品属性的双边约束,解决零交互新物品的联邦冷启动。
针对 Semantic ID 生成式推荐中 GRPO rollout 常错过目标分支、组内奖励退化的问题,DASO 在线统计前缀匹配深度,在瓶颈层分配有限的目标前缀引导,并加入分级 SID 奖励和 SFT 锚点。
论文把混合检索从固定融合流程改写为可执行程序合成:Qwen3-4B 根据自然语言查询生成同时包含 SQL 结构化约束、文本与图像向量检索的领域专用程序,并用 SQL 逻辑代数组合候选集。
LinkedIn 用一个 decoder-only Transformer 换掉了原来由 DCNv2 和序列编码器组成的广告 CTR 模型。难点不在模型容量,而在广告系统的现实约束:位置要等打完分才知道,线上序列有延迟,几百个候选要在 50 ms 内打完分。
生成式推荐模型只按相关性训练,业务却常要求一张列表里某类内容达到一定比例,而且要求经常变,每变一次就重训大模型并不现实。Spotify 的 SPDD 不动模型,只在解码时给每个候选加上权重乘以它对配额的贡献,权重随配额还差多少自动升降:落后就加大,超前就减小。
论文针对生成式检索与推荐中 Semantic ID 的残差量化缺陷,提出 PRQ-KMeans:先移除全局均值,再用 Top-k 相似度加权更新质心,并以投影残差替代完整码字相减。