Retrieval as Reasoning: Self-Evolving Agent-Native Retrieval via LLM-Wiki
这篇论文把面向 Agent 的检索从一次性取上下文改造成“检索即推理”:LLM-Wiki 会把文档编译成带双向链接的 Wiki 页面,并通过 search、read、link-following 等工具接口让智能体逐步遍历证据。
查找解读请用站内搜索。
这篇论文把面向 Agent 的检索从一次性取上下文改造成“检索即推理”:LLM-Wiki 会把文档编译成带双向链接的 Wiki 页面,并通过 search、read、link-following 等工具接口让智能体逐步遍历证据。
这份 Meta 技术报告把 LLM 用到工业推荐漏斗最后的重排阶段,提出 GR2:先用 99% 唯一性的 Semantic ID 做中训练,再用教师模型生成重排推理轨迹,最后用面向 AUC/NDCG 的可验证奖励做 RL 后训练。
MixFormer 针对工业推荐中“序列建模”和“稠密特征交互”分离导致的容量分配问题,提出统一 Transformer-style backbone,把用户行为序列、非序列特征和高阶交互放到同一参数化结构里共同扩展。
IntentTune 面向电商搜索里“watch”“shirt”这类欠规格查询,尝试用个体历史和全站需求分布推断缺失的年龄、性别、品类、尺码等隐式意图。
针对工业推荐里组件各自扩参(行为建模、特征交互、任务建模分别 scaling)缺乏统一框架的问题,UniFormer 把整个建模空间拆成特征空间与任务空间,分别用堆叠的 Feature-space / Task-space Interaction Module 建模,并用语义 token 化实现 user-item 解耦做到 request 级推理加速;多序列 cross-attention 分别刻画异构行为以防偏好坍塌,多视角 FFN 支持各组件灵活扩参。
针对 ColBERT 多向量检索的 token 级 MaxSim 打分,论文先做 roofline 分析,指出朴素实现因要物化 Nq×Nd 相似度矩阵只用到 HBM 峰值带宽的 5–18%。
论文针对一类在 embedding 检索里被忽视的需求——pattern-preserving attribute retrieval:给定一组表达细粒度模式的 seed 物料,既要召回满足某个目标属性、又要保持在该模式内的更多物料。
针对搜索排序系统所需的相关性标注(训练数据准备、NDCG 评估、badcase 归因),人工标注慢、通用 LLM 在领域任务上精度不足。
工业级推荐系统的用户建模通常依赖固定维度稠密向量,表达能力受限;用 LLM 生成文本型用户 token 又只能捕捉话题共现、难以对齐物品属性。
快手与北航提出 Recommendation-as-Generation(RaG),把短视频推荐从“在固定池里检索”改为“按推断的用户兴趣实时生成个性化视频”。
针对电商赞助搜索下稠密检索训练数据的难题——点击信号有位置偏置、长尾 query 稀疏,人工标注上亿 query-item 对成本不可行。
DREAM 针对稠密检索依赖人工标注正负样本对的痛点,提出用大模型自回归 next-token prediction 损失来监督检索器训练:将检索器算出的 query-文档相似度分数注入冻结 LLM 的部分注意力头,相似度决定 LLM 预测目标输出时对各候选文档的注意力权重,由此产生的预测损失通过注意力机制把梯度回传给检索器。
VRec 针对 LLM 生成式推荐中"先推理再推荐反而掉点"的推理退化问题,提出 reason-verify-recommend 范式:在推理过程中交错插入验证以提供可靠反馈。
论文质疑“检索召回率(exact-match recall)能代表检索内容对下游决策是否有用”这一常见假设。
重排序模型多把 query 与 passage 拼接做联合编码,计算耦合限制了部署效率与灵活性。
针对 Transformer 序列推荐模型,论文发现一个反直觉现象:放大模型规模虽提升准确率,却同时放大流行度偏置(popularity bias),加剧 Matthew 效应与信息茧房,使其成为推荐 scaling 的根本障碍。
传统离线推荐评测用 Top-K 指标加严格 ID 匹配,受曝光偏置影响导致评估失真,且只给数字不给理由。
论文针对对话式推荐系统(CRS)离线评估难题,指出现有基于 LLM 的用户模拟器存在三个局限:依赖固定 prompt 与预定义动作空间导致跨领域迁移差、难以复刻细粒度语言风格与动态偏好、评估有效性不足。
论文把序列建模落地到 Airbnb 线上搜索排序,针对生产环境三个具体难题:guest 行为序列长、探索性强、且预订(booking)标签稀疏。
针对赞助搜索中长文本广告描述(比广告标题更长、可融入世界知识表达用户搜索意图)的生成问题,提出 Interactor 多轮迭代生成框架:LLM 策略作为 agent,与由两个 rubric 式生成式奖励模型(GenRM,分别评估知识容量 KC 与落地页一致性 LP)和 CTR 预估模型组成的环境交互,用 <retrieve> 检索百科知识、<create> 生成、<reward> 评估三类动作多轮精修,以 GSPO 做 agentic RL,基座 Qwen3-30B-A3B。
生产环境的 LLM agent 依赖实时检索,但厂商原生的 search grounding 把检索策略、provider 选择、证据注入、成本、延迟和生成行为全部耦合在模型边界内,难以检查、调优、复用与迁移,还会触发 Search-Induced Verbosity 破坏输出格式约束。
Stellar 针对多模态文档检索中 late interaction(多向量 token 级表示)内存开销过大、难以规模化的问题,提出把 token 级文档 embedding 存到磁盘、检索时只把候选 token embedding 调入内存。
隐式反馈(点击)混入大量噪声样本(标题党、位置偏置),冷启动新物品因交互稀疏更易受噪声影响,而已有去噪方法依赖“高 loss 即噪声”的启发式、在冷启动场景失效。
论文部署 ACIE(Agentic Clinical Information Extraction),一套在德国 University Medicine Essen 本地落地的 agentic RAG 系统,针对患者上下文跨数百份异构文档、文档级元数据缺失的场景。
百度与中科院计算所提出的多语言 cross-encoder 重排模型,解决第二阶段重排器适配新分布需大量人工相关性标注的问题。
针对 RAG 系统精排环节的相关性打分问题。现有 reranker 多用语言模型为 next-token 预测设计的 logit 信号判相关,并依赖启发式阈值过滤,二者都不是为相关性评估而设计。
面向零工平台(日本最大零工平台 Timee)推荐场景:用户收藏岗位模板、企业发布对应班次时收到通知。作者发现一味最大化预测收藏会让推荐过度集中在热门但实际开班很少的模板上,而有用工缺口的模板曝光不足。
研究生成式推荐是否会加深信息茧房。生成式推荐用 Semantic ID(SID)序列替代原子 item ID,其茧房效应此前不明。
现代 CTR 预估普遍只用正向行为(点击、购买、完播)构建用户行为序列,而数量更庞大的隐式负反馈(划过、跳过、低完播)被忽视。
音乐搜索重排需同时对齐用户当前 query 与长期偏好,并联合优化 CTR 与 CVR,但已有序列方法只用 item 交互历史、无法用历史 query 判断哪些偏好匹配当前意图,且多数 listwise 模型只优化单目标。