Shopee 的作者统计了标准 RQ-KMeans 生成的三层语义 ID（SID）：最常曝光的前 10% 完整编码拿走了 89.62% 的曝光，生成式推荐模型的概率因此集中在少数热门编码上。UniRec 让模型先生成商品的二级、三级类目 token，再生成三层 SID，并在构建 SID 时给每个编码加一个按曝光加权的容量上限。先生成类目，后面每一层 SID 只需要在这个类目里挑。离线 HR@50 ...
用大模型做推荐底座时，先生成一段自然语言推理（CoT）再输出物品语义编码（SID），推理文本很长，吞吐跟着下降。快手的 OneLatent 在用户上下文和目标 SID 之间插入 3 个可学习的特殊 token：训练时先让模型在这 3 个 token 之后复现教师大模型写的推理文本，再改成在它们之后直接预测 SID；上线时只输入这 3 个 token，不生成推理文字。教师推理从推测意图、给点击物品打...
Netflix 首页由多行组成，每行有一个主题和若干影片，过去由行模型、影片模型等多个阶段拼出来。GenPage 把用户观看历史、设备、时间段等编码成 token 作为 prompt，用一个约 2 亿参数的 decoder-only Transformer 从左到右、从上到下逐个生成行和影片 token。每个行和每部影片只占一个 token，业务规则可以直接写成每一步的候选掩码。线上 A/B 中用...
生成式推荐受注意力计算量随序列长度平方增长的限制，通常只用短行为序列。快手和清华的 GLASS 把长期历史分两处用：生成第一层 SID 之前，算长期历史里每个物品和每个一级码中心的余弦相似度，按相似度分档计数，压成一个兴趣 token 送进编码器；第一层 SID 生成后，用它去长期历史里取出第一层码相同的物品，经门控融合辅助生成后两层。第一层码定大类，后两层码要在这个大类里区分具体物品，所以需要的...
Google Discover 广告团队发现，转化预估模型（pConvs）的离线 Poisson Loss 和线上广告主价值（Delivered Value，每次点击的转化数乘广告主目标单次转化出价 tCPA 再求和）之间的相关系数只有 0.1，离线变好的模型上线后经常不涨。作者把损失里每次点击按 tCPA 加权，并给所有低流量实验配一个同样流量、重新训练的生产模型作对照。按 tCPA 加权后，离...
推荐团队做排序、contextual bandit、uplift、序列推荐时往往各用一套库，离线评估接口也各不相同。Intuit 开源的 scikit-rec 按 Recommender、Scorer、Estimator 三层拆开业务逻辑、打分方式和底层模型，五类推荐范式共用一个 evaluate() 接口，其中有 IPS、SNIPS、DR 等六种离线策略评估器，结果和 Open Bandit P...
混合检索把 BM25 和向量检索两路结果融合成一个排序，主流检索引擎和 RAG 框架的文档大多默认用倒数排名融合（RRF）。作者在 7 个 BEIR 数据集上逐条查询记账：表现最好的融合方式是向量分数占 0.7 权重的分数插值，它在每个数据集的平均 nDCG@10 上都赢过只用向量检索，却仍让 8–21% 的查询排得比只用向量检索更差。这些损失集中在只有一路命中相关文档的查询上，另一路此时只贡献噪...
RAG 的分块方案通常只在一份静态语料上比较，可知识库会不断修改。每个块单独编码成向量，编辑后块边界一移动，没改过的文字也得重新编码。作者在 120 对相邻版本的中英文维基百科条目上测量，规定只有块的编码输入逐字节相同才复用旧向量：不重叠的固定长度切块要重算新版本 57–68% 的编码输入，段落优先的递归切块 38–56%，按局部文本指纹选切点的内容定义切块（CDC）43–54%，三者在 2048...
Mathlib 是 Lean 证明助手的数学库。人和编码智能体搜索它的查询中位长度只有 16 和 15 个 token，以往检索器训练用的定理复述中位长度却是 82 个 token。Lean Finder V2 用强化学习训练一个查询生成器，为每条定理写当前检索器排不准的短查询：目标定理排进前 5 名不给奖励，排在 5 到 100 名之间才给，而且查询要先经大模型判定和定理说的是同一件事。生成的 ...
智能体流量多步、共享长前缀、突发到达。放在普通轮询负载均衡后面，各副本会重复计算相同的提示，显存里堆满重复的 KV cache。Google 联合 Red Hat、IBM 等在 PyTorch Conference 发布的 llm-d 1.0，是一个跑在 Kubernetes 上的开源分布式推理栈，把一组 vLLM、SGLang 模型服务器组织成一个统一的服务池：路由器记录每个缓存前缀存在哪些副本...
生成式推荐按左到右逐个生成物品 ID 的 token，推理时想临时提高多样性，只能中途改某一位，结果常拼出目录里不存在的 ID。ReGen 改用双向 Transformer 一次预测 ID 的全部 4 位，只在最粗的几位上给用户历史里常见的 token 值减分，再把置信度低的位遮住重新预测，并用全部合法 ID 建成的前缀树排除补不成真实物品的 token 值，全程不改模型参数。Amazon Ins...
淘宝搜索的 CTR 模型主要靠商品 ID 记忆历史点击，同一件商品换一张主图，模型几乎分不出差别。FineSID 把商品图用 VAR 图像分词器编成 1×1 到 4×4 四个尺度、共 30 个离散编码，标题和 OCR 文字按字段分词，全部像普通 ID 特征一样查表输入；整个网络先用 Qwen3.5 教师标注的“搜索词—商品”相关性训练，再换上点击预测头，用点击日志微调。离线 AUC 比 HiFor...
生成式推荐用 beam search 逐个生成物品 ID 的 token，冷门物品生成概率低，往往前一两步就被剪掉：Amazon 工业科学品类上，MiniOneRec 生成的 50 个候选只覆盖 11.94% 的冷门目标。CAPE 不重训模型，推理时从训练数据里统计哪些物品和用户历史被同一批用户交互过，按这个共现计数额外召回 25 个冷门候选，并把计数加进排序分。LastFM 上 TIGER 前 ...
个性化奖励模型要给每个用户单独打分，但每人只标了几十对“两条回复选哪条”，大量没人标过的回复用不上。难点在于成对损失只约束同一提示下两条回复的分差，不同提示的分数可以整体平移，单条回复没法用一个阈值判好坏。PerSPL 训练时把每对标注回复的分数均值压向 0，让分数跨提示可比；再按用户拟合一条分数到偏好概率的单调映射，只给高置信的无标注回复打伪标签，迭代重训。PersonalLLM 上未见用户准确...
序列推荐模型给每条历史行为算表征时，有的行为过一层编码就收敛，有的要堆叠多层才稳定。三层 SASRec 里，76.1% 的行为第一层后就稳定，6.7% 要到第三层。LoopRec 让每条历史行为各自决定堆叠几层，不再整条请求共用一个深度。在 Amazon Software 数据集上，以 SASRec 为主干时 NDCG@20 相对提升 5.68%。
Perplexity 发布 0.6B 和 9B 两个多向量检索模型，能编码文本、图片和文档截图：文档每个 token 存一个 128 维向量，查询的每个向量取它和文档向量内积的最大值再求和打分。两个模型都去逐 token 拟合同一个 18B 教师的输出向量，因此向量空间相同，可以用 9B 离线建文档索引、线上用 0.6B 编码查询。在 72 个领域检索任务上，9B 平均 nDCG@10 为 81....
用第一轮检索文档或大模型写的假想答案（HyDE）来改写查询向量时，常见做法是把反馈向量取平均再和原查询插值。DIFF 认为一条反馈只支持查询往某个方向修正，其他方向不该被它拉回：它先减掉每条反馈与原查询平行的部分，得到这条反馈要求的转动方向和幅度，只约束修正量在这个方向上的投影，再按反馈与查询的相似度和整组方向是否一致加权，解一个 K×K 的线性方程得到修正，不训练任何模型。BEIR 14 个子集...
韩国大学和 KAIST 让 Claude Code（Claude Opus 5.5）替搜索智能体设计检索工具：它读每道题的执行记录和得分，同时修改预先生成的索引文件、可执行的检索脚本和使用说明，循环 10 轮后选优化集上最好的版本。搜索智能体用 GPT-5.4-nano，BrowseComp-Plus 答对率从 DCI 的 71.6% 升到 78.4%，BRIGHT 四个子集平均 nDCG@10 ...
东北大学和清华发现，边推理边检索时，后面的子查询会沿着前面子查询的移动方向继续偏离原问题，而且越往后越明显。MAPS 据此做两处改动：每轮只把提炼出的知识和一段推理摘要交给模型，不再给它看历史子查询；生成子查询前先列出几个互补方向，各写一个子查询并行检索后合并。Qwen3-32B 上六个问答集平均 Cover-EM 为 56.0，ParallelSearch 为 49.2，Search-o1 为 ...
Parlant 原来每轮对每条客服规则问一次大模型是否相关，36 条规则每轮约 69,000 个 token。S&Q 改为离线让大模型为每条规则写 10 条应触发的用户消息和 10 条容易混淆的反例，训练一个逻辑回归；线上每轮只需一次 embedding 和 37 微秒 CPU。在 τ²-bench 航空客服上，召回率 90% 时精确率 32%–34%，余弦阈值为 31%；从真实对话挖样例后精确率...
IBM 构建了约 3,900 条的多轮 RAG 反问数据集 ClariEdge，专门包含"看起来含糊、但上文已能确定指代"的难负例，用来对 Granite 小模型做 LoRA 微调，判断要不要反问并列出候选项。Granite-4.1-3B LoRA 判断准确率 96.6%，提示词方式下 GPT-4o 为 79.4%，GPT-5.6 Sol 为 73.1%（后者倾向于什么都反问）。去掉难负例训练后，...
独立研究者在 Llama-3.1-8B-Instruct 和 Qwen3-8B 上，按相同存储位数（稀疏位置索引也计入）和相同标称算力档位，比较"加 2:4 稀疏"和"降一档精度"，并在 L40S、H100、RTX PRO 6000 上实测。只要还能降精度，加 2:4 就既更不准也更慢：2:4 + INT8 的存储成本等于 INT5。到 FP8 底线后，H100 上 vLLM 服务的重训 2:4 ...
SGLang、NVIDIA 和 AMD 团队用插件框架把专用融合内核接入 SGLang，针对低并发场景减少内核间等待和跨卡通信。DeepSeek-V4.1-Flash + DSpark 的 AgentX 回放中，4×GB300、1 个会话时每用户 P90 生成速度从 671.2 提到 928.4 token/s；4×MI355X、4 个会话时从 331.6 提到 516.0 token/s。NVI...
海信的 RCSD 在用 HASS 蒸馏训好的投机解码草稿模型上，再用 DPO 或 GRPO 继续训练：目标模型自己生成的序列为"好"，目标与草稿交替生成的序列为"差"，GRPO 版用接受率打分。Qwen3-1.7B 和 Llama-3.1-8B 上，四个数据集、草稿步数 3–6 的接受长度都高于 HASS，例如 Qwen3-1.7B 在 GSM8K、步数 6 时从 2.176 到 3.246；Ll...
Scitix.AI 的 UlaCache 把各 GPU 的 KV 池和 CPU 内存编进统一逻辑地址空间，让 GPU 和 CPU 各存不同的历史，并消除 MLA 在 TP 下的跨卡重复；GPU 池由所有请求共享，用分桶并行 LRU 决定换出。SGLang + GLM-5.3、64K–128K 输入下，8×B300 TP 可同时解码的请求从 HiSparse 的 37 增到 452；开投机解码时峰值...
用大模型反复修改文档编码程序，自动寻找更好学的检索索引。小型生成器负责快速筛选，最终再用目标模型检验，训练方法保持一致。NQ320K 的前百条召回率从 85.82% 升至 90.57%。
十万条历史行为让候选逐一匹配的成本过高，作者先筛选可复用的原始记录，再按候选查找证据。筛选器向完整历史教师学习，并让检索与聚合共享相关性参数。快手线上实验中，应用使用时长提高0.613%。
多个画像任务反复读取同一段长历史，造成大量重复计算。作者把物品内容预先压成可共享向量，再按时间拼回用户历史，配合分阶段训练减少信息损失。腾讯长期保留对照组的实验报告整体GMV提高1.37%。
生成式检索不必把全部特征一次塞进模型。AGR 在生成物品短编码时，按当前分支调用意图、位置或历史行为工具，把结果压成观察标记继续解码。快手线上实验中，强相关前四结果请求占比提升 0.205%。
点击率模型常靠多次随机预测教自己，本文把这种训练改成可计算的分歧惩罚。门控只读取未遮挡的原始特征，让随机遮挡造成的预测差异可以直接估算。五个基准中，蒸馏版在 Criteo 的 AUC 达到 0.8169。
语言模型逐个阅读物品全文，在线推荐成本很高。作者把每件物品预先压成一个向量，再让排序模型结合用户历史和反馈打分；同一请求的候选共享历史缓存。在单张 H100 上，吞吐约为每秒 2.64 万个候选分数。
把读过的文章分别编码，再学习哪些文章更重要，可以避免长历史被截断。LSNR将词项加权与用户级语义扩展合并成稀疏向量，在MIND上的NDCG@10比稀疏基线STAR高约11%。
排序模型每次改动都跑完整训练，成本很高。Predictable Scaling用缩小的数据和网络预测改动收益，再用历史学习曲线估计误差；两个工业排序模型的训练计算量分别减少88%和79%。
推荐系统可以把召回与排序合并到一个模型里。Gryphon-v2 只编码一次用户历史，先生成语义 ID（物品的短编码），再用轻量排序头打分；教师只参与训练。Yandex Music 线上实验中，活跃用户数提升 1.41%。
把用户历史预先压成可复用的记忆，能减少每次排序时的重复计算。TransX 将序列编码、行为记忆和候选融合拆开扩容，并由离线、近线服务更新状态。独立线上实验中，基础模型的点击率相对生产基线提升 6.02%。
要随时调整准确率与多样性的取舍，可以复用各自训练好的模型。RecSoup 先按目标重要性裁剪参数增量，再用小网络把偏好权重映射为合并系数。在三个基准上，构造推理参数的延迟比超网络方案低约 165—228 倍。
新物品没有交互边，图推荐便无法从邻居获取兴趣信号。作者先用文本语义固定协同空间，再让独立学生网络学习表示方向，并在检索时恢复向量长度；Sports冷启动Recall@20比DropoutNet高20.8%。
针对多种查询改写结果既互补又可能漂移的问题，XViewRank 用三路归一化 BM25 分数与三组结果集重叠率构成六维特征，通过小型非线性网络学习融合。TREC DL19 的 nDCG@10 从同输入 RRF 的 0.6376 升至 0.6583，MAP 从 0.4225 升至 0.4437；仅后者达到显著性，DL20 的改善未显著。
多条查询改写共享一个下游奖励时，CASI 固定检索快照，比较不同查询子集的收益，再用 Shapley 值分配动作信用。五个独立训练种子下，留出集回放价值为66.70±3.40，高于 Singleton 的55.00±4.00；七天、10%线上流量实验中，广告主价值提升3.51%。
WeGR 将协同行为感知的 CoCo-VAE 语义码与动态视野策略优化 DHPO 结合，解决工业生成检索中的码本塌缩及精确匹配奖励稀疏问题。微信电商搜索线上实验报告订单、CTR、CVR 相对提升 2.539%、1.508%、1.381%，CPU/GPU 使用量分别减少 25.5%/26.1%；这些是电商生产结果，尚非社区 UGC 验证。
CDS 在短视频多任务排序中重复调用共享参数的特征交互块，以链长度增加计算深度，并用每轮残差稳定优化。压缩配置参数减少 26.6%、训练吞吐提升 6.4%，两个任务 AUC 分别为 0.7634、0.6787；线上参与度点估计增加 0.06%，但 95% 置信区间包含零。
DRanker 将 Disney+ 首页多个独立模型整合为双任务排序器，以丰富行为序列、相对位置自注意力和轻量因果塔预测参与概率与时长。全球实验中部署版本参与指标提升 0.48%，扩展到多个页面后提升 1.4%、DAU 提升 0.5%；约 700 万参数即可支撑大规模实时排序。
论文研究有限宽度 beam search 如何限制语义 ID 推荐的候选可达性，并提出单步连续查询 CQG-Single 和连续残差生成 CQG-AR。统一协议下，CQG-Single 在 MovieLens-1M 的 7 次训练中均超过 TIGER 类基线，平均 Recall@10 增加 0.0107，仅使用其 55.3% 的可训练参数。
论文压缩学习式稀疏检索的倒排与正排索引：用块内代表文档替代摘要向量，对重排词表后的差分编号进行 SIMD 位打包，并使用逐词项 4 位量化。在 MS MARCO 的三种编码器上，等精度时最高比 SINDI 快 5.3 倍、内存约少 3 倍；这些是配置相关的最优结果。
将模型内部知识与外部检索证据分为可观察的两条信息流，并用来源一致性奖励约束搜索 Agent，避免答对却编造依据。3B 模型七项问答平均准确率为 0.414，Search-R1 为 0.372；证据编造率从 16.08% 降至 4.05%，相对下降 74.81%。这些是离线问答结果，尚不能等同社区搜索的线上收益。
生成式推荐优化长期留存时，延迟奖励容易被归给最近而非真正相关的行为。EWM 用语言模型解释已发生的轨迹，再以守恒层级算子递归重分配奖励。KuaiRand 离线 AUC 提升 1.99 个百分点；工业回放 Recall 为 SFT 的 3.75 倍，尚无线上 A/B 结论。
单向量检索容易遗漏长帖子或对话中的局部证据。方法复用冻结编码器的 token 表征，通过全局稀疏 token 匹配与整条记忆相似度融合完成排序；Qwen3-Embedding-4B 在八项基准上的平均 Recall@10 从 62.5% 升至 73.8%，加入查询适配后达到 75.7%。
SEEDS 将证据准入独立于召回：先展示轻量预览，再由智能体根据当前推理状态选择任意子集，而非固定读取前几条。论文覆盖9个问答基准；Search-o1接入后，本地平均全文阅读数从30.2降至12.6，在线搜索准确率从9.28升至11.78，页面阅读数从27.81降至8.30。
阿里提出 MARI，将搜索、浏览、收藏和购买日志蒸馏为包含意图、偏好及回避因素的结构化决策记忆，再检索记忆辅助 LLM 推荐。Qwen3-4B 微调版本在跨品类下一物品预测和相似商品难选择任务的 Hit@1 分别为 0.5561、0.8868；无记忆微调基线为 0.538、0.866。结果来自工业日志离线实验，未提供线上 A/B 收益。
针对本地搜索中语义、距离与口碑信号难以联合比较的问题，H2CE 将数值分桶文本与精确数值 MLP 同时输入异构交叉编码器，再对首阶段前十名进行成对重排。在 5,743 条查询上，nDCG@5 达到 67.48，比 XGBoost 高 22.82 个百分点；成对阶段额外贡献 1.98 个百分点。
RIT-RAG 将召回与阅读解耦：先用检索命中的段落及祖先节点构造跨文档子树，再让 Agent 按需读取节点、改写查询。相同混合检索器下，Haiku 在 WixQA 的答案准确率由 Agentic Search 的84.5%升至95.0%，FinanceBench由74.0%升至84.0%；284万网页语料验证了规模可扩展性。
生成式推荐漏召回目标后，训练时补入目标会同时改变监督权重与概率竞争。论文固定生成器和候选池，用 WN、Cond、Full 三种损失隔离这些效应；在 Amazon Video Games 四组预设比较中，去掉跨组竞争使 FT-NDCG 提升 7.8%–22.2%，开发集选择规则还避免了另一类别 1.7% 的损失。
LoopFM 将推荐基座模型的历史中间表征压缩成用户序列，供轻量排序模型使用，补充标量蒸馏难以传递的跨域信息。TaobaoAd 上 DeepFM 的 AUC 从仅蒸馏的 0.5980 升至 0.6344；工业系统知识迁移比约翻倍，两个后续上线分别带来 1.03% 和 1.22% 转化提升。
ScalarLens 将数值特征拆成仅由数值确定的稳定坐标，以及受样本上下文调节的有界响应，保持类别嵌入和 CTR 主干接口。1539 次实验覆盖 19 种表示、3 个数据集、9 种主干；其在 27 个组合中获 25 个第一，三个数据集平均 AUC 分别超过最强竞争者 0.0070、0.0037、0.0012。
论文系统研究生成式检索的文档标识符设计，把乘积量化、残差量化及混合结构放入同一空间，并提出无需训练检索模型的内在诊断指标。在 MS MARCO 上混合量化的 MRR@10 达到 46.30%，NQ 上 R-VQ 达到 56.64%；短码预算下，唯一率可帮助识别碰撞和空间坍缩。
论文研究推荐模型递归更新后应保留哪些状态，以跨代与同代模型配对的公平对照衡量互补收益，并用无需相关性标签的排名分离度选择保留方案。覆盖四个数据集、三种序列编码器，所选模型族在 34/36 条测试轨迹中优于直接后继模型，NDCG@20 平均相对增加 10.6%；跨代组合并非对所有架构始终有效。
论文将跨平台用户历史用于已有推荐列表的选择性调整，提出 MediateRec 基准和 PAMO 训练方法，通过遮蔽跨平台记录评估推理对个人信息的依赖，并保留平台相对价值下限。真实 OpenPlay 的 645 名用户测试中，PAMO 将 HR@10 从平台的 40.8% 提升到 47.9%，NDCG@10 从 0.241 提升到 0.284，有害覆盖率为 6.0%。
序列推荐用模型生成的交互序列递归训练时，全部保留通过验证的数据会放大来源与长度偏差。DA-RSIR 用 MC dropout 估计目标物品的预测分歧，按来源分组并从低、中、高分歧区间选取代表序列。在四个数据集、三个模型和两个指标构成的 24 项比较中全部优于 retain-all；SASRec 在 Beauty 上的 NDCG@10 从 5.01 升至 5.17（表中乘以 100）。
针对滑窗重排反复生成查询推理的问题，QReason先生成一次排序导向推理查询，再交由非推理重排器跨窗口复用。监督训练以相关段落为依据，强化学习结合列表与逐段奖励。BRIGHT平均nDCG@10达到36.93，高于ReasonRank的36.45；六子集端到端评测加速7.86倍。
针对长程搜索中重复检索、证据丢失和过早停止的问题，Harness-Search 将检索提案、记忆提交与终止审核分给三个权限受限角色，形成共享状态驱动的搜索循环。在七个基准上评测，同骨干比较的证据召回提高4.60至27.92个百分点；BrowseComp-Plus召回为57.81%，移除记忆组件后降至44.74%。
AIMS解决当前指令被历史偏好覆盖的问题：冻结模型逐条删除历史事件，筛选同时提高目标得分与边界竞争间隔的删除结果，再用完整历史学习该间隔，辅助梯度仅抑制竞争项。在6个模型骨干上，Recall@10较继续交叉熵训练提高4.0%–10.9%；Llama-8B工业数据从6.902%升至7.223%。
推荐模型第二轮训练常出现训练损失下降、测试泛化恶化。作者将其解释为标签已影响稀疏嵌入后的自影响不对称，提出按嵌入不确定性加权的输出敏感度正则 UWSR，保留已学嵌入。三个基准上，四轮训练相对一轮使测试交叉熵降低 1.38%–6.78%，AUC 增加 0.0058–0.0231。
MuSeR 面向超长行为序列和多兴趣用户建模，将近期行为完整保留，中远期分别池化压缩，结合多查询兴趣抽取与文本语义对齐。长期表征异步缓存，在线融合短期兴趣并进行多目标束搜索。百度首页信息流 A/B 测试中，DAU 增加 0.26%、总会话时长增加 0.89%，均达 p<0.05。
OneTrans-V2 将召回、粗排和精排统一为共享用户上下文的 Transformer，同时保留各阶段候选特征与计算预算。DCGR 先预测决策前缀再生成语义 ID，SNT 按用户序列复用训练计算；线上用户 GMV 提升 9.74%，同硬件端到端吞吐达到原级联的 3.2 倍，训练加速 4.4 倍。
ESP 针对推荐多目标共同挤占单向量容量的问题，把表征拆成任务专属子空间，并在服务时调整各子空间相似度权重。LinkedIn 的七天线上实验中，收入权重 0.3 时收入增加 4.01%、职位申请增加 3.95%、点击率增加 0.92%，后续分析显示不匹配率下降 8.95%。其实现使用单一拼接索引和 GPU 穷举检索。
论文研究用户历史压缩为偏好状态后，缓存中仍存在却未被任务头充分利用的证据。REPAIR 在冻结编码器与任务头之间加入低秩修正、三种时间视图和选择性写回。在四个数据集的十二个推荐宿主上均改善 MRR 与 nDCG@10，MovieLens 的 Mamba4Rec MRR 增加 3.96 点，单独微调任务头仅增加 0.19 点。
针对广告生成式检索中的码本坍缩和物品碰撞，GEAR联合训练分词器、生成器与轻量重排器。BasisVQ以正交基参数化码本，前缀感知量化增强区分能力。抖音全量部署的ADSS和ADVV分别提升0.563%和0.658%，冷启动广告激活率相对提升1.46%。
短视频观看时长、点赞和负反馈混合了真实偏好与时长、用户活跃倾向等测量偏差。FLVM用受限基线解释混杂因素，再以消费、互动、情感三个潜变量重建异构反馈。YouTube Shorts上点赞PR-AUC从0.2522升至0.3190，14天线上实验中主要愉悦度指标提升2.67%，护栏指标中性。
论文在真实流媒体平台比较聚合画像与LLM叙事画像，以及全历史和短长期融合两种范围。样本含1万用户、约24万内容，约18%属于探索型用户。叙事画像使全体Recall@10下降30.7%，但探索型用户NDCG@10提升31.5%；全体目录覆盖率同时下降79.8%，说明收益高度依赖用户状态。
针对热门内容反馈循环和新内容曝光不足，论文在加速器计算图内用周期性损失权重替代动态丢弃样本，并以互动量或 SNGP 不确定性估计难度。7 天线上实验中，双向互动量课程使用户满意度提升 0.54%，最新内容桶互动提升 5.70%，序列召回独特互动提升 7.7%。
论文为多任务模型增加交叉标签和无条件辅助头，显式学习点击、收藏等行为的联合关系，再把预测传给下游策略。YouTube 通知实验中 CTR 提升 7.67%、发送量下降 7.21%、退订下降 1.05%；首页额外关系特征使低质量曝光下降 0.64%。
模型把实时上下文视为可编辑文件，按任务进展删除、改写或外存证据，并通过强化学习学习管理策略。BrowseComp-Plus 上准确率达到 59.4%，相对最强摘要基线提升 11.4%，前缀复用计算量减少 21.5%；训练后的 9B 模型从 28.8% 提升至 42.5%。
Snap 将召回、排序与奖励建模整合进同一编码器—解码器：生成多模态语义 ID，再用共同训练的多头模块打分，并冻结该模块用于强化学习奖励。线上先作为一路召回源，逐步旁路预排和替换弱源；最终组合实验相对生产基线使观看时长提升 0.82%、分享提升 2.56%，服务链路延迟降低 69%。
论文面向大规模推荐排序中异构特征交互与长行为序列建模难以同时扩展的问题，提出 HELIX：交替执行序列检索和特征交互，并让可复用的用户序列状态单向流向候选相关的混合 token。该设计把用户侧计算摊销到多个候选上。TikTok 电商线上 A/B 测试报告每用户视频成交额约提升 6%，同时离线 CTR 与 CVR AUC 改善。
研究把词表、伪文档、多条伪引用和语料引导文本四类生成扩展统一接入 SPLADE-v3，在 NFCorpus、TREC-COVID、SciDocs 的冻结索引上比较。十二组方法与数据集组合的 nDCG@10 全部提高，最佳相对增益分别为 4.81%、8.92% 和 9.47%；114 个插值设置中有 103 个保持收益。
论文审计将真实物品强行放入候选集的 LLM 推荐评估协议，并提出按实际重排窗口计算召回上限的 RAEP。三个 Amazon 数据集上，注入真实物品与真实召回条件下的 NDCG@10 相差 92.4%–94.9%；在所测低召回区间，多种提示、模型扩容及监督重排均未显著超过协同过滤基线。
美团面向外卖多业务精排，提出统一推荐基座 MTFM，以异构 Tokenizer、动态掩码和混合注意力共享用户行为建模，保留业务独立任务塔。官方实践报告显示，多业务订单量提升 2.06%–6.68%，推理成本下降 24%；Target 与 Full Attention 按 3:1 堆叠时，样本吞吐达到全注意力架构的 2.9 倍。
论文在真实流媒体数据上比较聚合向量与 LLM 画像，并交叉测试长短期兴趣拆分，共评估 4 种策略、1 万名用户和约 24 万个内容。全体用户中，长短期聚合向量使 NDCG@10 相对提升 4.7%；LLM 整体画像在探索型用户中提升 31.5%，但在总体上下降 26.9%，收益明显依赖人群。
论文研究个性化排序过度依赖历史成功率的问题，将查询、内容、用户历史和离散行为特征共同输入交叉编码器，并用保留与移除行为特征的成对样本训练。双样本模型的 NDCG@7 为 0.622，移除特征时为 0.547，高于仅含特征训练的 0.526；线上搜索成功率提升 2.05%，但与另一实验组差异不显著。
论文把 AI 搜索的检索目标扩展为答案支持、内容可信和上下文组织三个阶段，并给出百度工业实现。文档压缩为可离线缓存的瓶颈表示，在线按查询评分；答案支持排序升级使答案通过率增加 4.8 个百分点，抽取式内容精简的人评净收益为 8.9%。各组件增益对应独立基线，不应相加。
针对多步搜索每轮重复验证证据的开销，CoVeR 用冻结句向量的覆盖缺口筛掉明显不完整状态，仅在模糊状态调用验证器。在 HotpotQA 和 2Wiki 上验证调用分别减少 62.2% 和 67.8%，EM 相对始终验证仅变化 −0.10 和 +0.20 个百分点；93% 的 MuSiQue 降幅属于饱和场景。
针对视觉文档多向量检索的索引与打分成本，MAGIC 用查询需求加权源边际和均衡目标边际做最优传输压缩，无需重训编码器。在 ViDoRe v1 保留 1% 向量时，nDCG@5 为 71.04，较 Light-ColPali 高 2.70 个百分点；测量设置下索引缩小约 99 倍、打分延迟降低约 17 倍。
针对长期自动建模中实验跑完却结论无效的问题，EvoPilot用版本化技能、实验协议和产物核验约束研究智能体。37天、7个方向的研究纠正了漏斗深度不一致造成的负22个百分点误判；匹配比较获得离线命中率提升3.20个百分点，另一次7天线上实验测得GSRR相对提升0.66%。
针对生成式搜索广告中收益、点击与相关性目标相互干扰的问题，UniPolicy 用目标前缀、稀疏 MoE-LoRA 和独立残差 FFN 分离策略，并用行为漏斗监督改善候选次序。7 天线上实验的 CTR、RPS、广告收入分别提升 0.71%、1.58%、1.32%，P99 延迟增加 2.5%。
CoFree 针对检索嵌入训练造成的推理退化，先用参考模型约束的监督微调恢复生成能力，再以嵌入和推理双奖励强化学习。4B 模型在 22 个数据集上的平均 nDCG@10 从 38.0 升至 40.8；工业搜索新增召回通道报告 CTR 绝对增加 0.02 个百分点，订单相对增加 13.56%。
TRACE 面向有噪声、跨语料且必须追溯出处的检索，将问题分解、混合召回、证据暂存复审与重规划组成免训练搜索循环。在 1,752 个历史问题上，R@10 达 0.856、MRR 达 0.653，高于稠密检索的 0.734 和 0.535；托管推理约每题 0.02 美元，但延迟不适合直接搬入同步搜索主链路。
ANGLE 将搜索广告表示为“商业意图×广告摘要”，以生成、相关性判别和偏好优化联合训练同一模型，并用动态约束解码过滤无效广告。腾讯在一万条查询上取得 HR@100 0.5273，表3报告 WTS 场景 GMV 提升2.16%；消费增幅在正文与表格间不一致，需保留核验。
针对招聘平台缺少行为日志的冷启动排序，论文将职位与候选人的匹配程度映射为五级标签，用首个输出 token 的概率期望计算连续分数，并以 MSE 与交叉熵联合微调 Qwen3-8B。线上实验中，雇主侧低相关率下降 27.31%，候选人保留率提高 7.07%；该收益相对原有启发式基线。
注意力重排通常用空查询分数扣除位置偏差，但含详细指令的空查询也携带相关性信号，直接相减会损伤排序。论文提出在含指令与无指令的空查询之间插值，无需训练即可修复这一问题；Gemma-3-4B 在 InstructIR 的 nDCG@10 从标准校准的 0.275 升至 0.825，适合检查社区搜索复杂需求的重排链路。
Wolt 的 UVR 将双向 Transformer 用户序列表征接入 GBDT 排序，以样本加权和标签平滑平衡新店探索与复购，并统一餐饮、零售排序。V1 线上新店尝试率提升 5.5%、整体转化率提升 0.16%；V3 零售新店尝试率再提升 1.31%，服务端到端 p99 约 60 毫秒。
PCap 以历史点击类别的香农熵刻画多样性偏好，将用户划为六组，在召回分片和聚合阶段实施个性化类别上限，并在线搜索各组参数。相对统一限额，Facebook Marketplace 商品详情点击提升 0.2250%、会话提升 0.1708%，额外平均延迟为 0.8 毫秒；消息互动变化未达显著。
论文针对图像检索容易被背景主导、直接裁剪又丢失语境的问题，增加逐层读取全图特征的区域编码器，并采用独立投影与三阶段训练。小红书与浙大构建22.5万对REGMB数据，RegRet-8B的综合检索分为86.2，零样本版本为78.8；区域训练同时保留全图检索能力。
VARG 将生成式召回候选直接送入天猫精排，以两级语义前缀和价值排序第三码构建标识符，并结合三阶段监督训练、Prefix-GRPO 与每日增量更新。覆盖 20% 搜索流量的 14 天 A/B 实验中，GMV 提升 1.45%、PCTR 提升 0.31%，说明候选配额内的价值对齐可以产生线上收益。
针对工业 CTR/CVR 排序的预训练迁移与稀疏参数过拟合问题，LazFormer 用零初始化残差适配器接入排序特征，结合请求级长序列计算及逐轮重置稀疏参数。默认模型 CTR AUC 达 0.7735，优于 OneTrans 的 0.7661；两周线上实验 GMV 提升 9.85%，但 A10 单机吞吐下降 12.1%。
GESE 面向个性化标题展示，将多样候选生成与在线点击选择拆分：Qwen3-14B 通过 GSPO 学习兼顾吸引力、忠实性和多样性的标题集合，再由反馈驱动排序器选择。在线相对原始标题 CTR 提升 2.57%、停留时长提升 0.87%；去掉质量约束会使 NLI 分数从 80.17 降至 47.32。
InitGen 面向用户尚未表达当次意图的助手首页，一次生成整组候选问题，以用户活跃度和下游排序分数加权 KTO，并每日滚动更新。OPPO 线上实验中，CTR 从 0.95% 升至 1.61%，作者报告相对提升 69.1%，候选曝光增加 17.9%；整组生成控制在 180 毫秒内。
ChronicleRec 将超长用户历史压缩成按时间排列、可缓存的 Chronicle Tokens，通过近细远粗合并、因果查询交错和多时间跨度分支保留长期兴趣。KuaiRand 上多分支 GAUC 为 0.5580，接近全注意力的 0.5601；微信朋友圈广告七天实验 GMV 增加 1.61%，95% 置信区间为 0.678%–2.547%。
PinDCO 面向 Pinterest 广告创意个性化选择，以组件专属塔预测相对广告基础分的增量，并用像素惩罚约束大图挤占相邻内容。探索流量改善训练数据，本地粗筛、缓存和动态分批控制服务成本；线上广告 CTR 提升 3.09%，成功会话数提升 0.04%，去掉动态分批后 P99 延迟增加 87%。
EAGER面向用户点击商品后返回推荐流的场景，根据商品属性和用户行为生成搜索建议。方法先通过四阶段课程学习、多样性正则与自蒸馏扩展意图，再用规则及点击偏好混合奖励进行GRPO对齐。阿里团队在5%流量上开展9天实验，PCTR提高1.28%，支付订单数提高3.49%，L2P提高2.38%。
论文针对粗排与精排各自优化多目标融合、导致下游偏好被上游过滤的问题，联合训练共享嵌入的双阶段融合模型，并加入偏好对齐与属性组内正则。快手一周、20%流量实验中，应用使用时长提升0.616%，总观看时长提升0.675%；公开RecFlow上精排NDCG@10为0.0990，高于UMRE的0.0947。
VikingRAG 针对结构化文档问答的多轮检索成本，将目录、摘要与文本块统一为可寻址对象，并按证据缺口调用检索工具。系统把历史检索路径保存为经验边，再按证据充分性决定是否升级多轮搜索。在六个数据集上，基础版仅消耗高准确率基线的11.6%–51.9% Token，增强版降至5.1%–32.5%，保持相近准确率。
PDMR 将文档拆成多个语义片段，用“文档标题／片段标题”构建标识，并通过多目标损失学习多个有效访问路径。MS MARCO Doc 上 R@1 为37.71、MRR@10为48.66；NQ320K上 R@1 为67.6，高于MINDER的62.7，但R@10略低于后者。
HyperTrace 将在线个性化建模为隐含偏好追踪，维护五个带权自然语言假设，按选择反馈更新，并分层保存会话意图与长期偏好。在 PRISM 上，20 轮后的偏好预测准确率为 61.36%，高于 Cheatsheet 的 54.36%；在 PersonaMem-v2 上为 37.68%，对应基线为 30.35%。
论文针对 DSI 基线难以复现、NQ320K 构造口径不统一的问题，发布覆盖原子、任意数字和语义三类标识符的 ReDSI，并拆分文档去重与文本序列化流程。在 Title/NciNorm 设置下，4400 万参数原子模型的 MRR@10 达到 62.2，超过 2.2 亿参数的任意数字标识符模型 60.1 和语义标识符模型 59.7。
针对共享排序骨干无法区分点击与深度互动信号的问题，MORE 将共享和任务私有锚点贯穿每层，通过任务感知序列读取、边界掩码和独立增强分支减少信号混合。陌陌附近动态两周线上实验中，使用时长提升3.0%、点击提升2.8%、评论提升3.6%；请求内共享计算相对逐候选服务使P99评分时延降低约30%。
SequenceO1 将最多100K次历史行为压缩为与候选无关的固定长度用户草图，再结合近期10K行为进行目标条件推理。原型维归一化、两层草图细化与缓存共同降低重复计算；抖音一个月线上实验中，总体时长提升1.4999%、完播提升2.3256%、不喜欢下降6.9829%，对照为STCA 10K加TWIN V2生产模型。
针对短查询无法描述图像全部细节、生成式检索却被迫猜测离散标识的问题，WIDE用分层熵阈值触发通配符扩展，再融合生成置信度与向量相似度重排。在M-BEIR上，VisualNews的R@5从GENIUS的27.4升至30.2，CIRR从39.5升至41.5；尚未超过强向量基线U-MARVEL。
DrEM 研究上游行为预估同时充当融合排序输入与监督时的噪声传播，以共享的 logit 高斯噪声模型估计偏好翻转概率，结合风险修正和保序扰动训练。快手 7 天线上实验中，EMER 加入该方法后关注提升 1.197%、评论提升 1.388%，所有报告指标的 p 值均小于 0.005。
AtomRec 把用户与内容历史拆成带关键词、标签、时间和关联链接的原子记忆，用大模型更新局部字段，再沿两跳语义路径汇集证据完成推荐。四个公开基准上相对最强基线平均提升约 8.5%；Books 的 NDCG@5 从 MemRec 的 0.6480 升至 0.7130，主实验每次仅重排 10 个候选。
PTDG 针对多任务推荐中深层转化信号沿固定漏斗衰减的问题，用低秩分解生成实例相关任务图，在因果掩码内传播信息，并按标签稀疏度逐步屏蔽共享参数。工业数据平均 AUC 为 0.8878，线上两周实验相对 MMoE 实现 CVR 提升 1.2%、eCPM 提升 1.9%。
MURAL 针对静态物品图和多模态噪声，用 HNSW 找候选邻居，再学习边权，并结合模态重要性与不确定性融合表征。TikTok 全量排序 Recall@20 达到 0.1221，对比最强基线 DiffCL 的 0.1158，相对提升约 5.44%；Amazon 两个数据集也取得更高指标。
阿里提出面向多兴趣用户的引导查询生成框架，以单兴趣样本学习表达，再用分层奖励训练兴趣拆分，最后通过偏好优化将思考能力迁移到直接生成。天猫线上实验在10%流量时报告uCTR相对提升4.46%，扩大至40%流量后的六天验证仍提升2.53%；查询由近线生成、线上读取。
UniCon把一次展示的候选、用户和环境信息组织成上下文单元，用单元内注意力学习竞争关系，再用跨单元注意力建模兴趣变化。美团搜索广告实验中，AUC从0.8558升至0.8697；七天线上测试的CTR、RPM和收入分别提升2.07%、3.09%和2.95%。上下文压缩将计算量减少75.4%，AUC仅下降0.0001。
针对同一文档被不同查询反复编码的开销，DoPR 离线选择显著 token，将其转换为可复用的多层前缀状态，在线仅处理查询与评分 token。在 TREC DL、BEIR 和 BRIGHT 上，0.6B 至 8B 模型保留对应完整重排器平均 nDCG@10 的 97.1%–99.5%；长文档 Covid 设置最高加速 8.04 倍，短文档 DL19 为 1.21–1.84 倍。
论文面向工业级生成式 POI 推荐，指出仅依赖行为序列和协同信号生成语义 ID，会让结果兴趣相符却远离用户实时位置。SPAR 从语义 ID 构造、空间知识学习与生成保持三个阶段显式注入距离、方向和可达性，使生成目标同时满足偏好与真实城市空间约束。
论文把统一推荐模型从“层内特征交互”改写为“跨层特征运输”，提出 CRAFT 模块：由非序列特征生成可靠性感知的上下文场，再控制意图与行为序列表示的残差位移和记忆保留。在 TAAC2026 广告推荐赛上测试 AUC 达 0.838090；堆叠 6 层后升至 0.838148，并已公开代码。
论文指出双边匹配平台只优化点击、回复或匹配量，会忽略低匹配用户更高的流失风险；作者据此设计保留导向的后处理，对高流失风险用户提升排序分数，并在真实招聘平台做在线实验。实验组用户流失方向性下降，但未达到常用统计显著性水平，公司侧流失也未出现恶化。
针对现有 LLM 检索通常只增强 query、最终匹配仍依赖下游检索器的问题，论文提出 CoGR，让查询端与物品端生成器共同产出紧凑关键词并直接通过倒排索引匹配。模型先监督微调对齐关键词空间，再用交替 GRPO 协同进化；在应用市场数据与 WANDS 上，相对最强基线的 F1 分别提升 10.9% 和 36.1%。
ReST 面向工业推荐排序中行为序列噪声高、时间不规则且一份用户历史需匹配大量候选的问题，采用双门控注意力、旋转位置与时间编码，并把重型可复用编码器和轻量交叉解码器拆开。生产广告平台一周 A/B 测试显示，线上 AUC 提升 1.31%，核心收入指标提升 11.93%，P99 延迟保持在 50 毫秒内。
腾讯 TGR 用 CCFormer、BARGE、HiGR 与离线 reason token 串联多任务排序、语义 ID 生成和推理。系统已服务数亿用户：CCFormer 带来 CTR +3.57% 和广告收入 +1.71%，BARGE 的 Hit@5 提升 10.2%–16.9%，HiGR 离线列表质量提升 15.9%–21.3% 且推理提速 5 倍。
针对电商生成式检索在语义 ID 构建、低曝光商品监督和偏好优化三个阶段出现的意图漂移，ICEGR 将查询意图贯穿 SID、统一 SFT 与相关性校准偏好学习。离线 Recall@20 提升 21.7%、NDCG@20 提升 26.6%；百度线上 A/B 中 CTR、订单量和 GMV 分别相对提升 3.52%、15.96% 和 7.53%。
工业推荐中的单一用户向量难以覆盖多兴趣，而固定多路召回又会产生兴趣坍缩和无效 ANN 查询。SetMIR 用 Transformer 与 K 个可学习查询把兴趣建模为集合，以匈牙利匹配保证一对一分工，并用 presence 分数和查询级 NMS 动态发起召回；在 Snap DPA 中减少 33% ANN 查询，整体 CVR 提升 3.1%。
CAMIE 面向 Snap 动态商品广告的 I2I 召回，把图像与商品元数据送入同一 LLM/MLLM 原生多模态接口，再用用户旅程挖掘的共参与商品对和对称式 in-batch InfoNCE 对齐转化行为。线上替换两个内容编码器后，相对多模态对照 CTR +0.390%、CVR +10.832%，整体 DPA 流量 CTR +0.211%、CVR +1.911%。
针对语义 ID 生成式推荐中 GRPO rollout 常错过目标分支、组内奖励退化的问题，DASO 在线统计前缀匹配深度，在瓶颈层分配有限的目标前缀引导，并加入分级 SID 奖励和 SFT 锚点。两类 Amazon 数据上优于 MiniOneRec 式 GRPO 的 11/12 项指标，3B 模型在 Office 的 HR@5 从 0.1313 提升到 0.1683。
针对推荐与广告排序中异构特征直接全量混合导致参数浪费的问题，HubMixer 用少量可学习 latent hub 依次执行特征归纳、hub 间高阶交互和 token 条件化回写，复杂度从 token 两两交互转为与 T×H 成正比。快手招聘短视频业务的 7 天 A/B 测试覆盖 7.2% 流量，简历投递转化率显著提升 5.48%，模型已全量部署。
PMFRec 面向服务端看不到用户交互、客户端又看不到专有物品属性的双边约束，解决零交互新物品的联邦冷启动。它用用户专属表示生成器、多视图编码器、物品自适应门控与正交约束融合协同和属性知识；在 CiteULike 与 3 个 XING 规模设置共 4 组数据上评估，覆盖 Recall、Precision、NDCG 的 @5/@10/@20 指标。
论文针对生成式检索与推荐中语义 ID 的残差量化缺陷，提出 PRQ-KMeans：先移除全局均值，再用 Top-k 相似度加权更新质心，并以投影残差替代完整码字相减。该方法在一个工业搜索数据集和四个公开推荐基准上总体最优，工业场景 HitRate 最高提升 7.4%，MRR 最高提升 11.8%。
论文面向工业广告 CTR 预估，把上下文条件解码、多塔预测头、自门控注意力、时间戳 RoPE 与会话掩码组合进 decoder-only Transformer，并通过张量打包、序列分块和定制 Flash Attention 支撑线上规模。LinkedIn 主流量 A/B 实验相对 DCNv2 与序列编码器组成的 LiRank 基线取得 11.04% CTR 提升。
论文把生成式推荐的逐项解码表述为在线约束优化，在每次选择时依据剩余约束裕量动态调节相关性与公平性、属性覆盖等辅助目标，并以随机原始—对偶近似实现。方法无需修改或重训底层生成模型；离线实验与大规模线上 A/B 均验证有效，辅助目标提升 1.8%，且用户满意度没有损失。
这项 RecSys 2026 演示系统面向持续上新、改价、补货和下架的电商目录，以逐商品哈希识别新增、变更、删除和未变化记录，只增量刷新向量索引。对话控制器仅让 LLM 承担意图分类与偏好询问，召回、重排和多样性由独立函数执行；论文提供 WhatsApp 在线助手、代码、2 幅图和 1 张表，但未报告离线指标提升。
论文把混合检索从固定融合流程改写为可执行程序合成：Qwen3-4B 根据自然语言查询生成同时包含 SQL 结构化约束、文本与图像向量检索的领域专用程序，并用 SQL 逻辑代数组合候选集。模型经 GRPO 与 DAPO 训练，在亚马逊商品和 Enron 邮件基准上的 Hit@1 分别达到 0.81、0.91，高于 GPT-5.5 的 0.69、0.86。
论文指出，LLM 生成的扩展词让冻结稠密检索器退化，问题常不在生成文本本身，而在融合方式。AnchorQE 分别编码原查询与扩展，再依据小规模无标注测试流在线估计插值权重；只有当扩展既能带来强检索信号、又与原查询证据一致时才提高信任。
E2Rank 让单一文本嵌入模型同时承担召回与列表重排：将查询和 top-K 候选组成的 listwise prompt 视为伪相关反馈查询，再与预计算文档向量做余弦相似度，无需自回归解码。论文在 BEIR 达到领先结果，在推理型 BRIGHT 上保持竞争力，并显著降低 LLM 重排延迟。
论文解决工业推荐召回中异构特征阻碍 Transformer 扩展的问题，以加权平均聚合恢复同质 token 假设，并加入目标 token 压缩与域嵌入。目标压缩将单候选 FLOPs 降低 85%；在 400 亿交互数据与 KuaiRand 上，把计算量从 0.1 提至 2 MFLOPs 后 Recall@2000 分别提升 19.3 和 22.2 个点，线上收入提升 2.53%。
论文指出现有 LLM 推荐把一次交互压成文本、语义 ID 或少量类别特征，会持续丢失用户、物品、上下文与结果信号。AMBER 将完整时间快照压缩成一个可缓存的 Event Token，把“快照分辨率”变成新的扩展维度；工业排序和召回实验显示其改善计算—质量帕累托前沿，并可作为历史特征迁移到优化后的非 LLM 排序器。
论文把代码检索从平面相似度排序改写为分层语义地址生成：先用 RQ-VAE 与 kNN 伪邻居学习四层 DocID，再用硬负例、排序蒸馏和前缀约束解码导航。CoSQA 上 Hit@1=0.744、MRR@20=0.766；ProCQA-Python 上分别为 0.597 和 0.706，均明显高于 BM25、UniXcoder、NCI 等基线。
针对直播广告内容、商品和反馈快速变化导致静态推荐模型失效的问题，论文提出 TAGR，在广告 token、用户意图和偏好对齐三个层面做时间自适应。LSID 按周期刷新活动广告的语义—协同 ID，多尺度行为模块区分短期意图与长期偏好，再用新鲜 on-policy 反馈和稳定训练兼顾的偏好优化。候选摘要给出三层机制，但完整离线与线上增益数字需结合正文核验。
论文把搜索与推荐放进共享双塔索引，要求新物品只凭内容或属性特征即可进入 ANN 召回。公开日志中 38.6% 的查询曝光涉及从未展示或访问的物品；用户冷启动时，99 个采样负例的 Recall@20 为 0.9595，暖启动为 0.9510，未见明显损失。作者还发现 19.7% 用户受 float32 时间戳排序 bug 影响，强调离线切分校验。
语义 ID 推荐通常直接比较生成的 SID 序列，但碰撞会让指标高估真实命中。论文提出碰撞校正评估（CCE）和零碰撞重分配（ZCR），在 4 个数据集、5 种 tokenizer 上发现碰撞率最高达 30.52%，SID-level Hit@10 最高被夸大 103.36%。
论文针对短视频观看时长分布的零膨胀、长尾和多峰特征，提出分层 Exponential-Gaussian Mixture（HEGM），用 skip-watch 分解、KL 方差正则和结构化初始化修复 EGMN 的方差塌缩、组件冗余与失活问题。实验覆盖公开数据集和大规模工业数据，论文报告排序准确率与阈值事件预测均提升，并通过 1.5 个月生产 A/B 测试确认统计显著的参与度提升。
论文在十亿级支付宝用户行为数据上研究用户表示学习的扩展瓶颈：原始行为文本继续扩展时收益递减，而 token 化容量如何随数据规模增长缺乏定量规律。作者提出 User Behavioral Densing Law，发现最小充分 token 化容量与输入 token 数的对数近似线性，并据此设计自适应变长 token 化方法 ALGN；实验覆盖多种数据源、token 化方式和下游任务，ALGN 优于既...
生成式推荐常用多层残差量化语义 ID，解码步数多且静态码本难跟随新物品与曝光分布。论文以单层大语义码本加协同消歧 token 替代多层码，并用时间衰减、EMA 中心更新和曝光加权惩罚动态维护 ID。在两个公开数据集上，OneRec-V1 Recall@10 提升 5.0%–8.8%、NDCG@10 提升 4.1%–5.1%；三种服务架构的解码 FLOPs 降 47.93%–48.70%，2.5% ...
SORT 将工业推荐排序重构为请求中心的 Transformer：把用户历史、画像和候选集合拼成一条序列，用局部注意力、query pruning、QKNorm、门控注意力和稀疏 MoE 处理高稀疏特征，再以生成式预训练缓解标签稀疏。在 0.6B 训练请求、9B 曝光的数据上，AliExpress 线上订单提升 7.47%、买家提升 6.67%、GMV 提升 8.65%，延迟下降 61%，吞吐提升...
DoorDash 用产品内容 embedding 学习三层 Semantic ID（每层 512 个码），再将 SID 前缀上的用户偏好、商品表现和序列特征接入个性化排序，同时把查询转成商品概念做层级改写。排序离线 MRR@5 相对生产基线提升 6.98%、NDCG@5 提升 6.76%；线上首位加购率提升 8%，搜索滚动深度下降 1.866%。
CoRRe 针对 LLM 生成的用户兴趣过于宽泛、难以细粒度召回的问题，提出“后置协同增强”框架：先由 LLM 生成用户与物品表示，再用物品共购图修正向量方向、用流行度修正向量幅度，最后进行匹配排序。论文在真实数据集上显示无需训练或任务微调即可稳定超过训练免调基线，并与训练式方法竞争；摘要未披露具体数据集指标，需复核全文。
论文研究主动式 AI 何时发起互动的个性化决策。EOPA 用时间偏好锚点、活动原型和在线参数更新替代 LLM 推理与重新训练；在 32 个模拟用户、14 天、160,632 次轮询的 ProPerSim 实验中，F1 达 30.46，较 Reflexion+DeepSeek 的 10.66 更高，平均适应时间从 11.41 秒降至 0.39 秒。
针对商业搜索中行为信号丰富、文本相关性标注稀缺的问题，论文先比较不同 LLM 配置，选择专门微调的模型生成数百万条文本相关性判断，再与点击/下载标签共同训练多目标排序器。离线文本 NDCG@1 从 0.867 升至 0.868、行为 NDCG@1 从 0.646 升至 0.652；全球 App Store A/B 测试转化率显著提升 0.24%，尾部 query 收益更明显。
论文提出SIDScope，用于系统诊断生成式推荐中的Semantic ID接口。它统一规范item-to-code映射、校验来源与连接关系、分析前缀结构，并追踪生成路径能否解析到候选物品；在Amazon与Yelp的9组tokenizer导出、7个家族上发现，接口健康度不是单一指标，前缀对齐在前缀检索时更能预测候选暴露。
STAMP针对高粒度Semantic ID带来的序列膨胀和效果波动，提出语义裁剪与辅助多步预测的双端优化框架。作者将问题归因于Semantic Dilution Effect：冗余token增加训练计算，却稀释本就稀疏的推荐监督；方法同时提高输入信息密度和输出监督密度，并在多个公开推荐数据集上验证。
OneModel 将社区推荐、广告和商家服务中的异构行为统一为事件序列，用行动导向骨干网络学习长上下文用户表示，并以场景感知信息调制平衡共享与专属能力。小红书线上测试显示，探索流时长提升0.33%、互动提升1.25%，信息流广告CTR提升8.18%，商家推荐DGMV提升1.1867%。
GateDiffInt 将行为序列中的噪声—意图耦合显式化，利用可控前向扩散和双门控增强、去噪，再由大模型教师蒸馏长期、短期、潜在和转化四类结构化意图，轻量学生模型完成CVR预测。论文在公开与工业数据上均报告稳定收益，并在日活数亿的线上A/B测试中提升GMV、进入主流量部署。
DS-MLP 用两个互补的轻量MLP流建模CTR特征交互，试图在不引入复杂注意力或大模型的情况下提升高维稀疏特征的组合能力。检索结果称其在3个公开基准上达到当时最优，同时保持基础MLP的可扩展形态，适合作为工业CTR模型的低成本候选。
LACONIC针对稠密检索的GPU与内存成本，提出基于Llama3的1B、3B、8B学习稀疏检索器。训练分两阶段：先用弱监督预训练让因果模型具备双向上下文，再用精选困难负例进行高信号微调；8B版本在MTEB Retrieval上达到60.2 nDCG@10，缩小了学习稀疏与稠密模型的效果差距。
论文把推荐单位从单个物品提升为完整 slate，提出端到端生成排序框架 OGR。TUSID 将物品语义信息与局部协同信号融合为层次化 Semantic ID，SPA 再用奖励引导的保守策略优化对齐列表效用，并通过位置级流水线解码建模物品间依赖。在工业数据和公开数据上，NDCG@5 相对提升 48.2% 和 27.2%；快手线上 A/B 的 Effective Views 提升 1.120%。
STAR面向工业推荐中的PCVR预估，统一处理稀疏特征、数值特征、多行为序列和候选商品条件下的兴趣。它在HyFormer式骨干上加入结构化token化、目标感知序列解码、用户–商品交互token与加权InfoNCE，并用配置重建保证训练/推理一致。腾讯UniRec数据集含2000万训练样本，测试AUC从基线0.819961升至0.836546，提升0.016585。
FLEXRec针对紧凑LLM在序列推荐中的表达能力不足，保留判别式全库打分的效率，在每个Transformer层放置exit，再由AC-Router按用户序列动态融合不同深度的分布。它在Qwen 3 1.7B与Llama 3.2 3B上评测Toys、Beauty、Yelp三个数据集；Qwen下NDCG@10为0.0521/0.0451/0.0207，推理约7.1–7.5毫秒。
论文指出 Semantic ID 逐 token 解码并不等价于 item-level 排序：若 token 接口信息不足，无法恢复精确排序；若信息充分，解码又退化为直接打分。基于这一二分结论，DiGR 将 Semantic ID 保留为物品表示，改用统一的用户—物品打分函数，并在多个真实数据集和不同规模 LLM 骨干上超过既有生成式与 ID 方法。
论文将推荐内容过时拆成“被新内容替代”和“生命周期衰减”两类，并在 Google Discover 上部署 SDF。系统由关系式陈旧度模型识别内容对之间的替代关系，再用预测流量比模型估计生命周期价值，在排序前做并集过滤；连续两年线上运行后，用户主动提交的陈旧内容反馈较基线下降 54.9%，同时减少下游服务成本。
UniDot 面向工业推荐的 post-click conversion prediction，把多字段特征交互与用户行为序列放入同一 token 空间。它用并行 token-mixing bus 和 sequence-retrieval bus，再通过 FM Highway 保留逐层点积交互；序列侧只编码一次，降低共享推理开销，并采用 Adagrad+Muon、转化延迟辅助头和多路径互学习。模型...
GEM 将“理解查询”和“生成向量”合并到一个因果语言模型中：模型先生成用户意图与相关性标准，再用专用 embedding token 编码查询，并与文档向量做对比学习。在 BRIGHT 上平均 nDCG@10 达 29.1，同骨干的非生成版本在定理任务上从 19.8 提升到 32.0；FollowIR 的 p-MRR 为 +11.7，较同骨干基线 +6.8 明显更高。
PriCoRec 面向敏感用户特征无法上云的广告推荐，将云端预排序与端上排序拆开：云端只处理可访问特征，端上融合年龄、性别和细粒度行为。它用 DPP 风格多样性正则改善短名单，并用云端指导训练保持端模型轻量；在 OpenMCC、TaobaoAd、Ali-CCP 三个数据集上，云端 R@100 达到 50.41、68.29、47.72，端上 R@10 达到 13.87、21.74、24.10。
Retrieve-then-Adapt（ReAd）解决序列推荐模型上线后无法及时跟随用户兴趣漂移的问题。它先从协同记忆库检索与测试用户相似的物品，再由轻量检索学习模块把协同信号和预测修正线索编码成增强向量，最后与原始预测融合；在五个基准数据集上持续优于已有序列推荐方法，并避免重新训练完整模型。
HELMSMAN 面向搜索、推荐和广告的大规模向量近似最近邻检索，把聚类式 ANNS、分层学习剪枝、GPU 加速和全闪存存储栈结合起来。公开工程数据中，约 40 台全闪存服务器承载原需 35000 个 CPU Core 与 350 TB DRAM 的负载，硬件成本降低超过 90%，相对 DiskANN/SPANN 吞吐提升 2–16 倍。
APAO 针对生成式推荐训练采用 teacher forcing、推理却采用 beam search 所造成的前缀错配：正确物品可能因早期 token 概率低而提前出局。方法加入 prefix-level 优化损失，并动态聚焦最脆弱的 worst prefix；论文在多个生成式推荐骨干上验证效果，实验使用 batch 1024、beam size 20 和单张 A100，并被 KDD 2026 接...
OneReason 研究 OneRec 在短视频、直播、广告和电商四类推荐场景中如何激活显式推理能力。它先用 itemic token perception 预训练让语义 ID 与真实内容对齐，再用三层 cognition-enhanced CoT 做监督微调，最后采用 specialize-then-unify 的强化学习配方；报告指出，仅堆叠 item token 的 thinking mod...
论文针对CTR预估中用户兴趣的时序变化与频率模式难以同时利用的问题，提出频率增强Deep Interest Network（FEDIN），在时间域和频率域联合编码行为序列，并用频域分支提取周期性兴趣。在Tmall、Alipay、Taobao上，FEDIN的GAUC/AUC分别为0.9658/0.9666、0.9335/0.9320、0.9740/0.9729，均超过DIN、DIEN等七类基线。
CADiff面向扩散式序列推荐中长期兴趣表示不完整、长短期兴趣权重固定的问题，提出非对称感知编码器APE与自适应多兴趣融合AMF：前者让序列上下文注入用户特定表示，后者按当前场景动态生成扩散引导信号。模型在MovieLens、KuaiRec、Yelp和Book四个真实数据集上同时改善推荐准确率与个性化效果，并提供了公开代码。
HCGRec 针对 Semantic-ID 生成式推荐在 GRPO 后训练中的稀疏奖励问题：早期 token 一旦走错分支，rollout 很难到达真实物品，整组样本会得到零优势。方法仅在 checkpoint rollout 无法到达目标时注入最短 target-prefix hint，对 hint token 用监督学习、对未提示 suffix 用 GRPO；实验将零优势样本从 70% 以上降...
论文发现序列推荐中的点积注意力存在相似性偏置：它偏爱相似物品，却会漏掉对下一物品预测有因果作用的异质关系。PRISM 用语义锚点路由器和多视角透镜分别建模 Affinity 与 Contrast 视图，再用序列偏好对比损失和协同一致性损失训练；七个数据集上相对最强基线的 H@10 提升为 3.15%–7.36%。
GALLM 针对 LLM 推荐器难以利用协同过滤信号的问题，把文本 token、物品 token 和全局共现关系组成协同图，并把 Text–Text、Item–Text、Item–Item 三类结构转成轻量注意力偏置注入 LLM。四个真实数据集上平均 HR@5 提升 9.76%、NDCG@5 提升 7.62%，且无需额外图编码器。
论文比较原生多模态向量与视觉大模型零样本排序在跨模态检索中的效果，覆盖文本、图像、视频和音频共享表示。作者在 Flickr30k 的困难负样本设置下对比 Gemini Embedding 2、GPT-4.1 与 Claude Sonnet 4.6，发现两种前沿视觉模型的排序表现与 Gemini Embedding 2 相当；向量预计算后更适合低延迟检索。
Shape Your Feed 将对话式推荐拆成感知、服务和自演化三条流：感知流抽取文本、语音与界面操作中的细粒度意图，服务流借助持久语义画像进行智能体重排和裁剪，自演化流用 DPO 与 LLM-as-a-Judge 对齐行为。论文报告对齐评分准确率 98.85%，并在生产流量 A/B 中提升信息流相关性与用户情绪。
UniScale 认为工业排序的瓶颈不只在模型参数，而在训练数据与架构不匹配。ES3 通过层级标签扩展站内样本并做跨域 searchification，HHSFT 则建模异构特征和全空间兴趣；公开材料报告正样本最多扩至 4 倍、总样本 5 倍，淘宝 10 天 A/B 中购买量提升 1.70%、GMV 提升 2.04%。
Sona 面向 Yandex Music，将 15 个以上候选生成器、预排和排序模型组成的级联压缩为单一生成式推荐模型。共享用户序列编码器同时驱动自回归解码器与 Ranking Module，并用 next-token 预测和教师蒸馏联合训练，线上不使用手工特征。My Vibe 智能音箱流量 A/B 中，Active Users 提升 4.53%、总收听时长提升 6.30%、点赞提升 11.42%...
ConnectionMind 将用户、物品、好友、群组和创作者页组织成异构图，把推荐转成从用户到候选物品的个性化路径推理；LLM 策略负责在图上选择和解释关系路径。系统先用大规模用户—物品轨迹做监督微调，再用端到端强化学习优化图推理策略。在 Meta 大规模推荐线上 A/B 中，视频观看时长提升 0.43%。
CoHyDE 针对用户口语化、工具目录技术化导致的工具检索错配，联合训练 LLM query rewriter 与 dense encoder：encoder 用重写后的目录式描述做 InfoNCE，rewriter 再根据检索分数做 DPO 对齐。ToolBench 约 10K 工具子集上，三轮协同训练使标准查询 NDCG@5 提升 2.5 个百分点，模糊查询提升 6.3 个百分点，最难层级最高...
MetaStrategy 不直接生成物品序列，而是让 LLM 根据请求上下文输出受约束的 JSON 排序策略，控制 CTR/CVR/GMV 权重、内容偏好、体验约束和位置规则；验证器与编译器把策略隔离接入现有重排链，LLM 推理放在近线。淘宝“猜你喜欢”七日 A/B 中，点击 PV 提升 2.11%、详情页 PV 提升 3.12%、交易额提升 2.83%，在线响应时间无可观测增加。
针对推送推荐中长行为序列难压缩、生成式模型难解释且在线成本高的问题，PushDualGen 用并行语义 ID 压缩历史，先生成 SID，再按需复制文本解释，并把 Top-20 SID 与用户特征融合做 ANN 召回。模型以约 0.72B token 做 SID 适配、每日增量训练约 3.6B token；在 1.5 亿用户、14 天 A/B 中，有效播放率从 64.46% 升至 69.94%（+8...
IntHQ 针对多任务推荐中共享表示造成的 source、relation、hierarchical 三类信息坍缩，设计双流解耦、任务交互建模和分层查询：任务 token 从第一层注入，跨任务注意力动态建依赖，再按任务从不同深度读取表示。在 41 亿交互、1.63 亿用户、730 万 POI 的 IntTravel 上全面优于基线；高德线上服务数亿用户，平均延迟控制在 40ms 内，UVCTR 相...
论文提出 SAGEO Arena，把检索、重排和生成串成可复现实验环境，覆盖 9 个信息检索数据集、2700 个查询和 171003 篇网页文档，并保留标题、摘要、层级标题与 Schema 等结构字段。基线检索命中率为 0.58、引用率为 0.50；按阶段优化后，检索 H@20 达到 0.75（提升 28%），生成引用率达到 0.58。
推荐基础模型通常把点击或点赞等稠密标签当作最终目标，难以对齐真正决定推荐质量的业务指标。论文提出三阶段渐进式后训练：先线性探测（LP）稳定任务头，再全量微调（FFT），最后用带奖励模型的强化微调（RFT）对齐业务目标；离线实验优于单阶段方案，并在大规模线上 A/B 中超过传统非基础模型。
TM20K 面向电商广告中的超长用户行为序列，用全注意力教师和学生模型配合两阶段知识蒸馏，再通过 token merge 压缩学生序列。该方法把线上序列长度扩展到 20K，已部署于字节跳动电商广告推荐系统，ADSS 提升 1.036%，服务延迟仅增加 5.6%，训练和服务成本接近原有 SOTA。
论文指出，Semantic ID 生成器能捕捉行为共现，却缺少“当前需求下应该推荐什么”的策略知识。方法先由反馈驱动的智能体区分用户意图与推荐策略，再通过双空间关系蒸馏把两类知识压缩成轻量生成器的两个潜变量，线上无需调用 LLM。公开基准持续优于基线，大规模 A/B 测试带来 Revenue +4.506%、ADVV +4.621%。
美团以 HSTU 为基础提出 MTGR，把传统 DLRM 的交叉特征保留在生成式推荐框架中，并在外卖首页、频道页和小程序全量上线。相较基准模型，单样本前向推理 FLOPs 增加 65 倍，离线 CTCVR GAUC 提升 2.88 个百分点，首页订单量提升 1.22%、PV_CTR 提升 1.31%；训练成本持平，在线推理资源节省 12%。
论文提出 LIME-Rec，用可审计的轻量融合检验序列推荐中的语义收益究竟来自何处。系统独立组合 SASRec、ItemCF 共现专家和冻结 BGE item embedding 语义专家，在验证集学习分数融合与有界历史校准，不依赖线上语言模型推理。在 Amazon Beauty、Toys、Sports 上，R@10 分别为 0.0996、0.1105、0.0593，相比最强基线提升 7.0%–1...
论文针对搜索 Agent 强化学习依赖昂贵在线 Web API、离线快照又会产生数据错配和错误奖励的问题，构建了可验证知识图谱与对齐文档语料的 SearchGym 环境。SearchGym-RL 以课程学习逐步训练从基础交互到长程规划的策略；Qwen2.5-7B-Base 在九个基准上相对超过 Web 增强 ASearcher 10.6%，说明高保真模拟可以支撑低成本搜索 Agent 训练。
面向固定上下文预算的 RAG，论文指出检索集 recall@k 并不等于模型真正看到答案，提出 answer-in-context 指标判断金标准证据是否存活于打包上下文。三项多跳数据集实验显示，该指标在 recall 之外带来 ΔR²=0.17–0.27；即使金标准已被召回，是否保留答案仍使 exact match 相差 4.6 倍。
针对直播推荐中观看、聊天、关注、消费等行为并发且反馈延迟、不同生命周期用户分布偏置的问题，论文用延迟窗口补齐反馈，融合新鲜与延迟信号，并以分段目标模块和 MMoE 联合多目标排序。线上 A/B 使日活观众提升 0.09%、高参与用户封顶 ARPU 提升 0.56%，MMoE 还使参数量减少 41.9%，新关注提升 0.27%。
论文指出长期个性化不能用语义相近替代情境相关，提出 Proximity Advantage (PA) 衡量语义邻近偏差，并构建 LUCid 诊断集，含 1,936 个用户查询及长行为历史。对检索、重排、生成全链路评测发现，最难样本检索召回接近 0%，即使 Gemini-3-Flash、GPT-5.4、Claude Haiku 的响应对齐度也约 50%。
DualGR 面向短视频推荐中的生成式召回，针对长短期兴趣互相干扰、层级语义 ID 解码噪声和曝光未点击信号缺失，设计长短期双分支路由、搜索式 SID 解码与曝光感知 NTP 损失。系统在快手短视频线上 A/B 实验中带来视频播放量 +0.527%、观看时长 +0.432%，说明生成式召回已具备可落地的业务收益。
工业推荐在行为分布持续漂移时，传统 next-token 预训练会把跨兴趣会话的相邻物品当成依赖，迁移后还会与 CTR/排序目标争抢同一参数。KGD 用 BMTP 只预测协同或语义相关的未来物品，并以可刷新编码器、只读交叉注意力和正交 ACR 分离知识与任务几何。在 8 个公开基准上较强基线提升 4%–12%，Shopee 90 天流式验证保持优势，首页搜索 A/B 的人均 GMV +1.75%、...
Google Discover 的统一信息流同时包含网页、长短视频和 UGC，单一共享表示容易让多数内容类型压制少数类型。HA-MoE 将异质性上下文同时注入多门控专家与专家表示，并用 LENS 追踪专家分工、用 DL-AUC 衡量全局效用和跨类型正确性。10M 条 7 天样本上，pInterest DL-AUC 达 0.691；1% 流量、7 天 A/B 中 DAU +0.22%、多样互动率 +...
论文指出，Agent 技能不能按普通文档做点式相关性检索，Top-K 还必须组成当前查询可执行的技能集合。作者构建 R3-Skill 中英 benchmark，含 10,246 个去重技能、41,592 个已接受查询和 32,828 条拒绝标注，并采用 R3-Embedding 双塔召回加 R3-Reranker Cross-Encoder 重排。完整流程在 R3-Skill 达到 Hit@1 7...
针对社区搜索中查询改写与检索目标割裂、泛化词改写稀释真实意图的问题，SPEAR 以梯度隔离的召回/排序双表征、乘法门控和动态改写选择器端到端优化点击目标。10 万工业会话上 Click Recall@10 从 0.1694 升至 0.3380，线上 QVCTR 与平均阅读深度分别提升 0.259% 和 0.733%。
AuthGR 针对生成式检索只优化相关性、可能把不可靠网页排到权威来源之前的问题，引入 VLM 多模态权威度评分、三阶段权威感知训练和混合集成部署。离线实验中 3B 模型匹配 14B 基线，同时提升权威性与准确率；NAVER 商业网页搜索的大规模 A/B 和人工评估也验证用户互动与可靠性改善。
针对搜索 Agent 打开网页即把内容塞入上下文、离开页面后证据易丢失的问题，论文提出 Fetch-then-Explore：先将全文存入每题独立的持久工作区，再用 grep/read 按需抽取。三种模型上 BrowseComp 准确率分别达 44.5%、52.5% 和 70.5%，比瞬态 Open+Find 高 2.0–4.5 个百分点。
针对多模态推荐依赖全库向量内积、交互表达有限及假负样本的问题，MMGRec 先用 Graph RQ-VAE 融合协同图与视听文特征，将物品量化为语义 token 加热度 token 的 Rec-ID，再由关系感知 Transformer 自回归生成候选。在 MovieLens、TikTok、Kwai 上，NDCG@10 较最强基线分别提升 7.17%、6.79% 和 6.58%。
Meta 披露广告推荐基础模型 GEM 的训练体系：模型含万亿级稀疏参数、十亿级稠密参数，在数千张 GPU 上联合优化 Jagged Flash Attention、GDPA、BlockAttention、低精度和 5D 并行。过去 12 个月训练 FLOPs 扩大 4 倍，同时端到端 MFU 提升至 20%–25%，整体训练效率翻倍。
Flipkart 以 Qwen3-Embedding-4B 构建 256 维双塔，先在 700 万查询商品对上做带假负例掩码的对比学习，再用 200 万分级偏好样本进行 ROAR 对齐。2.5 万查询离线评测中 MAP@8 提升 5.57 个点，线上 CTR、加购和订单分别提升 2.39%、4.58%、2.62%。
论文面向 Snapchat 短视频推荐，构建已上线的 LLM 生成式召回系统 SnapLGR：先用多模态表征与 PPR 共参与对比学习生成低碰撞 SID，再通过持续预训练完成新词表语义落地，并以 SFT 学习用户行为序列。7 天线上 A/B 相对 TIGER 式基线带来观看时长 +0.37%、总停留时长 +0.09%，离线 Recall@32 提升 2.40 倍。
针对工业推荐把长期行为与实时服务事件粗暴拼成单一序列所带来的因果混淆和高成本，TransX 用编码器—解码器解耦两类数据，并以跨注意力完成动作转导。LinkedIn 大规模 A/B 测试中 CTR 提升 6.0%、转化提升 4.4%，增量编码与逐请求 KV 缓存将在线计算量降低约 80%。
论文指出本地社区推荐中的随机批内负样本常在地理上根本不可曝光，因而稀释用户表征学习；RCBS 将同区域用户组成批次，引入可触达的更难负样本。细粒度分区使不可能负样本占比从 98% 降至 30%，Recall@10 从 0.100 升至 0.149；线上点击量、日活观看者和广告 CTR 分别提升 10.0%、1.91% 和 7.46%。
DADF 针对观看时长回归中短样本高估、长样本低估的局部均值收缩，在冻结的一阶段模型上增加乘性残差校正，并按视频时长路由专家、引入互动任务表征。两套公开数据与 7 个骨干上平均 MAE 降低 4.33%、XAUC 提升 4.01%；生产 MAE 降低 12.57%，全量排序 A/B 的设备时长提升 0.649%。
UxSID 在逐候选检索与完全无目标压缩之间引入“语义组共享兴趣记忆”：先压缩超长行为，再用候选语义 ID 做分层探测，从全局行为和兴趣锚中提取目标相关偏好。模型支持最长 1 万次交互且保持常数时间在线推理，快手广告大规模 A/B 测试带来 0.337% 收入提升。
OPERA 研究领域检索器微调中的样本异质性：静态裁剪只保留高相似样本，动态方案则在 query 与 document 两层随训练调整采样概率，兼顾质量和覆盖。跨 6 个领域、8 个数据集，动态裁剪令 nDCG@10 提升 1.9%、Recall@20 提升 0.7%，并用不到标准微调 50% 的时间达到相当性能。
SaFRO 面向短视频搜索多任务融合，把 query 级行为代理汇成满意度奖励，并以组内、跨批次双重相对偏好更新融合策略；Task-Relation-Aware 模块再按上下文调整各目标权重。论文给出 9 页、8 幅图的离线评测和快手大规模线上 A/B，报告排序质量与长期留存均显著优于强基线。
现代生成式重排以单物品为自回归单元，序列越长，推理开销与教师强制误差越重。PSG 将生成原子提升为有序物品对，使长度为 L 的列表只需生成 L/2 个 token，并用大规模曝光日志预训练物品对表示。理论速度提升 2–4 倍，工业环境实测 1.83 倍；在快手 4 亿日活场景上线后，人均停留时长提升 0.178%。
直播内容和交互快速变化，使静态 SID 很快失真。SSRLive 用编码器—解码器同时生成静态与动态 SID，再由判别模块融合用户—主播点赞、下单等信号完成多任务预测。系统已服务数亿活跃用户，线上 A/B 显示观看时长提升 3.38%、GMV 提升 0.72%、涨粉提升 3.12%、互动量提升 2.92%。
Taiji 解决 LLM 语义空间与推荐 ID 空间在后训练中的目标冲突。它用反向构造推理与开放式拒绝采样生成领域 CoT 数据，再以 POPO 动态调节语义奖励和推荐偏好奖励，寻求 Pareto 最优。系统自 2026 年 5 月部署于快手广告平台，日服务用户超过 4 亿，并通过大规模离线评估和线上 A/B 验证。
UniVA 面向广告推荐中生成概率与商业价值不一致的问题，在 SID 构造、解码和在线服务三层统一注入价值信号：商业属性参与 tokenization，解码器融合生成分数与 token 价值，个性化 trie 约束合法路径。在腾讯视频号广告上，离线 Hit Rate@100 相对提升 37.04%，线上 A/B 的 GMV 提升 1.5%。
论文观察到 SID 的预测难度在首 token 后快速下降，因此每一步都运行完整 Transformer 注意力属于结构性冗余。SID-MLP 先一次性提取全局用户上下文，再把自回归教师蒸馏到位置专属 MLP 头，在保留前缀与上下文依赖的同时消除重复注意力。实验中其精度匹配教师模型，推理加速 8.74 倍，扩展版还能替换编码器。
CapsID 把残差量化的硬最近邻替换为胶囊软路由，让物品在每层按概率路由到多个语义胶囊，并在置信度足够时提前终止 SID；SemanticBPE 再按共现与嵌入兼容性合并相邻 token。在四个 Amazon 数据集和 3500 万物品工业目录上，Recall@10 平均比 ReSID 高 9.6%，推理延迟仅为稀疏—稠密方案的 51%。
论文用共享用户上下文与通用解码器承载多目标召回，再为各目标配置隔离的 LoRA 专家，并以配额约束 Beam Search 控制候选互补性。Kwai26 含 13.1 亿条记录；同为 512 个候选时，四项 Recall@512 提升 1.69%–5.62%，线上新内容冷启动提升 2.09%。
TWICE 将延迟转化拆为目标窗口 CVR 与分组延迟 CDF，用点击时钟的未成熟样本训练当前状态似然，用转化时钟更新延迟分布，并以固定 pCVR 质量校正历史流量混合。快手全流量实验中，预期收入、实际收入和转化分别提升 2.486%、1.858% 和 2.061%。
针对生成式推荐只按序列概率做束搜索、导致高业务价值候选被过早剪枝的问题，RGD 将解码写成带 KL 约束的奖励最大化，并在每个 SID 层注入奖励模型。三组 Amazon 数据上 Recall@10、NDCG@10 最高提升 11.49% 和 8.30%；快手两周 A/B 中页面 CTR、直播时长分别提升 0.392% 和 0.689%。
针对推荐早排中训练与服务使用不同物品表示的问题，论文把键值缓存做成可联合训练的 Memory Layer，使物品塔训练时写入、线上直接读取。Instagram Reels 部署后，预测覆盖率从 96% 升至 100%，新内容召回超过 2 倍，冷启动互动提升 5%–6%，训练发布成本下降 30%。
NEXT 将视频推荐改写为 Item-to-Intent-to-Item：8B 视觉语言模型先理解刚看内容并推断下一意图，再生成查询检索具体视频。三阶段训练包含感知强化学习、分布对齐 SFT 与 GRPO；上线新增召回通路后，观看时长提升 0.53%，不同视频曝光提升 0.51%。
面向千万级商品库的动态广告召回，SMART 将规则查询与 BM25 用于再营销，将 LLM 查询与稠密 ANN 用于新兴趣探索，并用轻量质量门控只把约 10% 用户送入 LLM 路径。该设计减少 90% 的 LLM 成本；Snap 两周线上 A/B 测试相对强向量基线提升转化率 27.6%。
Foundation-Expert 范式由中央基础推荐模型生成针对具体候选的 target-aware embedding，再交给各业务面的轻量专家模型与本地特征交互，避免知识蒸馏在大数据区间的传递损失。方案实现 0.64–1.0 的知识传递比，自 2025 年在 Meta 服务每日数百亿请求，跨业务面累计增益 0.359%。
针对持续训练的音乐排序模型把已消费内容反复推高、压制新发行与未听曲目的反馈回路，论文在 YouTube Music 首页比较服务、训练、架构和探索四层共 7 组干预。SNGP 不确定性加权服务使新发行 1 日/7 日互动提升 7.75%/3.30%，但艺人多样性下降 0.95%。
Mosaic 用记忆型、稠密特征型、序列型和 CoTrain 四类专家组成用户向量舰队，并以 MRM 与余弦冗余损失保证新增专家提供边际信息。37 个向量在多业务面带来 Eval NE 最高下降 0.33%，线上核心指标提升 0.10%–0.28%；GPU 优化使资源使用下降 79%。
论文聚焦带网页检索的 LLM 推荐结果可被源页面内容操纵的问题，提出 SIREN：借鉴 PAIR 越狱循环，由攻击者—裁判自动迭代 23 类内容投毒策略，并用固定来源、固定顺序的自定义 RAG 重放隔离检索波动。在两个生产 Claude 模型、8 个查询—模型场景的 124 次试验中，62 次将目标推至第 1 名；成功载荷在新会话的平均复现率为 80.5%。
论文针对工业级搜索与推荐中的内容冷启动，把探索与去偏从单点策略扩展到召回、排序等完整漏斗，并同时适配搜索和推荐场景。Pinterest 已连续两年迭代并部署该系统，通过可扩展评测框架连接短期实验与长期影响，显著改善新内容探索、整体互动和内容生态健康；摘要未披露具体提升数值。
论文解决长行为序列虽能提升 CTR、却无法满足实时竞价延迟的问题：离线 Transformer 异步编码全量跨场景历史并缓存，线上轻量模型只融合缓存向量、近期行为和请求上下文。该拆分方案恢复完整在线长序列模型 72%–80% 的效果，搜索广告与广告网络排序指标分别提升 2.77% 和 2.10%，收入提升 2.26% 和 0.43%，且不增加服务延迟。
RankGraph-2 将十亿节点图推荐的构图、表征学习和实时服务协同设计：通过流行度校正采样把数百兆亿条边压到数千亿条，用个性化 PageRank 预计算多跳邻域，并联合学习残差量化聚类索引。部署后服务计算成本下降 83%，召回率分别达到 GAT+DGI 的 3.8 倍和 PyTorch-BigGraph 的 2.1 倍，线上 CTR 最高提升 0.96%、CVR 提升 2.75%，支撑 20 ...
针对单独优化点击和转化会让热门或价格锚定商品挤占语义相关结果的问题，DoorDash 在多任务排序中加入累积概率形式的序数相关性头，并用轻量 LLM 为超过 1 亿个 query-item 对生成三级标签。相关性 NDCG@10 从 0.812 升至 0.962；线上 ATCR、CVR 和成交额分别提升 1.16%、1.10% 和 0.50%。
OxygenREC 将近线 LLM 的“慢思考”意图推理与实时编码器—解码器的“快生成”拆开，并用 Q2I 对齐、指令引导历史检索及 SA-GCPO 统一六个电商场景。京东 10% 流量 A/B 中，订单量提升 1.49%–8.03%、GMV 提升 1.46%–11.80%，线上延迟为 50–80ms。
针对会话起始词推荐依赖“曝光—点击”闭环、热门泛化查询不断自我强化的问题，PA-Bridge 将用户主动输入的开放查询引入双塔检索，以对抗式分布对齐消除主动 query 与候选 starter 的域偏移，并用 RQ-VAE 离散语义支持流行度去偏。基于 90 天、72 亿条工业样本，离线 AUC 相对提升 6.27%；线上 Starter 渗透率提升 0.54%，用户活跃天数提升 0.04%。
针对本地生活推荐中地理曝光受限与长尾 ID 表征退化，ReST 先用品牌、类目等属性语义预热 ID，再通过空间约束难负样本和动态表征对齐增强长尾物品。它在快手数据上取得 AUC 0.7436，并为 TRISAN 带来 NDCG@5 相对提升 12.57%；百万 DAU 线上实验中，GMV、订单量、播放时长和点击分别提升 2.804%、1.285%、4.188% 和 1.226%。
CASE 指出按购物篮序号建模会丢失真实日历间隔，因而把每件商品的购买历史编码为固定时间窗信号，用多尺度时间卷积学习周、双周、月度等复购节律，再以诱导集合注意力建模商品间关系，将复杂度从 O(n²) 降到 O(nK)。在千万级用户生产评估中，Top-5 Precision、Recall 和 NDCG 相对现网分别提升 8.63%、9.90% 和 10.46%。
Meta 将推荐检索中的索引、过滤、重排和多任务打分统一为一个 PyTorch 模型，把索引本身变成模型张量，并在不足 100 毫秒内完成全链路。面向 8000 万物品的评测中，SilverTorch 吞吐提升 23.7 倍，估算算力成本效率提升 20.9 倍。
论文把生成式推荐骨干从 200 万参数扩展到 10 亿参数，并用带偏移项的 Scaling Law 判断不同下游任务是否接近收益上限。作者结合多 Token 预测、采样 Softmax、投影解码头及语义冷启动塔，在 100 万用户的一周生产影子实验中让 10 亿模型在全部任务上取得更高 MRR。
GloRank 用稳定的全局语义 ID 取代随样本变化的局部位置索引，把 Listwise 重排改成受前缀树约束的 Token 生成。模型先用高质量示范做监督预训练，再以强化学习直接优化列表效用；作者在 2 个公开基准、1 个工业数据集及线上 A/B 上验证有效性，摘要未给出增幅。
论文拆解显式推理式生成推荐，发现世界知识表述削弱、语义 ID 与自然语言嵌入错位、推理文本质量敏感是三类主要问题。PauseRec 改用隐空间额外计算，较显式 CoT 最高提升 6.22%，训练 GPU 小时最多减少 65%，推理速度最高提升 71.3%。
面向短视频多频道 I2I 召回中触发器价值难归因、频道竞争难协调的问题，CAPTS 用 VAM 按下游观看反馈回传触发器价值，再由 CATR 联合分配触发器与频道。快手线上 A/B 显示，总应用时长提升 0.713%，设备日均时长提升 0.586%。
UniRank 把序列建模与特征交互统一到同一基准，覆盖 15 种排序模型、5 个公开数据集，最大数据超过 7 亿样本、最长序列超过 10 万。其分布式、模型并行与高效注意力优化在 4 张 GPU 上带来 14.24 倍加速，并降低 69.2% 单卡峰值显存。
PAG 将随机投影统计检验嵌入图索引，用 PRT、反馈缓冲区和概率边选择减少无效精确距离计算，并同时支持快速建索引、在线插入和大 top-k。六个 384–3072 维现代数据集上，其 QPS–Recall 最多达到 HNSW 的 5 倍，检索规模覆盖 top-10 至 top-1000。
针对工业电商生成式检索只优化语义匹配、忽略商品业务价值的问题，TSGR 用查询感知的并行语义 ID 将价值次序写入编码，再以联合训练的价值感知排序模块统一召回与预排。淘宝离线 HR@1000 提升 9.16%，线上 A/B 实验带来 IPV +0.43%、成交数 +1.12%、GMV +1.64%。
论文针对留存信号稀疏、延迟且难归因的问题，把深层会话、负反馈和场景采纳转成可挂接任意排序器的下游奖励头。Pinterest 以 1.5% 流量运行 3–4 周实验：深层会话奖励令核心/非核心用户成功会话提升 0.24%/0.48%，负奖励使总时长提升 0.46%/0.24%。
论文把是否触发购物召回器建模为个性化因果决策，以随机流量、双重稳健伪结果、DCNv2 与 12 专家 MMoE 联合学习多事件结果和 uplift。线上在不增加端到端时延的情况下最多减少 85% 触发，同时总会话提升 0.26%、Pin 收藏提升 1.10%。
GenRec 面向京东 App 大规模推荐中的翻页输出不一致、长行为序列成本与偏好对齐难题，在单一解码器中引入页级下一词预测、非对称 Token Merger 和 GRPO-SR。Token Merger 将输入长度约压缩 2 倍；持续一个月的线上 A/B 实验中，点击数提升 9.5%，成交数提升 8.7%。
针对短视频多目标排序中点击、时长、点赞等代理标签互相冲突并偏离真实满意度的问题，快手提出 UAME：把满意度分数建模为高斯变量，以均值预测排序分、方差刻画冲突不确定性，再用概率成对损失和样本级自适应加权直接修正训练偏差。离线实验中，相对 EASQ 的 pCTR GAUC 从 0.672 提至 0.734，问卷满意度 NDCG@5 提升 8.71%。
Meta 提出 WHALE，把擅长高阶静态特征交互的 Wukong 与擅长长行为序列的 HSTU 放进每一层，并让 Wukong 表征通过注意力逐层查询 HSTU 历史证据。模型在 800 亿训练样本、40 亿评测样本上验证；14 天线上 A/B 中主指标提升 0.113%，两个辅助指标提升 0.824% 和 1.820%，推理 QPS 仅回退 5%。
论文针对生成式推荐中语义 ID 与协同目标错位的问题，提出 ReSID：用字段感知掩码自编码器学习推荐原生表征，再以全局对齐正交量化降低前缀条件不确定性。在 10 个 Amazon-2023 子集上，相对最佳 SID 基线的 Recall@5/10 提升 16.0%/13.8%，分词成本最高降低 122 倍。
腾讯提出 STAR，把多智能体教师的规划、工具调用、自反思轨迹以及协同信号翻译能力，蒸馏进单个实时推荐模型。训练先由教师合成带行为证据的复杂轨迹，再进行监督微调与强化学习；实验中 STAR 比教师高 8.7%–39.5%，同时消除迭代式多智能体推理带来的在线时延。
RecGPT-V3 面向淘宝推荐中重复处理全量历史、文本标签到商品的信息损失和显式推理延迟三类瓶颈，引入持续演化的 Memory Hub、文本与语义 ID 混合推理及潜在意图 token。系统将用户建模计算降低 55.8%、输出 token 成本降低 200 倍；线上 A/B 中 CTR 提升 1.00%、GMV 提升 3.97%。
RECAP 把短视频用户画像从开放环摘要改为由历史推荐反馈驱动的离线闭环优化：结构化有界记忆负责流式更新，LLM 过滤标签一致行为对，双塔评估器的匹配分作为 GRPO 奖励。快手数据上 uAUC 提升 0.0084、Recall@2000 提升约 4.9%，7 天线上实验的人均使用时长提升 0.139%。
针对推荐系统把热门内容一刀切地推给所有用户、进而放大头部效应的问题，论文提出 Popularity Quantile Calibration 衡量个人历史偏好与推荐结果的流行度错配，并用 SPREE 在推理阶段沿流行度方向自适应调节序列模型激活。多数据集实验显示，该方法持续改善用户级校准，同时基本保持推荐准确率。
针对搜索结果页同时混排文本、图片、视频和大模型答案时整页标注成本过高的问题，论文提出 SMAR：先训练各模态排序器，再筛选预算受控的跨模态页面做少量标注，并蒸馏模态内偏好。Qilin 与 CrossRank 实验将标注成本降低 70%—90%，仍超过全量标注基线，并在百度 App 完成离线与在线 A/B 验证。
论文针对搜索 Agent 多轮推理中间查询质量差、一次偏航拖垮整条轨迹的问题，提出双层信用评估、低质查询定点改写与 SFT→DPO→GRPO 三阶段训练。基于 Qwen2.5-3B，在四个知识密集型基准上平均 EM/F1 达 37.5/47.2，较次优方法分别提升 25%/19%。
论文用5个标准化自然语言关键词组成 Term IDs，以替代易幻觉的自由文本标识和需扩词表的 Semantic IDs；GRLM 联合上下文词项生成、指令微调与弹性标识落地。Beauty、Sports、Toys 上 Recall@5 相对最强基线分别提升7.8%、30.2%、14.9%，跨域 Recall@K 平均提升超过50%。
针对工业 CTR 排序把异构特征一律 token 化后出现的信号稀释问题，TmallGS 组合分布校准投影、字段自适应门控 Transformer、FiLM 晚融合、偏差解耦与渐进训练。在 5 亿级天猫搜索样本上，离线 AUC、GAUC 分别提升 1.12%、1.26%；30 天线上实验使 UCTCVR 提升 1.38%、GMV 提升 1.52%。
Apple TV 将对比学习的多语言文本向量与交互训练的 ID 协同向量汇成用户近期历史特征，再把两类余弦相似度注入 pairwise XGBoost 排序器。离线 NDCG@10、MRR 分别提升 2.99%、3.30%，1–3 字符前缀的 NDCG@10 增益达 8.63%；三周线上实验使点击率和转化率提升 1.14%、1.23%。
POEM 利用推荐级联链路中实时产生的 CTR、观看时长等多任务分数，经归一化逆排名加权构造动态偏序序列，再用系统偏好正样本、用户反馈正样本和图挖掘硬负样本训练双编码兴趣模型。该方法已在快手全量部署，KS 单列页与极速版的人均观看时长分别提升 0.249% 和 0.213%。
论文针对语义 ID 生成式推荐中“每个 token 使用相同推理步数”的低效做法，以位置级信息增益衡量各段 ID 对目标物品不确定性的消减程度，并提出 IBA 动态分配隐式推理预算。多组公开数据实验表明，优先计算高信息增益位置可持续提升强基线，并获得更优的准确率—算力折中。
SlimPer 将个性化排序改写为对紧凑用户—物品知识库的逐层迭代精炼，每层按需查询多模态用户 token，并以固定中间表示实现 O(N) 复杂度。模型把深度与历史长度解耦，已部署于 Instagram Reels 和 Feed，可建模超过 1 万条细粒度历史事件；论文未公开具体线上提升值。
SAM 针对购买后仍反复推荐同类商品的“兴趣退出”问题，用双路交叉注意力压制已满足意图、用时间敏感门控逐步唤醒补购需求，并通过下一次购买时间自监督任务学习商品生命周期。工业离线实验和线上 A/B 测试显示，购买后重复推荐率降低超过 60%。
针对生成式检索中语义 DocID 碰撞且与业务目标脱节的问题，阿里提出 CRID：前两级做语义聚类，末级按转化价值排序，天然保证一物一码并支持增量重排。在淘宝 3 亿商品语料上，CRID 的 HR@20 达 41.20%，较强基线提升 3.72 个百分点；全流量部署带来 GMV +1.06%。
针对单一行为序列中多兴趣相互争抢注意力、形成上下文污染的问题，Meta 提出 CMSL，在隐空间主动构造多条主题序列并分别建模。模型以 300亿至500亿条样本、128 张 H100 训练；四个线上场景的排序 NE 改善 0.06%至0.13%，召回 A/B 指标提升 0.092%至0.171%。
论文把生成式搜推的特征处理从模型代码中解耦，以两份声明式 JSON 统一离线训练和在线服务，并用四类特征、三种可组合组件完成组装与压缩。该框架已部署于淘宝搜索，线上 A/B 实验使成交笔数提升 0.47%、GMV 提升 0.51%，并复用于多个搜索推荐团队。
论文检验 HNSW、DiskANN/Vamana 在增删抖动下按导航退化信号触发局部修复，是否优于固定周期维护。作者在 SIFT-128 与 Fashion-MNIST-784 上按真实修复次数匹配预算后发现，所有运行点的尾部召回优势都与零无显著差异；一次合并已取得超过一半可达收益，原先正结果源于错误的线性插值基线。
SIRA 将多轮探索式搜索压缩为一次面向语料区分度的检索：离线补全文档搜索词，在线预测查询缺失的证据词，再用语料统计过滤无效扩展，最终执行加权 BM25。在 10 个 BEIR 基准上取得对比方法最佳平均效果；BrowseComp-Wikipedia 的 Recall@1/10/100 分别为 9.70%、15.27% 和 36.14%。
论文把对话、显式推理与生成式推荐统一到 OneRec-Think：先用跨模态 Item-Textual Alignment 对齐语义 ID，再以推理脚手架和面向多解偏好的奖励函数训练。Beauty 数据集 Recall@5 从 ReaRec 的 0.0450 提升至 0.0563，线上 Think-Ahead 架构使 APP 停留时长提升 0.159%。
针对 LLM 序列推荐难以整合用户多种兴趣、独立偏好信号又容易引入噪声的问题，UCGRec 将与用户相关的偏好组织成统一的用户中心图，再通过图神经网络与 LLM 端到端联合训练注入结构知识。论文在四个真实序列推荐数据集上进行广泛实验，并报告其性能显著超过传统方法及近期 LLM 推荐基线。
论文在 635 个合成但经人工校验的承保案例上，对比单模型、朴素 RAG 与多智能体 Agentic RAG。后者把定向检索、第三方数据检查、多步规则计算和反思串成可审计流程，在 GPT-5.2 上总体准确率达 86.5%，高于单模型的 77.6% 和朴素 RAG 的 76.9%。
该论文面向问答式 RAG 中“何时检索、何时推理”的路由问题，提出从 LLM hidden states 中分解估计两类不确定性：知识不足与知识歧义/冲突。系统用单次前向传播训练轻量 regression probe，知识不足高时触发 RAG，歧义/冲突高时分配 CoT 或 Self-Consistency 等额外推理。在 Natural Questions 与 Llama-2-7B-chat 初...
论文把 PubHealthBench 扩展成检索增强问答评测，共包含 7,929 个来自英国政府公共卫生指南的问题，用来分析 RAG 中检索配置对最终答案的影响。作者比较 dense、sparse、hybrid retrieval、多种 embedding model、语料切分和主题差异，结论是 hybrid retrieval 在召回与排序质量上更稳定，chunk length 与主题会显著影响...
STRACE 面向长程 LLM Agent 的失败诊断与策略优化，解决真实执行轨迹冗余、异质、包含大量无关步骤的问题。方法在批次层面挖掘失败模式、筛掉重复轨迹；在单条轨迹内构建文本依赖图做因果定位，保留真正导致失败的模块和证据。论文在 VeruSAGE-Bench 形式化验证任务上把人工专家设计 Agent 的成功率从 42.5% 提升到 58.5%，约 1.4 倍。
论文提出 Isolation Kernel Embedding (IKE)，把高维 LLM embedding 转换成二值 embedding，目标是在保持检索精度的同时降低向量检索的存储和计算成本。方法不需要额外训练，利用 Isolation Kernel 进行二值编码，实验显示相比原始 LLM embedding 最高可实现 16.7 倍检索加速和 16 倍内存降低，同时保持相近准确率。
这篇 SIGIR 2026 论文把 deep research 场景中的“搜索组件”从黑盒 API 中拆出来系统评测，比较文档级/段落级检索单元、5 类检索器和 3 类重排器。实验在 BrowseComp-Plus 上显示，段落级 BM25 加 monoT5-3B 重排达到 0.716 recall 和 0.689 accuracy，接近 GPT-5 agent 的 0.701 accuracy；...
这篇论文面向多模态深度搜索智能体，解决训练数据、搜索环境、奖励信号各自割裂导致多跳推理难以稳定优化的问题。方法用类型化知识图谱构造可复现的模拟搜索世界，借助 Perception-Knowledge Chains 采样视觉知识交叉路径，并用 Hop-Anchored Policy Optimization 做步级奖励归因。在 6 个多模态知识密集基准上，SearchEyes-27B 相比最强开源基...
论文聚焦 Walmart 电商 sponsored search 中约 13% 查询无法召回广告的问题，提出 Inventory-Aware RAG based GenAI（InvAwr-RAG）。系统先用 two-tower BERT 检索 top 20 个实时库存商品，再用 LoRA 适配的 Llama2-7B 生成 5 个库存感知 query，并融合历史高点击 query，最后由 cross...
这篇论文面向快手短视频 Push 场景，解决生成式推荐只能生成单一内容类型、语义 ID 自回归生成效率低的问题。HGenPush 将多场景、多视角用户行为理解，与视频推荐和作者推荐的双分支异构生成模块合并到端到端框架中，并用多 token 预测替代逐步自回归生成。论文报告已部署在快手 Push 通知系统，带来日活用户数 0.181% 的显著提升。
HiSAC 针对超长用户行为序列在生产环境中受延迟和内存限制、难以端到端建模的问题，提出分层稀疏激活压缩框架。它把交互编码为多层语义 ID，构建全局分层码本，再通过投票稀疏激活个性化 interest-agents，并用 Soft-Routing Attention 在语义空间聚合历史信号。论文称已部署在淘宝“猜你喜欢”首页，线上 A/B 测试获得稳定 1.65% CTR 提升。
GPL 关注工业推荐预排序的训练-服务不一致：模型训练只看到已曝光交互，线上却要给大量未曝光候选打分，导致样本选择偏差和长尾内容泛化差。方法用 LLM 离线生成用户兴趣锚点，在冻结语义空间中与候选匹配，为未曝光物品生成内容感知伪标签，不增加线上延迟。论文报告在大规模生产系统部署后 CTR 提升 3.07%，同时改善多样性和长尾发现。
MICE 针对 cross-encoder 重排效果强但推理昂贵的问题，从 cross-encoder 内部交互机制出发，删去有害或不必要的 token 交互，构造 Minimal Interaction Cross-Encoder。它把 cross-encoder 改造成类似 late-interaction 的结构，在保留关键 query-document 交互的同时降低重排成本。论文称在 i...
论文检验“LLM 语义理解能解决冷启动推荐”的常见假设，构建五领域基准，把候选召回覆盖率与重排质量拆开评估。结果显示，在 gold item 已注入候选池时，校准后的 LLM reranker 仍不能稳定超过协同过滤和内容基线；在真实召回场景中，单一 retriever 只能把 gold item 放入 200 个候选的 4.6%–22.9% 案例里，且 32%–91% 冷启动目标是没有训练交互的...
该论文把 Deep Research 从“多轮搜索问答”推进到真实长周期研究任务，关注规划、证据收集、文件理解、知识综合和报告生成。它提出统一轨迹构造范式，把封闭式 QA 与开放式研究任务结合，用于训练更接近研究助手的长程智能体。摘要未披露最终 benchmark 数字，但任务覆盖从检索到结构化报告的完整链路。
这篇论文面向 LLM 会话推荐中“语义理解强、行为协同弱”的断层，把用户对话和历史交互视为同一潜在意图的两个观测，并用变分 EM 在行为空间与语义空间之间学习离散意图锚点。模型以 Llama-3.1-8B-Instruct 编码语义、以 ICLRec 建模序列行为，在 MovieLens-1M 上 Recall@5 达 0.1437、NDCG@5 达 0.0921；采样评测中 LatentCRS ...
POEM 针对实时推荐中用户兴趣漂移和上下文变化的问题，把多阶段排序链路里的预测 CTR、预测观看时长等上游分数转成动态偏序序列。方法包含按实时排序分动态分组采样、多目标分数融合、层次化样本学习、图挖掘 hard negative 与 margin pairwise loss，使序列模型不只依赖静态点击历史。论文直接面向工业推荐级联链路，适合短视频、信息流和社区内容推荐中的实时重排场景。
这篇论文改进大规模推荐双塔召回训练中的负采样问题：常见 in-batch 或 out-of-batch 负样本过易，模型很快学会，难以提升区分能力。作者用 LLM 学到的媒体表征做聚类，在训练时从同簇生成实时 hard negatives，框架面向数十亿训练样本并控制额外计算复杂度。论文报告在公开数据集和大规模线上系统中均优于行业常用负采样方案。
这篇论文面向电商/UGC 搜索中双塔稠密召回容量不足的问题，指出固定维度内积向量会形成“Voronoi Bottleneck”，无法表达所有 query-document 相关性模式。作者把 Voronoi complexity 与 sign-rank 联系起来，提出无需相关性标签即可预测单 query 检索失败的 Capacity Utilization Score，报告 AUC 大于 0.8。...
这篇论文把面向 Agent 的检索从一次性取上下文改造成“检索即推理”：LLM-Wiki 会把文档编译成带双向链接的 Wiki 页面，并通过 search、read、link-following 等工具接口让智能体逐步遍历证据。系统还加入 Error Book，用失败样例持续修正结构和语义组织。在 HotpotQA、MuSiQue、2WikiMultiHopQA 上，它相对 HippoRAG 2、...
这份 Meta 技术报告把 LLM 用到工业推荐漏斗最后的重排阶段，提出 GR2：先用 99% 唯一性的语义 ID 做中训练，再用教师模型生成重排推理轨迹，最后用面向 AUC/NDCG 的可验证奖励做 RL 后训练。实验基于约 7 万个内部用户会话，并在 02-01 到 02-09 的 9 天留出流量上评估；相对强 legacy point-wise baseline，GR2 提升 +18.7% ...
MixFormer 针对工业推荐中“序列建模”和“稠密特征交互”分离导致的容量分配问题，提出统一 Transformer-style backbone，把用户行为序列、非序列特征和高阶交互放到同一参数化结构里共同扩展。离线数据来自抖音推荐系统连续两周、万亿级 user-item 交互，单样本超过 300 个特征；MixFormer-medium 相比 TADLRM 在 Finish AUC/UAU...
IntentTune 面向电商搜索里“watch”“shirt”这类欠规格查询，尝试用个体历史和全站需求分布推断缺失的年龄、性别、品类、尺码等隐式意图。论文比较两类信号：用户级搜索历史、浏览行为、profile 属性，以及全体用户聚合的 population-level demand pattern；真实电商数据实验显示，仅靠总体需求分布无法稳定解析 under-specified query，而...
论文针对一类在 embedding 检索里被忽视的需求——pattern-preserving attribute retrieval：给定一组表达细粒度模式的 seed 物料，既要召回满足某个目标属性、又要保持在该模式内的更多物料。作者指出对 seed 取平均会停留在低属性区、而全局属性检索又会漂移到无关模式，两个目标互相拉扯。方法走 continuous generative retrieva...
针对工业推荐里组件各自扩参（行为建模、特征交互、任务建模分别 scaling）缺乏统一框架的问题，UniFormer 把整个建模空间拆成特征空间与任务空间，分别用堆叠的 Feature-space / Task-space Interaction Module 建模，并用语义 token 化实现 user-item 解耦做到 request 级推理加速；多序列 cross-attention 分别...
针对 ColBERT 多向量检索的 token 级 MaxSim 打分，论文先做 roofline 分析，指出朴素实现因要物化 Nq×Nd 相似度矩阵只用到 HBM 峰值带宽的 5–18%。TileMaxSim 用 IO-aware Triton 内核解决：多 query 的 SRAM tiling 让文档 embedding 只读一次、维度 tiling 支持 d>128、融合乘积量化查表把 H...
快手与北航提出 Recommendation-as-Generation（RaG），把短视频推荐从“在固定池里检索”改为“按推断的用户兴趣实时生成个性化视频”。核心是解耦语义 ID（D-SIDs）：用 Qwen2.5-VL-7B 做指令引导的多模态表征，再用 RQ-KMeans 残差量化成 content 与 creative 两套离散 token；视频生成交给共享 Qwen2.5-32B 的三个...
工业级推荐系统的用户建模通常依赖固定维度稠密向量，表达能力受限；用 LLM 生成文本型用户 token 又只能捕捉话题共现、难以对齐物品属性。TokenMinds 把 PLUM 框架从物品检索扩展到用户建模，用改编自预训练 LLM 的 encoder-decoder 同时产出基于 Semantic ID (SID) 的离散用户 token 与稠密用户 embedding，兼顾语义可解释和对下游稠密...
针对搜索排序系统所需的相关性标注（训练数据准备、NDCG 评估、badcase 归因），人工标注慢、通用 LLM 在领域任务上精度不足。论文提出 calibrated model cascade：把 query 按难度路由经过逐级增大的微调分类器，再叠加 per-class isotonic calibration 校准。作者拆解收益来源——领域微调贡献约 20 个准确率百分点，级联近似不损精度但...
DREAM 针对稠密检索依赖人工标注正负样本对的痛点，提出用大模型自回归 next-token prediction 损失来监督检索器训练：将检索器算出的 query-文档相似度分数注入冻结 LLM 的部分注意力头，相似度决定 LLM 预测目标输出时对各候选文档的注意力权重，由此产生的预测损失通过注意力机制把梯度回传给检索器。在 BEIR 与 RTEB 两个检索基准、0.5B 到 3B 的多种 b...
VRec 针对 LLM 生成式推荐中"先推理再推荐反而掉点"的推理退化问题，提出 reason-verify-recommend 范式：在推理过程中交错插入验证以提供可靠反馈。作者确立两条设计原则——可靠性(验证须准确评估中间推理)与多维性(覆盖多个用户偏好维度)，并用多个 verifier 加 proxy prediction 目标实现，在不牺牲效率的前提下提升推荐质量与可扩展性。在四个真实数据...
针对电商赞助搜索下稠密检索训练数据的难题——点击信号有位置偏置、长尾 query 稀疏，人工标注上亿 query-item 对成本不可行。核心观察是多个异构检索系统对大部分召回结果存在分歧，这种分歧天然提供结构化训练信号：所有系统一致的是 easy positive、只有词面系统能找到的是 hard positive、只骗过单一系统的是 hard negative。方法组合成端到端流水线：(a) ...
论文质疑“检索召回率(exact-match recall)能代表检索内容对下游决策是否有用”这一常见假设。作者在 tau-bench 上用 Qwen2.5-3B/7B 做 action 前的策略分类：在金标准策略条件下，把原始轨迹换成紧凑的结构化状态后 macro-F1 提升 0.13–0.17；但当用检索 rank-1 的条款替换基准指定策略条款时，即便正确条款被检索到 rank-1，下游分类...
论文针对对话式推荐系统(CRS)离线评估难题，指出现有基于 LLM 的用户模拟器存在三个局限：依赖固定 prompt 与预定义动作空间导致跨领域迁移差、难以复刻细粒度语言风格与动态偏好、评估有效性不足。作者提出 AdaptSim，通过自动 prompt 生成与开放动作机制降低人工成本、提升跨域灵活性，并用 “think-then-respond” 受控文本生成精细控制语言风格；评估侧设计了基于 B...
针对 Transformer 序列推荐模型，论文发现一个反直觉现象：放大模型规模虽提升准确率，却同时放大流行度偏置（popularity bias），加剧 Matthew 效应与信息茧房，使其成为推荐 scaling 的根本障碍。作者从理论与实验定位根因——随深度增加，注意力聚合与前馈投影协同导致预测分布的谱坍缩（spectral collapse）。据此提出 SPRINT，通过约束注意力分数矩阵...
传统离线推荐评测用 Top-K 指标加严格 ID 匹配，受曝光偏置影响导致评估失真，且只给数字不给理由。论文提出 LLM-as-a-Judge 离线评测框架：用用户文本行为构造语义代理（semantic proxy）替代 holdout 反馈，在语义空间做柔性匹配；LLM 以'先推理后打分'生成相关性判断与显式理由，再聚合为带解释的 Top-K 指标，并为每次命中或漏召给出依据。实验显示该框架在可...
重排序模型多把 query 与 passage 拼接做联合编码，计算耦合限制了部署效率与灵活性。KaLM-Reranker-V1 提出 "fast but not late-interaction"（FBNL）方案：基于 encoder-decoder，用 encoder 配合 Matryoshka 池化对 passage 预编码，decoder 编码 system/user instructio...
针对赞助搜索中长文本广告描述（比广告标题更长、可融入世界知识表达用户搜索意图）的生成问题，提出 Interactor 多轮迭代生成框架：LLM 策略作为 agent，与由两个 rubric 式生成式奖励模型（GenRM，分别评估知识容量 KC 与落地页一致性 LP）和 CTR 预估模型组成的环境交互，用 <retrieve> 检索百科知识、<create> 生成、<reward> 评估三类动作多轮...
论文把序列建模落地到 Airbnb 线上搜索排序，针对生产环境三个具体难题：guest 行为序列长、探索性强、且预订（booking）标签稀疏。作者系统拆解了四类关键工程决策——guest event 的筛选粒度、ID embedding 设计、模型架构、以及 label attribution（标签归因），在序列复杂度与可扩展性之间做权衡，最终形成 JourneyFormer 这一可上线的序列排...
文本 embedding 模型检索高效，但排序精度不及专用 reranker，尤其落后于 LLM listwise reranker。E2Rank 让同一个 embedding 模型同时承担检索与 listwise 重排：在 listwise ranking 目标上继续训练，把"原始 query+候选文档"拼成的排序 prompt 当作被 top-K 文档信号增强的 query embedding...
生产环境的 LLM agent 依赖实时检索，但厂商原生的 search grounding 把检索策略、provider 选择、证据注入、成本、延迟和生成行为全部耦合在模型边界内，难以检查、调优、复用与迁移，还会触发 Search-Induced Verbosity 破坏输出格式约束。论文提出 DSG（Decoupled Search Grounding），用 MCP 兼容网关把 groundi...
隐式反馈（点击）混入大量噪声样本（标题党、位置偏置），冷启动新物品因交互稀疏更易受噪声影响，而已有去噪方法依赖“高 loss 即噪声”的启发式、在冷启动场景失效。论文提出模型无关的去噪方法 DIF：用内容相似的热门物品为冷物品推断伪标签，按内容相似度建模伪标签置信度并聚合多个伪标签，再用相对熵与冷启动状态显式估计样本标签的不确定性，自适应修正噪声标签。方法有理论支撑，已在快手十亿用户级短视频 Ap...
Stellar 针对多模态文档检索中 late interaction（多向量 token 级表示）内存开销过大、难以规模化的问题，提出把 token 级文档 embedding 存到磁盘、检索时只把候选 token embedding 调入内存。两个核心组件：LRF（Lexical Representation-based Filtering）把 MLLM 微调成稀疏编码器产出词项表示先做粗筛缩...
论文部署 ACIE（Agentic Clinical Information Extraction），一套在德国 University Medicine Essen 本地落地的 agentic RAG 系统，针对患者上下文跨数百份异构文档、文档级元数据缺失的场景。标准 RAG 在时间推理、跨文档依赖、元数据缺失上失效；ACIE 让 agent 在完整患者上下文上推理，并把每个答案锚定到来源段落供医...
针对十亿节点规模图检索中“图构建—表征学习—在线服务”三个环节长期被孤立优化的问题，Meta 提出 RankGraph-2，把三阶段联合设计用于相似度检索（U2U2I 与 U2I2I）。核心做法：用带流行度偏置校正的子采样把数百万亿条边压到数千亿条，用 personalized PageRank 预计算多跳邻居，并把残差量化的聚类索引共同训练进检索目标，使在线服务计算成本下降 83%。线上 A/B...
百度与中科院计算所提出的多语言 cross-encoder 重排模型，解决第二阶段重排器适配新分布需大量人工相关性标注的问题。pipeline 先在大规模 ranking 数据上学通用相关性，再用 synthetic-query mining + teacher 连续软标签做无标注分布适配，最后用 SLERP（球面线性插值）合并多个任务 checkpoint 成单一可部署模型，避免 runtime...
生产环境 LLM Agent 越来越依赖实时搜索，但模型自带的 native search grounding 把检索策略、provider 选择、证据注入、成本、延迟、生成行为捆绑在单一模型-厂商边界内，难以检视、调参、复用与迁移，还会触发 Search-Induced Verbosity 破坏严格输出格式。论文提出 Decoupled Search Grounding (DSG)，用一个 MC...
面向零工平台（日本最大零工平台 Timee）推荐场景：用户收藏岗位模板、企业发布对应班次时收到通知。作者发现一味最大化预测收藏会让推荐过度集中在热门但实际开班很少的模板上，而有用工缺口的模板曝光不足。论文提出阈值资格控制 TEC（thresholded eligibility control），按发布活跃度与未填补缺口重新分配模板曝光，且完全可并行、适配大规模平台。用 Timee 数据校准的仿真中...
研究生成式推荐是否会加深信息茧房。生成式推荐用 Semantic ID（SID）序列替代原子 item ID，其茧房效应此前不明。作者提出 RecLoop——由 LLM 用户智能体驱动的闭环仿真框架，在两个 Amazon 数据集上对比两类生成式推荐与两类传统序列推荐，并提出模型层指标 Code-Space Structural Cocoon 衡量生成 SID 空间的集中度。结果显示生成式推荐在曝光...
针对 RAG 系统精排环节的相关性打分问题。现有 reranker 多用语言模型为 next-token 预测设计的 logit 信号判相关，并依赖启发式阈值过滤，二者都不是为相关性评估而设计。作者提出用「表征漂移 (representational shift, RS)」作为相关性信号：当 query 的内部表征以候选文档为条件被改写时会产生位移，候选文档诱导的 RS 与一个 oracle 文档...
针对短视频播放器下方“可点击搜索入口”的 query 推荐场景：传统 query 推荐受在线延迟约束、目标不对齐，已有生成式方案又易被 content 侧噪声元数据和偏好漂移干扰。OneBar 提出端到端实时生成式 query 推荐框架，三个核心模块：(1) 协同-多模态意图锚定，把多模态视频理解与行为派生的协同 anchor 融合；(2) 带 prompt 压缩机制的统一端到端架构，支撑在线低延...
现代 CTR 预估普遍只用正向行为（点击、购买、完播）构建用户行为序列，而数量更庞大的隐式负反馈（划过、跳过、低完播）被忽视。论文提出按时间戳把正负行为混合成单一序列，并设计 Target-Aware Polarity Fusion (TAPF) 门控：对每个候选做 target-aware 交互、内容自适应 sigmoid 门控，再按极性符号做带符号残差融合，把正向 token 推向目标、负向 ...
音乐搜索重排需同时对齐用户当前 query 与长期偏好，并联合优化 CTR 与 CVR，但已有序列方法只用 item 交互历史、无法用历史 query 判断哪些偏好匹配当前意图，且多数 listwise 模型只优化单目标。论文提出 PIANO：Query-Driven Interest Refiner (QDIR) 用当前 query 对历史 query 序列做 cross-attention 筛...
针对应用商店中“多品类 App”传统类目体系无法刻画语义重叠、导致个性化效果差的问题，提出 PCR-CA 端到端 CTR 框架。先从 App 文本抽取多模态 embedding，再用并行码本 VQ-AE（区别于 RQ-VAE 的层级残差量化）在多个码本上并行学习离散语义表征，独立编码玩法、画风等不同侧面；并在用户与物品两侧引入对比对齐损失增强长尾表征，配合双注意力融合 ID 特征与语义特征。大规模...
针对 LLM 做生成式推荐（GR）时用 Semantic ID 表示物品、破坏 LLM 自然语言推理接口的问题，论文系统拆解显式推理（CoT + rationale）训练流程，指出三大缺陷：世界知识表达被削弱、SID 与自然语言 token 嵌入空间错位、对 rationale 质量敏感。据此提出轻量隐式推理范式 PauseRec，无需采集推理链、无需推理对齐训练。结果：相比标准显式 CoT 方法...
针对生产环境 LLM query 改写器的两难——奖励要反映改写如何被线上排序器消费，训练又必须便宜到能随数据漂移持续重训——提出 CoRe，已在某大型短视频搜索引擎按周重训上线超过 5 个月。奖励直接取自已部署的多模态相关性模型，并采用与生产融合公式一致的乘性比值形式，消除离线奖励代理与线上的偏差；半在线 Mixed Preference Optimization 用 DPO 式成对目标只对采样...
MUSE 针对终身用户兴趣建模长期依赖 ID 特征、在长尾物品上泛化差的问题，系统研究多模态信号在两阶段检索框架（GSU 通用搜索单元 / ESU 精确搜索单元）中的作用。结论是 GSU 阶段用轻量级余弦相似度配合高质量多模态 embedding 即可，ESU 阶段才需要更丰富的多模态序列建模与 ID-多模态融合。已在淘宝展示广告系统部署，支持 10 万长度的用户行为序列建模，线上 top-lin...
HeMix 面向工业级 CTR 排序，提出 Query-Mixed 兴趣抽取模块，联合建模上下文相关与上下文无关的用户兴趣；并用 HeteroMixer 模块替代自注意力，高效完成跨特征的异构交互。在高德(AMAP)平台相对 DLRM 基线线上取得 +3.61% GMV、+2.78% PV_CTR、+2.12% UV_CVR，且随模型规模增大精度稳定提升，展现良好的 scaling 行为。
工业 CTR 需在严格效率约束下同时建模长程用户行为序列与异构非序列特征，但二者通常由不同模块分别处理。HyFormer 用统一混合 transformer 把'序列建模'与'特征交互'整合进单一 backbone：Query Decoding 将特征扩展为 Global Tokens 并做序列解码，Query Boosting 强化跨 query 的异构交互。相对 LONGER、RankMixe...
CompRank 针对 LLM listwise 重排序在线推理成本高的问题，提出 token 级压缩加 decoding-free 打分：通过文档表示解耦、segment-wise token 压缩与 CopyNet 式训练目标，仅保留 10.2% 的文档 token。在 7 个 BEIR 数据集上 NDCG@10 达 39.2，对比全 token 注意力的 39.7 基本持平；端到端较生成式 ...
工具增强型 LLM agent 普遍用 step-wise 原子工具调用，每次调用、观测、取值都暴露在主推理轨迹里，造成执行粒度错配：本可确定性执行的工具子流程被展开成大量模型可见的低层决策，挤占上下文。HyperTool 提出统一的可执行 MCP 风格工具接口——模型用一段代码块按工具原始 schema 调用、处理返回值、在本地传递中间结果，把确定性子流程折叠进一次外层调用。在 MCP-Univ...
针对十亿用户规模的工业级视频推荐平台，提出在 serving 阶段实时生成 LLM 自然语言用户兴趣 persona 的框架。方法把「已有兴趣摘要」与「新主题探索」结合，直接在线上缓解 exploitation-exploration 权衡；为应对十亿用户在线 LLM 推理的算力瓶颈，设计了知识蒸馏、异步推理、以及基于语义聚类视频表征的输入压缩三件套。离线评测、用户研究与线上 A/B 均显示 vi...
工业电商搜索的召回阶段由倒排索引、向量召回等多路分支经人工调权融合，缺乏联合优化。论文提出 OneRetrieval，用单一生成式检索(GR)模型统一多路召回，核心是 Keyword-Aligned Encoding(KAE)：把生成标识符的每个位置绑定到一个可解释的属性词，从而在保持召回质量的同时保留倒排索引“小时级新增 term、无需重训”的实时可编辑性。倒排分支虽转化率低于平台均值，却因可被...
小红书(RedNote)用 ANNS 支撑搜索、推荐、广告，长期依赖内存图索引(HNSW)满足低延迟 SLA，但用户与内容规模增长导致内存占用和 CapEx/OpEx 激增。论文提出 HELMSMAN，把聚类式 ANNS 搬到全闪存(all-flash)服务器，结合面向 ANNS 的用户态存储栈、leveling-learned 剪枝模块与 GPU 加速的索引构建流水线，相比内存方案节省超过 90...
feed 推荐靠浏览行为捕捉隐式兴趣、搜索靠显式 query 匹配意图，二者通常各用一套架构，用户理解被割裂。OneFeed 用一个共享行为编码器编码异构用户行为序列，再挂两个生成头：Feed Semantic ID Generator 自回归生成推荐召回用的层级语义 ID，Intent Query Generator 生成搜索候选扩展用的自然语言 query；并用 SID-Query 对比对齐目...
多模态序列推荐(MSR)里视觉特征常被文本信号压制、贡献远低于文本。作者把原因归为两点：预训练视觉编码器抓不到与偏好相关的视觉线索，以及视觉-文本优化失衡。提出即插即用框架 REVEAL，含两个模块：Feedback-Guided Visual Extraction(FVE)用任务级反馈精修 prompt 引导的视觉特征抽取，Adaptive Visual Learning(AVL)在训练中动态重...
电商生成式检索把 query 直接映射到商品 Semantic ID (SID)，但电商 query 短、噪声大、属性密集，与人工构造的 SID 之间存在表征鸿沟；显式 Chain-of-Thought 推理能弥合却带来额外生成开销，难以满足在线低延迟。CaLIR 不生成显式文本 rationale，而是在 SID 解码前学习连续的 latent intent 状态，用商品类目层级做 coarse...
SSRLive 面向直播推荐，将生成式模块与判别式模块统一在一个架构里。生成式部分用 encoder-decoder 同时产出静态与动态 Semantic ID（SID），让 SID 能及时反映直播间内容的快速变化并融合多模态信息；判别式部分把 SID 与用户特征结合，再注入用户-主播交互信号（点赞、下单）做多任务预估。线上 A/B 显示观看时长 +3.38%、GMV +0.72%、关注数 +3....
多条件检索要求系统找出同时满足多个约束的文档，超出单纯话题相关。query decomposition 被广泛当作直觉解法，但其在检索管线不同阶段的效果一直缺乏系统研究。本文做 stage-aware 实证，发现鲜明的阶段依赖效应：在初始检索阶段做分解常因“语义稀释”损害召回；但在 reranking 阶段做分解则显著提升效果。
快手 OneRec 团队针对生成式推荐模型难以激活推理能力的问题展开研究——由于物品 token 序列无法构造有意义的 CoT，前期工作 OneRec-Think、OpenOneRec 中“思考模式”相比“非思考模式”并无增益。作者提出推理是否有效取决于两点：perception（把物品 token 锚定到底层语言语义）与 cognition（把用户行为序列重组为连贯的潜在兴趣点）。OneReas...
该工作把语言模型的 scaling law 方法论迁移到用户行为序列基础模型。针对“特征化事件 embedder + decoder-only Transformer 预测下一个事件”的两段式架构，在真实交互数据上跑了约 600 组实验，训练算力覆盖 10^15–10^19 FLOPs，联合调节两段参数配比、critical batch size、模型/数据分配、冻结 embedder 后的负采样...
Tubi 流媒体把物品冷启动建模成时序二部“设备-内容”图上的归纳式图补全问题。提出 Shallow-RHS 非对称双塔：左侧设备塔用时序有效的观看历史做消息传递抓协同信号；右侧内容塔故意做“浅”——不用 ID embedding、不做邻居聚合、不用任何交互派生表征，只从内容固有特征编码，强制内容编码器把固有特征映射到“协同感知”的 embedding 空间。训练后该编码器为冷/热内容统一产出 e...
直播是核心转化场景但行为数据稀疏、冷启动严重，而短视频流量大、行为信号丰富。把短视频上的用户兴趣迁移到直播推荐可缓解冷启动。短视频与直播都是复杂多模态物品，融合多模态信号能提升效果，但多模态 LLM（MLLM）在跨域推荐中应用尚少。本文提出 RGCD-Rep，一个推理引导的跨域表征学习框架，资源高效地引入 MLLM 推理来对齐短视频与直播表征。在快手直播推荐（日服务超 4 亿用户）部署后，A/B ...
针对直播推荐行为稀疏、冷启严重的问题，快手提出 RGCD-Rep，把短视频域的用户兴趣迁移到直播域。方法分两阶段：先用冻结的多模态大模型（MLLM）作 teacher 生成结构化的跨域推理知识，蒸馏进一个轻量 student；再把 item 表征拆成「可迁移表征」与「域残差表征」，全部离线预计算后接入下游推荐，serving 端不需实时跑 MLLM。已在快手直播推荐系统部署、服务日活 4 亿+ 用...
人大 RUCAIBox 提出 DS-MLP，质疑 CTR 模型里复杂特征交互模块的必要性。现有双流架构有两个毛病：显式特征交互复杂度高、易过拟合；显式/隐式两路输出不平衡，一路常主导最终预测。DS-MLP 用知识蒸馏把「学习显式特征交互」的能力压进一个主 MLP 网络，再用一条并行 MLP 捕获隐式交互，整体结构就是纯 MLP。在三个公开 benchmark 上达到 SOTA，论文已被 TKDD ...
序列推荐里，Transformer 用位置自注意力、State-Space Model（如 Mamba）用单一隐式衰减来加权历史行为，二者都没把真实用户行为的多尺度时间结构显式建模。MARS 提出一个与编码器无关的聚合算子：直接消费真实时间戳，产出 K 个强调不同 recency 尺度的摘要，再用上下文自适应门控融合。它最多只增加 6% 参数、时间复杂度 O(LdK)，并按训练集平均序列长度自动在...
快手团队（Kun Gai、Peng Jiang）针对工业级 LLM4Rec 的两大瓶颈：SFT 阶段开放域推荐里 CoT 质量难衡量、难提升；RL 对齐阶段 LLM 语义奖励与推荐偏好奖励之间的 trade-off 被忽视。Taiji 是 LLM-as-Enhancer 框架：SFT 端用「逆向工程推理 + 开放式拒绝采样」生成高质量领域 CoT 数据；RL 端提出 Pareto Optimal ...
dense retrieval 存在位置偏置——相关信息出现在 passage 后段时检索效果下降。论文把推理期 attention calibration 适配到检索任务，无需重训练，并引入强度系数 λ 在原始注意力与完全校准之间插值。在 3 个 embedding 模型、SQuAD-PosQ 与 FineWeb-PosQ 两个基准上系统研究 basket size、校准层集合与强度的影响，发现...
LLM agent 完成复杂任务需组合多个 skill，skill 检索是 agent 的前置环节。论文指出 skill 检索与传统文档检索的本质差异在监督信号层面：top-K 联合正确性不仅取决于单个 query-skill 对的语义相关性，还取决于被一起检索出来的多个 skill 能否协作完成任务，这种 skill 兼容性无法从独立相关性推导。论文构建 query-conditional be...
Pinterest 提出 UniPinRec，把召回与排序从模型到训练、服务全栈统一为“一种输入格式、一个模型、一个训练阶段”。共享 Transformer 把用户行为序列编码为与候选无关的表示，再通过任务专属 head 分叉出召回（ANN 点积）与排序（cross-attention）。关键设计包括 Masked Action Modeling（MAM）消除序列交错、在不翻倍上下文长度的前提下实...
LinkedIn 用 Transformer 序列排序模型 Feed SR 替换原有的 DCNv2 排序器，把用户行为序列直接喂给排序模型而非依赖手工交叉特征。论文详述了为满足生产约束所做的建模、训练与 serving 优化，已在 12 亿会员规模上线服务大部分 Feed 流量超过三个月。线上 A/B 相比原生产模型取得 +2.10% 停留时长、+3.52% 点赞/评论/转发互动的显著提升。作者还...
论文诊断了 CTR 深度模型「堆规模收益迅速衰减」的根因：标准 Transformer 假设序列组合性，而 CTR 数据需要的是异构 field 间的组合推理，两者存在结构性错配。作者提出 Field-Aware Transformer (FAT)，用 field-centric 参数重构标准 Transformer block 实现「结构化表达力」，把模型复杂度依赖从总词表规模 n 转移到 fi...
针对电商搜索中 query 短、口语化、噪声大且商品属性细粒度的问题，提出基于孪生 LLM 双塔编码器的两阶段语义召回方案。第一阶段用对比学习训练，并引入 false-negative margin mask 避免把近似重复商品当负样本惩罚；第二阶段提出 ROAR（Relative Odds Alignment for Retrieval）偏好优化目标，把 Bradley-Terry 扩展到可变长...
商业搜索同时优化行为相关性（用户点击/下载）与文本相关性（语义匹配），但专家标注的文本相关性标签相对海量行为标签极度稀缺。论文系统评估多种 LLM 配置，发现经过专门微调的小模型在生成高相关性标签上显著优于规模大得多的预训练大模型；以该最优模型为「放大器」生成数百万条文本相关性标签，用于增强 App Store 生产排序器。结果显示注入 LLM 生成判断后线上排序相关性获得提升。
LinkedIn 用 transformer 序列排序模型 Feed SR 替换原有的 DCNv2 排序器，重点不在模型结构本身，而在如何在 12 亿用户规模下满足严格的生产时延约束。论文披露了建模选择、训练技巧和 serving 优化三方面工程细节，并对比了其他序列模型和 LLM-based 排序架构落地的取舍。Feed SR 已承载 LinkedIn Feed 大部分线上流量超过三个月，在线 ...
面向工业级生成式检索推荐，论文指出生成式检索因单步推理 + 严格延迟约束而存在“短视”问题：把多样的用户意图坍缩为局部最优、难以捕捉长程多物品消费模式；同时难以遵循类目控制、策略约束等显式检索指令。Climber-Pilot 提出两点：TAMIP（时间感知多物品预测）通过时间感知掩码把长程多物品的前瞻能力蒸馏进模型参数，缓解短视的同时保留单步推理效率；CGSA（条件引导稀疏注意力）用稀疏注意力把业...
针对电商搜索相关性建模，论文把 LLM 的相关性判断建成 query 理解→商品理解→facet 匹配的 CoT 推理并用 RL 优化。现有 GRPO 只有 outcome-level 奖励、把整条推理链当成单一优化单元，难以区分错误步骤；Graph-GRPO 将 CoT 各步建为节点、逻辑依赖建为边，把结果奖励沿依赖图传播得到 step-level 信用，再用主损失驱动的控制器自适应调整边上传播...
论文复盘了把一个生成式推荐主干网络（不含 embedding 与 decoding 层）从 2M 参数扩到 1B 参数的生产经验，场景是工业级的标题推荐。作者发现预训练阶段的收益并不会自动传导到下游应用：任务自身的提升空间（task headroom）、重复训练成本、serving 延迟、item 时效性都会削弱迁移效果。在多个下游任务上观察到“任务相关的 scaling 行为”——部分任务在观测...
大推荐模型在 scaling law 下有明显收益，但工业系统受在线 serving 延迟约束只能上线轻量模型，造成离线扩参与在线部署的鸿沟。Rec-Distill 通过解耦训练、黑盒蒸馏、去偏机制和混合 batch-streaming 流水线，把大教师的收益迁移到小学生模型。教师规模扩到 24B dense 参数、行为序列长度 20K，在多个推荐与广告场景上学生模型蒸馏迁移率超过 60%。
传统知识蒸馏只把基础模型(FM)的单个标量预测传给垂直模型(VM)，随 FM 增大「迁移率」递减——单标量无法承载丰富的中间知识。LoopFM 把 FM 的中间层 embedding 结构化为 VM 的输入特征（如用户历史序列），开辟高带宽迁移通道，且 serving 时无需实时 FM 推理、不耦合两者架构。论文给出增益分解与迁移率理论分析，在三个公开数据集上 AUC 提升 6%+（TaobaoA...
论文针对 LLM agent 的工具检索：微调编码器擅长表面词形匹配但对欠规约 query 失效，而冻结 LLM 的 query 扩展能处理模糊 query 却产生词表不匹配的描述。CoHyDE 让改写器（DPO 对齐）与编码器（InfoNCE 重训）迭代协同演化。在 ToolBench 约 1 万工具子集上，标准 query 的 NDCG@5 提升 2.5 个百分点，模糊 query 提升 6....
工业排序模型对同一用户/上下文特征重复打分 N 个候选，标准实现把上下文特征在前向早期广播，导致 context-only 计算每请求重复 N 次。论文提出 rank-aware 分解：对 FM 两两内积、DCNv2 cross 层、self-attention、FC 投影这些主流交互算子，基于“秩划分输入上的线性/双线性运算可做精确块分解”这一代数原理，把 context-only 计算从 pe...
工业搜索排序只用参与度信号优化会引入系统性偏差，偏向热门或价格锚定商品而不满足语义意图。论文提出生产级多任务排序系统，把语义相关性作为首要优化目标：用 ordinal relevance head 预测跨相关性阈值的累积概率以保留标签序关系，再与 engagement head 通过统一 value model 融合，实现可控的相关性-参与度权衡。用微调的轻量 LLM 在 1 亿+ query-i...
抖音音乐百万级 DAU 的 feed 流推荐缺少'主动指定意图'通路，用户对'下雨天通勤想听的歌'这类模糊、场景化的 query 无法直接表达；直接套用 LLM 又面临音乐领域知识不足、音乐-query 协同推理弱、用户偏好理解浅三个问题。作者提出 MuChator，一套交互式 MusicLLM 框架：在通用 LLM 上注入音乐元数据 SFT、构建 query-音乐协同推理的偏好数据集、并引入用户...
针对搜索/推荐/RAG 系统普遍使用的两阶段架构，作者提出 credit-assigned policy gradient (CA-PG)，用于端到端训练早期召回阶段（ESR）。常规的 vanilla policy gradient 把梯度回传到整个候选集的联合概率上，当候选集规模达到工业级（数千到上万）时方差爆炸，几乎无法训练。CA-PG 把梯度改为对'目标 item 在任意候选集中被选中'这一...
面向工业级推荐系统的混排/重排阶段，论文提出 Uniboost 统一流量分配框架，重点解决多业务目标（自然+商业+生态）耦合时的三大痛点：分配方案彼此耦合无法独立调优、模型分数被'通胀'、缺乏业务可解释性。核心机制是 posterior value alignment（后验价值对齐），把抽象模型分数校准到带显式业务语义的锚点指标（如 GMV、播放时长）；并采用独立线性 boosting 范式解耦各...
Google 发布 Gemini Embedding 2，是基于 Gemini 多模态主干的原生多模态向量模型，可在统一表示空间下编码视频、音频、图像和文本，并支持任意模态交错输入。模型采用大规模对比学习配合多任务多阶段训练，在 MSCOCO 上达到 62.9 R@1、Vatex 上 68.8 NDCG@10、MTEB multilingual 69.9、MTEB Code 84.0，全面超越各单...
针对搜索/推荐/RAG 中两阶段排序（早期召回 ESR + 后排 LSR）端到端训练的难题，作者指出 vanilla policy gradient (V-PG) 在 ESR 上方差爆炸，因为它对整个候选集联合概率求梯度，忽略了单个候选的贡献。论文提出 credit-assigned policy gradient (CA-PG)：把梯度归到「目标物品被任何候选集选中」的边际概率上，对候选集大小做...
MiniMax 发布面向 agentic 部署的 MoE 模型 M2 系列：总参 229.9B、单 token 激活仅 9.8B。三大组件支撑：(i) agent-driven 数据流水线在可执行 workspace 中生成 agentic coding/cowork 的可验证轨迹，奖励对齐产出物；(ii) Forge——为长视野 agent 轨迹设计的 agent-native RL 系统，含 ...
Meta 在 UGC 推荐召回中把原本散落在 CPU/向量索引/模型服务里的多套召回组件合并成一个统一架构 SilverTorch，把 "索引" 当作模型的一部分用 GPU 端到端服务。相对此前 CPU 召回方案吞吐提升 23.7×、单位算力成本提升 20.9×，同时精度还有所提高，已在 Meta 内部 UGC 场景上线。
Quark 团队针对搜索场景下生成式序列模型存在的 query 切换语义断裂问题，提出 Query-Conditioned Generative Search (QGS)。把交互历史编码为 (query, item) 对 token，训练目标从有噪声的边际概率 P(item_{t+1}|context_{<=t}) 改为干净的条件概率 P(item_{t+1}|context_{<=t}, que...
Meta Ads 团队针对长历史建模面临的 attention 稀释、系统效率、灾难性遗忘问题，提出 Memento：把用户历史当作文档语料、ad 请求当 query，用 Maximal Marginal Relevance (MMR) 检索兼顾相似度和多样性。分两条线落地：Representation Memento 检索历史 embedding 做特征增强，Data Memento 检索历史训...
淘宝粗排长期被效果 (Target Attention) 与效率 (双塔点积) 的矛盾卡住。TARQ 借鉴生成式模型的 Residual Quantization 思想，把 TA 的能力近似进粗排：用残差量化把 target/history 表征离散化成 codebook 索引，离线缓存 TA 计算结果，线上只做轻量索引查表+残差校正，从而首次把 Target Attention 量级的建模能力放...
这篇方法学论文指出当前 SID-based 生成式推荐评测有系统性偏差：tokenizer 把 item 压成离散码序列时，语义相近但协同信号不同的 item 会被分到同一 SID 序列，造成『SID 命中』不等于『item 命中』。作者在 4 个数据集 + 5 个代表性 tokenizer 上测得 collision 命中的 item 占比高达 30.5%，意味着 top-K 指标实际衡量的是 ...
工业级推荐系统中粗排（pre-ranking）阶段长期受限于向量内积模型，无法承担精排常用的 Target Attention (TA) 这类高算力交互模块。TARQ 提出用 Residual Quantization（残差量化）把目标 item 的注意力计算近似为查表式离散化运算，将 TA 的建模能力首次引入粗排，重建了精度-延迟权衡曲线。淘宝大规模线下实验与线上 A/B 均验证 TARQ 在保...
Meta 提出 Memento：把广告推荐场景的超长用户历史当作“文档库”，把当前广告请求当作 query，用 Maximal Marginal Relevance (MMR) 检索出相关历史交互注入模型。两个互补应用：Representation Memento 检索历史 embedding 做特征增强，Data Memento 检索历史训练样本做多轮训练。通过时序分块、INT8 量化和异步 s...
生成式序列模型在推荐里已有成熟方案，但搜索是 query-driven 的——每次切换 query 都会引入剧烈话题跳变。现有方法把 query 与 item 拍平到单一 token 序列，无法区分 query 边界，导致监督信号被噪声污染。Quark 团队提出 QGS：把每次交互编码为 (query, item) 配对 token，用 query-conditioned next-item 目标...
在 Semantic-ID (SID) based 生成式推荐里，每个 item 表示为一串离散 code，自回归模型生成下一个 item 的 SID 序列，Top-K 性能通过“目标 item 的 SID 是否出现在生成序列中”衡量。这个评测协议默认 SID 与 item 一一对应，但本文发现：4 个数据集、5 种主流 tokenizer 上，平均 30.5% 的 item 与他人共享 SID，...
针对知识密集型场景中相关性判别需要背景知识、多步推理和决策校准的痛点，论文提出 RAG-Match 三阶段框架：第一阶段做知识增强预训练，将检索到的外部知识与 query 一同注入，强化以 query 为中心的语义 grounding；第二阶段做分层推理对齐，将相关性判别拆为「事实/语义/意图」三层逐步对齐；第三阶段在难分边界样本上做 preference-based 偏好校准，纠正模型在 4 档...
面向长程对话记忆这种「索引在线增长、query 类型 session 内漂移、单次检索预算 sub-10ms」的非经典 IR 负载，论文提出 AgentIR：在 BM25/Dense/RRF/agent-aware RRF 这四种 fusion 中按 query 自适应路由，并用一个 confidence-triggered cascade router 仅基于 BM25 top-k margin...
针对长程对话记忆这一动态、查询类型漂移、sub-10ms 延迟的检索负载，提出 AgentIR：把融合策略（BM25 / Dense / RRF / agent-aware RRF）作为每条 query 的决策，再用一个仅看 BM25 top-k margin 的置信度阈值级联路由器，决定是否还要跑约 52ms 的 dense 通道。LongMemEval (n=500) 上在 LLM-as-ju...
针对知识密集型搜索相关性场景——需要语义匹配 + 背景知识接地 + 多步推理 + 决策边界校准——提出 RAG-Match 三阶段框架：知识增强预训练（强化 query-centered 语义接地）、层次化推理对齐（结构化相关性推理）、偏好驱动的决策校准（修复难样本的边界不一致）。在真实搜索相关性数据上 NDCG/相关性准确率优于直接监督和浅层语义相似基线。
个性化分发常为 item 排序、carousel 排序、搜索分别训练模型，但这些任务来自同一用户旅程、信号互补。作者提出 “user story”：把用户跨场景历史（属性、会话、带场景与 carousel 上下文的观看事件、搜索事件）序列化为单一 token 序列，将预训练语言 token 与领域事件 token 交织，使异构推荐与搜索任务都表达为共享语法上的 prompted next-toke...
针对流媒体平台为 item 排序、carousel 排序、搜索分别训练独立模型的割裂现状，提出 user story 表示：把用户跨场景历史（属性、session、带 surface/carousel 上下文的观看事件、搜索事件）串成单一 token 序列，并把预训练语言 token 与领域事件 token 交错。TubiFM 基于 Llama 3.2 1B 在 user story 上训练，用 ...
推荐模型 dense scaling 的代表方案 RankMixer（统一 token 表示 + token mixing 与 per-token FFN 交替）存在 embedding collapse：表示有效秩偏低、表达力受限、扩展出的表示空间被浪费。论文经实证与理论分析指出刚性 token mixing 与 P-FFN 共同诱发跨层有效秩的「阻尼振荡」轨迹，提出 RankElastor：用...
FLUID 针对直播推荐的冷启动难题——直播间存续时间短，候选侧 item ID embedding 永远学不热。方法分两部分：用短视频+直播跨域多模态编码器生成离散分层语义码 LUCID；再用去 ID 的后融合排序结构，把 slice 级与 room 级语义码作为独立 token 输入，并在在线增量训练中分阶段 warmup。线上 A/B：优质观看时长 +0.55%、冷启动直播间曝光 +2.05...
GRASP 面向多跳问答，把复杂问题拆解成带依赖关系的子问题计划，并按问题复杂度动态扩展子 agent，每个子 agent 在「实体—命题(proposition)—段落」三层图上解析单跳查询，命题层通过 reciprocal-rank voting 召回段落。在 MuSiQue、2WikiMultihopQA 的 open retrieval 设定下取得最高准确率，token 消耗比 IRCoT...
针对 Transformer cross-encoder 重排序器推理成本高的问题，提出 Layer-wise Token Compression (LTC)，把自适应 token 池化放到中间层而非输入层。在 MS MARCO passage/document 排序上，中间层压缩在保持排序质量的同时把 QPS 最多提升 25%（passage）和 116%（document），并可直接扩展到 l...
论文研究 RLVR (可验证奖励强化学习) 训练过程中参数轨迹的几何结构，发现 RLVR 的权重增量轨迹极度低秩：大部分下游性能增益由参数 delta 的 rank-1 近似捕获，且该投影的幅度随训练步数近似线性增长。据此提出 RELEX，从一个很短的观测窗口估计 rank-1 子空间，再用线性回归外推未来 checkpoint，无需任何可学习模型。在 Qwen2.5-Math-1.5B、Qwen...
RAG 在外部证据 (CK) 与模型参数知识 (PK) 冲突或两者都不可靠时容易产生错误。作者基于五个冲突 QA 数据集，针对每个 LLM backbone 构造了约 69K 条 query-context 实例的 ground-truth-aligned 冲突基准，量化测得 PK-only 与 CK-conditioned 两条答案路径的可靠性。在此基础上提出 SABER：一个无需微调 LLM ...
序列推荐隐式反馈下的负采样长期被 self-guided hard negative 主导：模型用当前参数挑硬负，结果是采样和模型互相强化、被困局部最优。论文提出 MDCNS（Multi-source Divergence-Consensus），借鉴 Vygotsky 最近发展区理论搭建 Teacher-Peer-Self 三源打分框架：用辅助模型扩大采样空间、引入分歧度过滤、再用共识投票决定最终...
论文指出传统 IR 评估按「人工最终过滤」假设设计，覆盖率/Top-K 命中率在 LLM 直接消费检索结果时严重失真。作者提出 Bits-over-Random (BoR) 这一基于超几何基线的「机会校正」选择性度量：BoR = log2(P_obs / P_rand)，其中 P_rand 来自命中规则下的随机基线。在 20 Newsgroups 上，BM25 与 SPLADE 在 K=100 的...
CopT 把传统 think-then-answer 的 CoT 流程倒过来：先让模型直接产出 draft answer，再把这个草稿作为条件输入，让模型在 on-policy 阶段对其进行反思、纠错。为了判断 draft 是否可信，作者把连续 embedding 作为推理期 contrastive verifier — 对同一段 token，分别以离散 token 输入和连续 embedding...
大规模推荐系统把多目标 trade-off 编码成一个 utility 打分，用它对 ranker 的多个预测做加权融合，但权重通常靠人工全局调、对环境变化反应慢、难治理。论文提出 PRL-PUTS：一个生产可用、与 ranker 解耦的强化学习框架，把 utility 权重调优建模成单步 value-based RL——给定请求上下文，agent 输出一组 utility 权重向量重加权 ran...
短视频推荐中观看时长回归的标签高度长尾，残差误差在不同时长区间系统性偏移：模型整体看似 calibrated，实际同时高估短播放、低估长播放，因正负误差在聚合时相互抵消。已有方法多在第一阶段时长预测器上改进，残差分布偏差仍未充分纠正。DADF 不替换已部署预测器，而是在其之上做第二阶段乘性残差校正，由三部分组成：动态分布感知变换稳定长尾校正目标、debias-factor-aware 模块用推理期...
搜索增强推理 agent 在内部推理与外部检索调用之间交替，整条 rollout 只有一个轨迹级 outcome reward，单次 search query 拿不到 step 级信用。已有 process-supervision 方法要么依赖更大的 teacher 模型，要么依赖外部系统标注的子问题。SD-Search 让同一个模型扮演两个只在 conditioning 上不同的角色：stude...
针对超长用户行为序列下 CTR 预估的两阶段框架 (GSU 检索 top-k 行为 + ESU 注意力建模) 的两个痛点——以目标 item 为中心的 GSU 会漏掉其它潜在兴趣、且基于 pairwise 相似度的匹配检索随行为增长而耗时，论文提出生成式长期兴趣模型 GenLI。GenLI 由兴趣生成模块 IGM、行为检索模块 BRM、兴趣融合模块 IFM 组成：IGM 生成多个目标无关的兴趣分布...
搜索与推荐的预测模型常因部分输入特征带来分数波动而出现「时间维度不稳定」，在多阶段系统中会因上下游分数不一致而损害可靠性与体验。论文提出通用框架 Fortress，通过定位并裁剪导致分数随时间不一致的特征来提升模型稳定性与精度，遵循四步流程：(1) 采集历史快照、按时间切分数据集以捕获同一实体跨周期的分数波动；(2) 识别预测不稳定的样本；(3) 隔离并移除引发不稳定的特征；(4) 仅用稳定特征重...
针对 deep research agent 并行 rollout 重复采集证据、聚合上下文撑爆模型窗口的问题，提出 Argus：Searcher 以 ReAct 方式为子查询收集证据轨迹，Navigator 维护共享证据图（evidence graph），校验缺失片段、调度 Searcher 补全，并在完整图上推理生成可溯源答案。Navigator 用强化学习训练 verify/dispatch...
针对生成式检索在大规模电商搜索中难以落地的问题，论文把它定位为召回阶段的增量通道，不替换原有多级检索。CQ-SID 结合类目感知与 query-item 对比学习，叠加 Residual Quantized VAE，压缩 beam search 复杂度；EG-GRPO 用稀疏奖励让生成式检索对齐下游排序目标。离线语义点击 hitrate 相对提升最高 26.76%、个性化点击 hitrate 提升...
针对电商搜索相关性建模，提出 Multi-Perspective CoT（MPCoT）让 LLM 从多个视角生成推理链，配合 SFT+DPO 训练教师模型；再用 Latent Reasoning Knowledge Distillation（LRKD）把推理能力蒸馏进一个推理抽取器，推理在隐空间完成、不在推理时展开显式 CoT，以此压低线上延迟。已在日活数千万的电商搜索广告平台离线与在线 A/B ...
针对纯关键词检索可靠但召回受限、而前沿 LLM 直接生成检索结果昂贵且幻觉率高（实测幻觉率 37.79%）的矛盾，提出 PaSaMaster：把文献检索拆成「意图分析 → 检索 → 排序」的可迭代闭环，并坚持用排序而非生成来产出结果以杜绝来源幻觉，同时把规划与检索分离以控成本。在覆盖 38 个学科的 PaSaMaster Benchmark 上，F1 较传统关键词检索提升 15.6 倍，较 GPT...
本文提出 EcoGEO，将传统针对单页面的 Generative Engine Optimization 扩展到 web-enabled LLM 搜索 Agent 的多步浏览轨迹场景。作者设计 TRACE 框架，在给定推荐 query 与目标产品后，构建受控的 Evidence 生态系统，通过协同布置多个互链页面、调整证据出现位置与关联结构，影响 Agent 在多步 retrieve→follow...
本文针对商业搜索中“内容时效性与用户意图不一致”的问题，提出一种基于 RAG 增强的 LLM 动态内容过期预测框架，已部署在百度搜索线上。系统从文档中抽取细粒度时间上下文，并通过 LLM 推断 query 相关的“有效期边界”（validity horizon），即在该 query 意图下信息何时变得语义过期。框架引入了幻觉缓解策略以保证可靠性。离线评测与线上 A/B 实验均验证了显著的时效性收益...
针对基于 Semantic ID（SID）的生成式推荐模型在线推理延迟过高、beam-expanded autoregressive 解码代价昂贵的问题，提出 SID-MLP：一种以 MLP 为核心的轻量蒸馏框架。作者发现 SID 的层次结构使第一个 token 之后的预测难度急剧下降，重型 Transformer 解码器属于“结构性 over-kill”。SID-MLP 用一次性全局用户上下文编...
针对 SWE Agent 评测「只看最终补丁是否通过测试」的二值信号会把原则性求解与盲目试错视为等价的问题，论文系统分析了 2614 条 OpenHands 轨迹（覆盖 8 个模型后端、60 个 SWE-bench Verified 任务），发现在通过率达标的样本里有 10.7%属于 Lucky Pass：表现为回归循环、盲目重试、缺失验证或时序错乱。作者提出AgentLens，一个面向轨迹过程的...
传统电商广告生成依赖多个独立模型，CTR 信号只反映平均偏好，缺乏跨模态感知和个性化。本文提出 Uni-AdGen，用单一自回归框架统一生成广告图像和文本：通过 foreground perception 模块增强真实性，并设计 coarse-to-fine 偏好理解模块从用户多模态历史行为中抽取兴趣。实验表明，Uni-AdGen 在图像质量与点击转化上均显著优于独立训练的图像生成 + CTR 拼...
本文提出一套生产级长序列建模方案，将抖音推荐系统的用户历史序列扩展到 10k 长度同时维持线上延迟与成本预算。核心包含三项创新：Stacked Target-to-History Cross Attention (STCA) 用目标对历史的堆叠交叉注意力替代历史自注意力，将复杂度从二次降到线性；Request Level Batching (RLB) 在同一用户/请求内聚合多个目标共享 user ...
针对 LLM 时代用户搜索从关键词转向自然语言多约束查询的趋势，本文提出 LEAPS——在淘宝 AI 搜索现有架构两端附加 LLM 插件，采用 'Broaden-and-Refine' 范式。上游 Query Expander 通过逆向数据增强、后验知识 SFT、多样性感知 RL 三阶段训练，对原始 query 生成自适应互补的查询组合最大化候选集；下游 Relevance Verifier 综合...
本文系统性梳理生成式推荐（Generative Recommendation, GR）范式，提出 Data-Model-Task 三维统一框架：在 Data 维度讨论 ID 形式（atomic ID、semantic ID、LLM token、向量量化 token）的设计哲学；在 Model 维度区分 LLM 驱动、扩散驱动、自回归 Transformer（HSTU/TIGER/SIGMA 系列）...
针对生成式列表重排中自回归 (AR) 容易误差累积、非自回归 (NAR) 又弱化候选间交互的两难，提出 UniRank：一个统一的列表重排框架，将双向 slate 建模嵌入到迭代去噪过程，并通过推理时变体在 AR 与 NAR 之间灵活切换。训练采用 confidence-ordered denoising，从高置信槽位向低置信槽位逐步揭示并精修。在多个公开和工业数据集上 UniRank 相比 AR...
针对超长用户行为序列建模的'效率 vs. 效果'两难，UxSID 提出'语义组共享兴趣记忆'这第三条路径：用 Semantic IDs (SIDs) 把语义相近的 item 聚合，配合双层注意力 (item-to-SID + SID-to-target)，在不做 item-specific 检索的前提下捕捉 target-aware 偏好。端到端架构在大型广告 A/B 实验中取得 SOTA 效果并...
向量近邻搜索 (ANNS) 是搜索/推荐/广告链路的核心组件，但在 CCD 多核 CPU 上简单堆核数并不能线性扩展。论文基于真实在线流量分析发现访问局部性高但缓存利用率低，提出 CCD-Level 感知的线程编排和负载感知调度，将查询绑定到合适的 CCD 以提升 cache 命中。在生产环境部署中显著提升单机吞吐与延迟，可直接复用于 UGC 搜索的向量召回服务。
针对 Meta-Agent 缺乏可形式化、可回放的执行底座的问题，Shepherd 提出一种函数式编程模型，将 Meta-Agent 对目标 Agent 的操作抽象为函数，并用 Lean 形式化核心操作。系统以 Git 风格的类型化执行轨迹记录每次 Agent-环境交互，可以从任意历史状态 fork 并回放，进程与文件系统 fork 速度比 Docker 快 5 倍，回放时 prompt-cach...
论文构建覆盖 358 万篇科学论文的引用图，用 Leiden CPM 在子领域 (L1) 与研究议程 (L2) 两个粒度上划分社区，系统审计文本嵌入是否真正反映概念相关性。在 Gemini、Qwen3-8B、Qwen3-0.6B、SPECTER2 四个 SOTA 嵌入上，L1 层 top-10 同社区率 45–52% 尚可接受，但 L2 议程层骤降至 15–21%，意味着每 10 个检索结果中 8...
SilverTorch 是 Meta 提出的一站式 DLRM 在线服务系统：将原本分散在 CPU 上的 ANN 索引和属性过滤服务统一收编进模型层，由模型本身完成召回、过滤、打分。系统设计了基于 GPU 的 model-based Bloom Index 用于特征过滤，以及融合 Int8 ANN 内核用于近邻检索，并通过 OverArch 打分层和多任务召回支持 learned similarit...
PRISM 针对电商搜索中“用户偏好”与“商品相关性”信号在曝光、反馈循环和语义匹配作用下严重纠缠的问题，提出 Preference-Relevance Interaction Semantic Modeling 框架。核心是把偏好估计和相关性估计建模为相互交互而非独立：通过 preference rectification 模块在相关性感知条件下迭代修正用户偏好，再用语义对齐与去混淆约束抑制曝光...
本文针对 LLM 驱动对话式搜索系统中「对话起始问题（conversation starter）」推荐依赖 exposure-click 反馈循环导致回声室效应、难以覆盖多样化搜索意图的问题，提出 PA-Bridge 框架。核心思路是引入用户主动生成的查询作为额外监督信号，弥合「被动点击」与「主动表达」之间的分布鸿沟。方法包括两个关键模块：（1）对抗分布对齐器（adversarial distri...
UniVA 是腾讯视频号广告团队提出的生成式推荐框架，统一建模用户兴趣对齐与商业价值对齐两条目标。框架包含三个核心模块：把广告价值属性嵌入语义 ID 的 value-aware tokenizer；通过强化学习联合训练生成与排序的 decoder；以及面向在线服务的个性化 beam search。在腾讯视频号场景上，UniVA 离线 Hit Rate@100 提升 37.04%，线上 A/B 测试...
EKTM 针对 CVR 预估在多任务排序框架中的数据稀疏问题，提出有效跨任务知识迁移方法。引入 router 模块按任务相关性分发共享表示，并通过 transmitter 模块做任务特定的特征变换后再融入目标任务，避免硬共享带来的负迁移。在线上 A/B 测试中带来 3.93% 的 eCPM 提升，已在某商业广告平台的两个主流量场景部署。
论文提出 SIRA (SuperIntelligent Retrieval Agent)，把多轮探索式检索压缩为一次具有语料判别力的检索动作。系统在文档侧用 LLM 离线扩充补充检索词、在 query 侧用 LLM 预测被忽略的证据词，再用文档频率统计过滤无效扩展项，最终以一次加权 BM25 调用完成检索。在 BEIR 十个基准与下游 QA 任务上均超过密集检索器与多轮 agentic 基线，且无...
针对 Agentic RAG 多步推理-检索带来的高延迟问题，论文提出将推理与检索从离散语言空间整体迁移到连续 latent 空间：LLM 一次前向即可生成 latent token，并与 dense retriever 共享对齐表示，再通过并行 latent 解码模块还原成自然语言以保持可解释性。在 7 个开放域问答 benchmark 上，LatentRAG 在保持与显式 Agentic RA...
针对生成式推荐中 RQ 残差量化 tokenizer 的两个核心瓶颈——“硬最近邻路由”造成的语义崩塌和早期错误向后续 SID 位的传播，CapsID 将 RQ 的硬路由替换为基于胶囊网络的软路由：每一层物品按概率路由到多个语义胶囊，残差按加权重建更新，并在胶囊置信度收敛时提前终止生成变长 SID，从而避免“附加 dense 向量”这类双表示带来的推理膨胀。在多个公开数据集与变长 SID 基线上，...
针对淘宝信息流推荐中云端 LLM 推理成本高、用户意图变化快的痛点，提出 RecGPT-Mobile：把 Qwen3-0.6B-Quant 通过 LoRA 微调加 8-bit 量化部署到手机端，用本地行为数据动态生成下一步检索 query。训练数据按 60% 行为驱动 + 20% 共购 + 15% LLM 增广 + 5% 人工标注混合。在淘宝四个 feed 场景千万级 A/B 实验中，CTR 平均...
现有 LLM4Rec 多用 token 级目标，难以直接优化 NDCG、Fairness 等列表级不可微指标；推理时 Best-of-N 虽能优化但成本极高。BLADE 用贝叶斯框架动态融合历史先验与当前 rollout 证据：F̂(r)=(N_ref^<r + τ·N_batch^<r)/(M+τ·G)，最优 τ≈0.3。在 Amazon-CDs/Steam/Goodreads 上 NDCG@5...
生成式推荐的瓶颈在于 Semantic ID tokenizer：传统 RVQ 在每层用硬最近邻分配会在簇边界处丢失多语义并把早期错误传染到后续 token。CAPSID 用胶囊路由替代硬 RVQ：每层物品概率路由到多个语义胶囊，残差由路由重建更新而非单一 winning code，置信度足够时变长 SID 自然终止；并辅以 SemanticBPE 把高频 SID 子序列合并为可复用 subwor...
针对 RAG 中传统重排只看 query-document 相关性、忽视生成器实际「有用性」的问题，提出 CAR：一个无需训练、即插即用的重排框架。它把生成器在 query-only 与 query+document 两种条件下的多次采样答案做语义一致性比对，用置信度变化作为文档有用性信号——显著提升置信度的文档上调，降低置信度的下调，模糊样本保持原序，并通过 query 级门控避免在已确定查询上...
针对百万 token 级长文本理解任务，论文指出端到端 long-context LLM 存在 token 消耗过高、注意力稀释问题，而传统专用 LTU 智能体（如图构建、索引）又会因任务无关的抽象牺牲精度。作者提出 SCOUT，一种从被动处理转向主动信息觅食（active information foraging）的新范式：把文档视为可探索环境，由「状态级 gap 诊断」驱动，自适应地在粗粒度浏...
工业界训练前沿搜索 Agent 的「标准菜谱」是 PT→CPT→SFT→RL 的重资源管线。本文反其道而行之，证明只要用「高信息量+高难度」轨迹，纯 SFT 也能达到 SOTA。三个简单的数据合成改动是关键：扩大知识图谱以丰富探索、扩大工具集、严格过滤低步数轨迹。仅 10.6k 数据上训练 30B 规模 ReAct agent，BrowseComp 46.0%、BrowseComp-ZH 58.1...
论文提出 Workspace-Bench 评估 AI Agent 处理「真实工作空间 + 大规模文件依赖」任务的能力。基准覆盖 5 类员工画像、74 种文件类型、20,476 个文件 (最大 20GB)、388 条精选任务和 7,399 条评测 rubric，并提供 100 任务 Lite 版以降低 70% 评估成本。在 4 种 Agent 框架 × 7 个基础模型上测试，最佳 Agent 完成率...
针对常规 RAG 直接把检索文本喂给 LLM 上下文导致信息整合不充分的问题，论文提出 Verbal-R3 框架：用「Verbal Annotations」明确写出查询与候选文档之间的逻辑关系，再用 Generator+Verbal Reranker 双角色迭代检索-推理。Reranker 不仅给出分数还输出语言化解释，引导 Generator 的推理；推理过程加入 relevance-guide...
针对序列推荐中用户行为时域噪声大、难以捕捉周期性兴趣的问题，提出 FEDIN 在频域引入 target-aware 的谱滤波分支增强 DIN。核心观察是：当用 target item 条件化用户注意力分数时，正样本对应的频谱熵显著低于负样本，说明真实兴趣呈低熵周期模式而噪声呈高熵分布。FEDIN 用频域分支隔离与目标商品共振的周期信号，再与时域 DIN 融合用于 CTR 预估。
针对推荐系统作者/供给侧曝光公平问题，提出 PFA：在冻结的主推荐模型外挂一个轻量「公平 adapter」，用 user-item embedding 学习个性化的加性分数偏置注入到原始排序分中，无需重训主模型即可适配多种公平目标。训练目标是最小化实际曝光分布与目标公平曝光分布的 KL 散度，并通过层级化曝光对齐避免打散头部高质内容。
在固定生成模型 (GPT-4o-mini)、固定向量库 (ChromaDB) 与固定 embedding (text-embedding-3-small) 的前提下，作者系统对比五种检索策略：稠密向量、BM25+稠密混合、Cross-Encoder 重排、Multi-Query 扩展、MMR 多样化。基线在 BioASQ 派生的 250 条 QA (rag-mini-bioasq) 上评估，使用 ...
本文针对多轮 agentic RL 训练崩溃问题，提出 Token- and Turn-level Policy Optimization（T²PO）。作者将训练不稳定归因于多轮场景中的低信息探索：策略反复生成既不降低不确定性也不推进任务的 token 与 turn。T²PO 在 token 级监控边际不确定性变化，一旦低于阈值就触发思考干预，强制重写探索方向；在 turn 级识别探索停滞的交互并...
工业大规模排序系统依赖数千个跨多时间窗口的用户行为特征，特征效率上线常需重训模型，导致 3–6 个月迭代周期与可观 GPU 消耗。本文提出 IEFF（Intelligent Elastic Feature Fading）这一生产级基础设施，能在 serving 端弹性控制特征覆盖与分布，配合周期性重训完成增量适配，无须显式触发重训。系统内置严格安全护栏、可逆机制与全链路监控以保障稳定性，实测在多条...
在 LLM-based 推荐里，DPO 通常借助多负样本目标函数从隐式反馈中放大偏好边界。但作者发现一个反直觉的“偏好优化坍塌”现象：训练损失持续下降，但增加负样本反而带来性能退化。理论分析显示，易判别的简单负样本会主导梯度，把真正定义偏好边界的“边界负样本”信号压制住。基于此，论文提出 DynamicPO，通过动态加权机制识别并放大 boundary-critical 负样本的梯度贡献，是一个轻...
美团外卖团队基于 HSTU 架构提出 MTGR (Meituan Generative Recommendation)，针对外卖排序场景的混合式生成推荐架构。保留交叉特征等全部传统信息进行建模，采用统一的 HSTU 同时编码用户行为序列与上下文。通过 Fused Cutlass-based HSTU kernel 优化，单算子性能相较 Triton 版本提升 2-3 倍。线上离线 CTCVR GA...
InvariRank 解决 LLM 列表式重排对候选项顺序敏感的问题：相同候选集换序后排名差异显著。方法用结构化注意力掩码屏蔽候选间的 cross-attention，并通过共享旋转位置编码 (RoPE) 把每个候选都视作出现在同一位置，从而抵消位置带来的打分偏差。一次前向即可对全部候选打分，速度等同传统方案，但排序结果在任意顺序下保持稳定。论文已被 SIGIR 2026 接收，代码开源。
Snapchat 在端到端短视频平台上线全球范围 LLM 增强的话题趋势检测系统。流水线由三阶段组成：多模态主题抽取（视频/文本/标签融合）、时间序列爆点检测（基于历史基线的 burst score）、LLM 二次整合与丰富（去重、命名、扩充元数据）。线上六个月人评显示有效，下游接入内容排序与搜索后，内容时效性和用户互动指标均有可量化提升。
LUCid 是首个挑战「语义相似 = 相关」假设的终生个性化基准，包含约 2000 条 query 配多 session 历史。结果显示当相关上下文来自话题不同的历史 session 时，主流检索模型 recall 在最难子集近乎为 0；即使 Gemini、GPT 这类强模型也只能维持约 50% 响应一致性。揭示语义匹配范式无法解决「跨 session 跨话题」的真实个性化需求。
针对 LLM listwise 排序计算开销过大的问题，本文提出 RRK，将每篇文档先通过 RAG 中常用的文档压缩技术编码成多 token 的固定长度 embedding，再用蒸馏方式训练 listwise reranker。8B 参数的 RRK 相比 0.6B-4B 的小型 reranker 仍可提速 3-18 倍且质量持平甚至更优；在长文档基准上优势进一步放大。
面向 LLM-as-feature-extractor 范式：作者提出 ProMax，将 LLM 生成的用户/物品 profile 作为辅助信号注入推荐主模型，但摒弃常用的非线性对齐与融合策略，转而从「检索视角」重新审视 profile，引入双向 distribution shaping 机制——用 dense retrieval 暴露 profile 之间的协同关系，再让 profile 分布反...
为「DNN 在 CTR/特征交互模型里到底起什么作用」这一长期争论提供新解释：作者通过对 parallel-DNN（如 DCN-V2）和 stacked-DNN（如 DeepFM）做整体与组件级消融，结合梯度理论分析，证明 DNN 的真正贡献并非隐式学高阶交叉，而是缓解 embedding 表征的「维度坍缩」（dimensional collapse），从而提升表示鲁棒性。论文给出 DNN 不同分...
针对企业级文档 AI 流水线（解析→索引→检索→生成）缺乏端到端评测的痛点，论文构建 EnterpriseDocBench：横跨 5 个企业领域的公开许可文档语料，统一衡量解析保真度、索引效率、检索相关性与生成置信度。在同一 GPT-5 生成器下评测 BM25、稠密向量与混合检索三类管线。结果：混合检索 nDCG@5=0.92 微胜 BM25 (0.91)，二者均显著优于稠密 (0.83)；幻觉率...
针对 LLM 智能体在企业场景（如云技术支持）部署时技能与真实工单脱节、且失败后无法定位技能缺陷的问题，提出 SkillForge 自演化框架。它由「领域上下文化技能创建器」（基于知识库与历史工单生成初始技能）与「失败分析→技能诊断→技能优化」三阶段管线组成，能从批量执行失败中自动定位缺陷并改写技能。在 5 个真实云支持场景、1883 条工单、3737 个任务上验证：领域化创建器显著优于通用版本，...
本文针对电商搜索相关性中 LLM 在工业场景里持续遭遇的 corner case 问题，指出主要瓶颈不是推理路径而是知识边界——参数化记忆缺乏对小众 query/商品的领域知识。作者提出 K-CARE 框架，包含两个互补模块：Symmetrical Contextual Anchoring (SCA) 用对称双向锚点把外部知识填入 LLM 的认知盲区；以及 Analogical Prototype...
针对 DLRM 超长用户行为序列训练时存储与 I/O 成为瓶颈、超过 GPU 训练算力的问题，本文提出 Versioned Late Materialization 范式：将 UIH 在归一化、不可变层中只存一份，训练时通过轻量化的版本指针即时重建序列。系统通过双协议保证流式与批量训练下的 O2O 一致性，并设计读优化的索引层支持多模型共享数据。论文报告该方案显著降低数据冗余，使数据基础设施使用率...
传统 list-wise 重排把任务建模为「从输入列表里选择本地下标」，导致同一个 logits 神经元在不同样本上代表不同物品，模型难以建立稳定的内在物品表征。论文提出 GloRank：用离散 token 序列把每个候选 item 编码成全局标识，再把重排重写成 token 生成任务。这样打分机制与可变长输入解耦，模型在所有样本上学习的是同一套物品语义。在公开数据集上 GloRank 在多项指标...
针对神经检索器跨域泛化中的伪查询生成痛点，论文提出 UnIte：基于不确定性的迭代式文档采样方法。通过 (1) 过滤高随机性 (aleatoric) 的噪声文档；(2) 优先选择高认知不确定性 (epistemic) 的高学习价值文档来生成伪查询。在 BEIR 基准的小型与大型检索模型上，仅用平均 4k 训练样本就实现 +2.45 / +3.49 nDCG@10 的提升，显著优于以多样性为导向的现...
针对 rationale-based 检索需要对 query-document 联合编码导致计算成本过高的问题，提出 Rabtriever：先训练一个把 document 放在 query 之前、用 log p 生成相关性分数的 LLM 生成式重排器作为教师，再通过基于 JEPA（联合嵌入预测架构）的 on-policy 蒸馏，把教师能力压缩到独立编码 query 与 document 的双塔模型...
CTR 预估高度依赖用户历史行为序列，但实际系统中行为稀疏、序列残缺普遍存在。SUIN 在目标用户自身序列之外引入“相似用户”的行为作为补充：通过行为 embedding 检索 top-K 相似用户，将其行为子序列与目标用户序列联合输入兴趣网络，对稀疏冷启用户给出更完整的画像，公开数据集上 AUC 显著优于仅用自身序列的 DIN/SIM 等基线。
小红书提出 RedParrot：面向企业级 NL-to-DSL 业务分析场景的语义缓存框架。它观察到用户查询在结构上高度重复，提出离线构建归一化的 "query 骨架"（query skeleton），将新请求与缓存骨架做语义匹配后直接复用并改写对应的 DSL，绕开多阶段 LLM 流水线。论文呈现了离线骨架挖掘、在线骨架匹配与 DSL 适配三个核心组件，并展示其在小红书电商/广告分析任务上的延迟与...
针对动态数据分析 Agent 任务，作者发现通用 PRM 难以发现执行无异常但结果错误的「静默错误」，且会错误惩罚必要的探索性步骤。论文提出 DataPRM——一个具备环境交互能力的生成式过程奖励模型：作为主动验证器自主执行代码探查中间状态以揭露静默错误，并采用「反思感知三元奖励」区分可纠正的执行失败与真正的逻辑错误。在多个数据分析基准上 DataPRM 显著提升 Agent 执行成功率，且作为 ...
论文提出 Utility-Aligned Embeddings (UAE)，把稠密检索的目标从语义相似度转换为分布匹配——让 bi-encoder 通过 Utility-Modulated InfoNCE 直接拟合 LLM 视角下的 “效用分布”（基于困惑度下降衡量哪些 passage 真正帮助生成）。在 QASPER benchmark 上 Recall@1 较 BGE-Base 提升 30.5...
针对 LLM 语义嵌入与协同过滤表示的融合范式，论文质疑了主流的“全局对齐”假设——即两者编码同一隐变量、对齐越强效果越好。作者将其形式化为“全局低复杂度对齐假设”并证明该假设过强，常与真实推荐场景结构错配。论文提出一种“共享+私有”的隐结构视角，把语义视图与协同视图视为部分共享但本质异构、各自携带视图特定因子，并据此设计了不强制全局几何对齐的融合方案。在多个公开数据集上验证后，该方法在保留视图特...
论文从理论视角分析了用 RL 优化 LLM 推荐器时为何 beam-search 负样本比随机负样本好。作者证明：(i) 在二元奖励下，使用 GRPO 优化 LLM 推荐器在理论上等价于最大化 ROC-AUC，但与 Top-K 推荐目标错配；(ii) 把随机负样本替换为 beam-search 负样本会把目标重塑为 Partial AUC，与 Top-K 指标对齐更好。基于这一洞察，论文提出 Wi...
论文聚焦 LLM 作为 IR 相关性评估员能否给出可解释的判断。作者基于 INEX Wikipedia 测试集，要求 LLM 不仅判断文档相关/不相关，还高亮文档内回答信息需求的相关段落，并与人工评估员标注的段落对比。实验比较了多种主流 LLM 在文档级判断与段落级标注的一致性，发现即使 LLM 判断准确率与人工高度一致，其高亮的段落与人工标注的重叠度仍显著偏低，表明 LLM 评估的可解释性远不如...
针对长用户行为序列里『session hopping』（兴趣在 session 间突变、不连续）的问题，提出 Mixture of Sequence (MoS)：用 codebook+EMA 的主题感知路由保证语义一致的子序列被同一 expert 处理（Proposition 1），并以 Global/Item/Window 三类 expert 多尺度融合。Mamba4Rec / TransAct...
SPLADE 用 BERT 词表作为稀疏表征基底，存在多义/同义词膨胀的问题。作者用稀疏自编码器(SAE)从 LLM 隐层中提炼出"概念维度"，再以这些概念替换 SPLADE 的 vocab 投影头，得到 SAE-SPLADE。在 in-domain (MS MARCO) 与 out-of-domain (BEIR) 上检索效果与原版 SPLADE 持平，但 posting list 更短、推理更...
本文提出 IG-Search，一个基于步骤级信息增益（Information Gain）奖励的强化学习框架，用于训练搜索增强推理模型。核心思路是为每一步检索计算 IG 分数：度量当前检索结果相对于随机文档基线，对模型给出正确答案的置信度提升幅度，作为稠密奖励信号注入 GRPO 的 token 级 advantage。基于 Qwen2.5-3B，在 7 个 QA 基准上较轨迹级奖励基线提升 1.6 ...
针对 LLM 增强推荐模型中骨干模型优化困难的问题，本文首次从局部优化曲率角度建立理论分析框架，识别出 LLM 表征的大范数差异和语义-协作错位角度聚类两个关键瓶颈。提出 TF-LLMER 轻量级框架，包含物品嵌入归一化和 Rec-PCA（推荐感知降维）方法，将协作结构注入表征变换。实验表明 TF-LLMER 在多个数据集上显著优于现有 SOTA 方法，训练损失更低收敛更快。
提出 PURPLE 框架，将 LLM 个性化中的用户画像构建建模为上下文多臂老虎机问题。核心发现是语义相关性并非检索用户历史记录时的可靠效用代理——相似的记录未必有助于生成质量。PURPLE 使用 Plackett-Luce 排序模型捕捉记录间依赖关系，通过参考回复似然度作为反馈直接对齐检索与生成质量。在 9 个个性化任务上，PURPLE 在效果和效率上均优于启发式及检索增强基线方法。
针对向量搜索中传统 recall 指标的缺陷——惩罚未检索到语义无关的近邻——提出 Semantic Recall 新指标，仅计算语义相关的近邻召回率。同时提出 Tolerant Recall 作为实用近似指标。在 embedding 数据集上实证表明，优化 Semantic Recall 可获得更优的检索成本-质量权衡。论文被 SIGIR 2026 接收。
针对 Transformer 类 CTR 模型通过堆叠参数扩展带来的计算和存储瓶颈，提出 LoopCTR 循环缩放范式。核心思路是通过共享模型层的递归复用来增加训练时计算量，从而将计算量与参数量增长解耦。LoopCTR 采用三明治架构，配合超连接残差 (Hyper-Connected Residuals) 和 MoE，在每个循环深度进行过程监督 (Process Supervision)，实现「训...
针对双塔模型在大规模候选召回中表达能力受限、嵌入空间对齐不足和特征交叉缺失的问题，提出 Capability Synergy (CS3) 在线框架。CS3 包含三个机制：(1) Cycle-Adaptive Structure 通过自适应特征去噪在每个塔内进行自修正；(2) Cross-Tower Synchronization 通过轻量级双塔互感知提升嵌入对齐；(3) Cascade-Model...
针对指令遵循检索（IF-IR）场景中检索器只关注语义相关性、忽略用户显式约束（如属性要求、排除条件）的问题，提出基于极性反转的双视角数据合成策略。核心思路是对同一文档对生成互补指令使其相关性标签互换，迫使检索器通过指令视角重新评估候选文档而非依赖固定的主题信号。305M 参数编码器在 FollowIR 基准上取得 45% 的性能提升，超越同等或更大规模的通用嵌入模型。
Shopify 将购买旅程建模为因果序列，采用自回归模型预测用户下一个交互商品。核心创新包括：(1) 基于 RoPE 旋转编码的 Time-Aware Attention，将时间戳直接编入注意力机制捕捉季节性和时效性；(2) 结合 shared negatives 和 positive-aware sampling 的高级负采样策略；(3) 基于 boosting 思想的 incremental ...
针对 UGC 平台 RAG 系��中相关性评估的两大挑战——用户意图模糊和非对称相关性（相关性由局部答案片段驱动而非全局相似度），提出 R3A 框架。方法将相关性评估分解为意图推理和证据锚定两个阶段：利用高点击文档作为辅助信号推断潜在查询意图，再提取原文证据片段锚定相关性判断，降低噪声敏感性。蒸馏后的 R3A-1.5B 模型在大规模线上 A/B 测试中取得显著提升，兼顾了效果和部署效率。
本文揭示了推荐系统 Scaling Law 中一个关键盲区：虽然 MetaFormer 架构在增加深度和维度后性能提升，但 token 表征的有效秩（effective rank）并未随参数增长而线性扩展，甚至在深层出现退化。作者提出 RankUp 架构，通过随机排列分裂稀疏特征、多嵌入范式、全局 token 集成、交叉预训练嵌入 token 和任务特定 token 解耦等五大机制缓解表征坍塌。R...
本文发现一个反直觉现象：LLM 中间层表征在推荐任务上优于最终层输出，说明 LLM 的深层语义压缩可能丢失了推荐所需的特征多样性。基于此洞察，作者提出 MARC（Modular Representation Compression），显式引入压缩和任务适配模块，利用信息约束解耦不同任务的表征需求。MARC 已被 SIGIR 2026 接收，在大规模商业搜索广告场景的在线 A/B 测试中取得 2.8...
本文首次严格证明了生成式推荐（GR）中 k-token 自回归下一 token 预测（AR-NTP）范式与全物品词表最大似然估计（FV-MLE）在数学上严格等价，前提是物品与其对应 token 序列之间存在双射映射。该等价性同时适用于级联式和并行式 tokenization 方案。这一理论结果为当前工业界普遍采用的「tokenization + NTP 训练 + 自回归解码」GR pipeline...
MEDA 提出首个通用可靠的深度 CTR 模型多轮训练策略。工业界 CTR 模型普遍面临多轮训练过拟合问题（样本重复暴露导致 embedding 层过拟合），现有方案需针对特定模型调参。MEDA 通过特征级数据增强和自适应正则化，在不同 CTR 模型架构（DeepFM、DCN、DIN 等）上均能稳定提升多轮训练效果，AUC 提升 0.3-0.8%。
提出 Sample-Level Token 范式，突破工业推荐模型的两大瓶颈：样本信息扩展（通过更深更长行为序列丰富训练信号）和模型容量扩展（在单一 Transformer 骨干中统一序列建模与特征交互）。将每个训练样本的全部信息（用户特征、上下文、行为序列）统一编码为 token 序列，使 Transformer 自然处理跨模态交互。
针对生成式推荐中 Semantic ID (SID) 粒度过高导致的训练开销激增和性能波动问题，本文提出 STAMP 框架。作者首先识别出"语义稀释效应"——高粒度 SID 序列中冗余 token 浪费大量计算资源并稀释稀疏学习信号。STAMP 采用双端优化策略：输入端通过语义裁剪 (Semantic Trimming) 压缩 SID 序列长度，输出端通过辅助多步预测 (Auxiliary Mul...
现有 Semantic ID 推荐方法大多沿用语义中心流水线——从基础模型学习嵌入再用通用量化离散化，但这种设计与生成式推荐目标存在错位：语义嵌入与协同预测弱耦合，通用量化在减少序列不确定性方面效率低下。本文提出 ReSID，包含两个核心组件：(1) Field-Aware Masked Auto-Encoding (FAMAE)，从结构化特征学习预测充分的物品表示；(2) Globally Al...
针对大规模推荐系统中生成式检索的扩展性难题，提出 GenRec 框架，包含三项核心创新：Page-wise NTP 任务将监督粒度从单个 item 提升到整页交互序列，非对称线性 Token Merger 将输入长度压缩约 2 倍，GRPO-SR 强化学习方法结合策略优化与奖励机制进行排序优化。已在京东 App 全量部署，线上 A/B 测试点击量提升 9.5%，成交量提升 8.7%。
提出 DMF（Decoupled Multimodal Fusion）方法，增强 ID 协同表征与多模态表征之间的细粒度交互。核心设计包括 target-aware 特征桥接不同嵌入空间的语义鸿沟，以及解耦注意力机制降低计算开销。在 Lazada 电商平台实际部署，CTCVR 提升 5.30%，GMV 提升 7.43%。已被 ICDE 2026 录用。
该论文提出 Search-R3（Reasoning-Reinforced Representation for Search）框架，首次将大语言模型的链式推理（CoT）能力与搜索 embedding 生成统一在同一模型中。通过三个关键机制实现：(1) 监督学习阶段建立高质量 embedding 生成能力；(2) 强化学习方法同时优化推理过程和 embedding 质量；(3) 专用 RL 环境避免...
该论文提出迭代重排序（Iterative Reranking）作为 LLM 排序模型的推理时计算扩展策略。核心思路是利用 LLM 的非确定性，通过反复应用 listwise 排序器来逐步优化排序结果——每次迭代可以修正前一次的排序误差。在 TREC DL19、FutureQueryEval 和 Amazon 电商难查询三个数据集上，使用三种开源 LLM 评估，迭代重排一致性地提升了 nDCG@40...
理想汽车发布的多智能体深度研究框架技术报告。系统采用三智能体协作架构：Planning Agent 负责任务分解与规划、DeepSearch Agent 负责多轮搜索与信息抽取、Report Agent 负责生成结构化研究报告。训练流程分四阶段：SFT 冷启动、Search-RL（优化搜索策略）、Report-RL（优化报告生成）和偏好对齐。模型规模约 30B，在 BrowseComp-ZH 上达...
生成式信息检索 (GenIR) 将检索过程建模为文本到文本的生成任务，但现有方法主要优化语义相关性而忽略了文档可信度。本文提出 AuthGR（Authority-aware Generative Retriever），首次在 GenIR 中引入权威性维度。方法包含三个关键组件：(1) 利用视觉-语言模型从文本和视觉线索量化权威性分数的多模态权威性评分；(2) 三阶段渐进式训练流程逐步注入权威性意识...
针对广告转化率（CVR）预测中 Deep Hierarchical Ensemble Network (DHEN) 的工程实践问题，本文提出了以 DHEN 为统一 backbone 的多任务学习框架，同时预测多种 CVR 任务。核心贡献包括：(1) 系统研究了 MLP、DCN、Transformer 等特征交叉模块在 DHEN 中的最优组合策略；(2) 构建了站内实时行为序列和站外转化事件序列作为...
推荐系统长期存在两个独立范式：多域特征交互模型（建模类别特征相关性）和序列模型（捕捉用户行为动态）。本文揭示了朴素统一两者会导致“序列坍塌传播（SCP）”——非序列域的维度不匹配导致序列特征的维度坍塌。为此提出 TokenFormer，通过统一的 token 化表示和专门的注意力机制，在单一架构中有效融合多域特征交互与序列建模，避免 SCP 问题。在腾讯广告平台的实验中验证了该方法的有效性。
该论文针对生成式推荐（GR）中语义 ID 解码与判别式模型之间的表达力差距问题，提出 Chain-of-Attribute（CoA）机制。通过在 SID 序列前插入结构化属性 token（类目、卖家、品牌），恢复了判别式方法的 user-item 特征交叉能力。论文从贝叶斯定理角度严格证明了该等价性，并设计了容量约束 SID 和条件解码上下文（CDC）。在线 A/B 测试取得 HR@50 提升 2...
该论文针对电商平台 CTR 预估中用户行为序列建模问题，提出了"情境"(situation) 的概念，将行为类型、时间、地点等交互上下文信息整合到用户行为表征中。DSAIN 模型通过重参数化技巧降低原始行为序列噪声，利用特征嵌入参数化和三方向关联融合学习情境特征嵌入，并通过异质情境聚合获得最终行为序列表示。在美团外卖平台的在线 A/B 测试中，CTR 提升 2.70%，CPM 提升 2.62%，G...
Meta 提出的 SOLARIS 框架借鉴 LLM 推测解码的思想，解决推荐系统基础模型推理延迟过高无法在线服务的难题。核心思路是预测未来可能出现的 user-item 交互对，提前异步计算基础模型的 embedding 表征，将高成本推理与延迟敏感的在线服务路径解耦。该系统已部署在 Meta 广告推荐平台，覆盖每日数十亿请求，带来约 0.67% 的收入指标提升。
生成式列表重排序虽能利用全局上下文提升检索效果，但存在严重的位置偏差问题。本文提出 CapCal 框架，通过内容无关的占位符估计偏差分布，再利用熵自适应对比机制修正输出 logit，实现无需训练的位置偏差消除。该方法在 10 个基准上的实验表明，在保持单次推理效率的前提下，显著优于其他免训练方法，对轻量级模型提升尤为明显。
针对短视频搜索排序中哈希 ID（HID）模型在长尾 item 上泛化能力差的问题，提出 SID-Coord 框架，将可训练的离散语义 ID（SID）直接嵌入 ID-based 排序模型。SID 通过残差量化从多模态内容中学习，配合 SID-HID 协调损失实现语义泛化与行为记忆的平衡。该方法在大规模短视频搜索系统中部署，离线指标和线上 A/B 测试均有显著提升。
电商用户在 App 内的跨场景行为形成「全域动线」（moveline），该文提出 All-domain Moveline Evolution Network，将用户从搜索→推荐→详情页→购物车的场景级行为链路建模为动线演化序列。核心方法包括场景感知的行为聚合和动线演化注意力机制，在公开数据集和工业数据集上 CTR 预测 AUC 提升 0.3%–0.5%。
该论文解决了工业搜索系统中检索模型训练信号不一致的问题。现有系统通常使用用户行为信号（如点击）来训练 bi-encoder 检索器，但行为信号是语义相关性的不完美代理——用户可能因流行度、促销或价格等非相关因素而点击商品。Walmart 提出联合语义相关性与行为参与度的统一监督框架，在保持低延迟在线服务的同时显著提升检索质量。线上实验表明该方法在 Walmart 搜索广告系统中带来了明显的收入和相...
WeWrite 提出了个性化需求感知的查询改写框架，解决视频搜索中用户意图理解的三个关键问题：何时改写（When to Write）、如何改写（How to Write）、以及如何利用历史行为（Write with History）。通过自动化后验挖掘策略从用户日志中提取高质量样本，识别需要改写的场景，并基于用户历史行为生成个性化的查询改写。该方法在视频搜索场景中有效缓解了隐式历史特征的信号稀释和...
针对工业推荐系统中用户历史序列建模的信息瓶颈问题，提出 Instance-As-Token (IAT) 两阶段压缩框架。第一阶段将每次交互的全部特征（约6000维）压缩为64维统一实例嵌入，支持时序和用户两种压缩模式；第二阶段通过标准序列建模学习长程偏好模式。在字节跳动的电商广告、商场营销、直播电商等多个真实场景部署，AUC 提升 +0.31%，广告主分数在线 A/B 提升 +1.557%，GMV...
针对推荐系统多任务融合中'一刀切'权重无法适配异质用户群体的问题，提出 GRADE 个性化多任务融合框架。通过组相对强化学习将用户分组并为各组学习个性化融合策略，结合自适应 Dirichlet 探索平衡探索与利用。在快手应用内搜索场景全量上线，日活用户数亿级，A/B 实验取得 CTR +0.595%、CVR +1.193%、OPM +1.788%、订单量 +1.568% 的显著提升。
针对自回归生成式推荐模型的顺序依赖和局部最优问题，提出首个基于扩散模型的生成式推荐框架 DiffGRM。核心创新在于用掩码离散扩散模型替代自回归解码器，实现对语义 ID 的双向上下文建模和任意顺序并行生成。设计了三个关键模块：并行语义编码（PSE）解耦 token 并平衡信息分布、策略一致性噪声（OCN）聚焦高不确定性 token 的训练、置信度引导并行去噪（CPD）优先填充高置信度位置。在多个公...
针对传统 DLRM 在用户行为序列建模上的不足，提出 GRAB——一种受 LLM 启发的 sequence-first CTR 预估范式。核心创新是 Causal Action-aware Multi-channel Attention (CamA) 机制，能同时捕捉时序动态和用户行为中的特定动作信号。在百度全量线上部署后，收入提升 3.05%、CTR 提升 3.49%，且推理成本与原有 DLRM...
发现工业 CTR 模型中大部分学到的连接权重趋向于零、仅少数权重显著，揭示了稠密架构与稀疏推荐数据之间的结构性失配。提出 SSR (Explicit Sparsity for Scalable Recommendation)，采用 filter-then-fuse 机制：Static Random Filter 实现高效结构稀疏，Iterative Competitive Sparse (ICS)...
本文系统研究了推荐系统中训练数据量与离线推荐性能之间的关系。作者使用 LensKit 和 RecBole 两大工具包，在 11 个超过 700 万交互的公开数据集上评估了 10 种算法组合，训练数据量从 10 万扩展到 1 亿交互。实验结果表明 NDCG@10 随数据量增加持续提升，未观察到明显的饱和点——最大样本量下约 75% 的实验点同时达到了组内最优性能。这一发现对推荐系统的数据投资决策具有...
Walmart 提出 CASE，一种面向大规模零售场景的复购推荐模型。CASE 的核心创新在于将商品级别的复购节奏（cadence）学习与跨商品交互解耦：用日历时间信号表示每个商品的购买历史，通过共享多尺度时间卷积捕捉周期性复购节奏，再用 induced set attention 以亚二次复杂度建模跨商品依赖。在三个公开基准和 Walmart 千万级用户生产数据上，CASE 的 Top-5 Pr...
本文研究了 Qwen3-Embedding 模型在对话式短查询检索场景下的鲁棒性问题。在不使用 query prompting 的情况下，结构化对话噪声会侵入 top-k 结果，导致语义无关内容排名异常升高。该漏洞在 Qwen3 中比早期版本和其他稠密检索模型（如 BGE、E5）更为显著，且在标准 clean-query 基准测试中不可见。研究发现，轻量级的 query prompting 策略可...
本文提出 Next-Scale Generative Reranking (NSGR)，一种基于树结构的生成式重排方法，解决多阶段推荐系统中重排环节的组合空间复杂度问题。该方法通过多尺度生成策略同时建模局部与全局排列视角，并引入树状生成架构实现从粗粒度到细粒度的渐进式列表生成。在美团搜索推荐场景中部署验证，相比传统生成式重排方法在核心业务指标上取得显著提升。
针对序列推荐模型在推理阶段难以适应用户实时偏好变化的问题，本文提出 Retrieve-then-Adapt (RTA) 框架，通过检索增强的测试时自适应策略实现动态适配。与传统 test-time training 和 test-time augmentation 方法不同，RTA 避免了高计算开销和随机增强的局限性，通过检索相似用户行为模式来引导模型在推理时的自适应调整。实验表明该方法在多个序列...
该论文提出 DyKnow-RAG 框架，解决大语言模型在电商搜索相关性判断中如何动态利用外部检索知识的问题。基于 Group Relative Policy Optimization (GRPO) 的强化学习方法，设计了双组 rollout 策略（纯参数组 vs. 带外部上下文组）和后验驱动的组间优势缩放机制，让 LLM 学会在一次推理中同时评估相关性和上下文可信度。方法解决了生产环境中外部上下文...
本文系统介绍了 Snapchat 在推荐系统中部署 Semantic IDs (SIDs) 的工业实践。SID 是一种有序编码列表，通过残差量化等分词器从语义表征中提取，相比传统原子 ID 具有更小的基数和更好的语义聚类特性。论文涵盖了 SID 在排序模型辅助特征和新检索源等多个场景中的应用，分享了 tokenizer 设计、层级编码结构、冷启动处理等关键工程决策。
Meta 提出 Foundation-Expert 范式，解决超大规模推荐基础模型的部署挑战。核心架构为：一个在跨平台、多模态用户终身数据上训练的中央基础模型，通过 target-aware embedding 将知识迁移到轻量级、平台专属的"专家"模型。该系统已在 Meta 生产环境部署，每日服务数百亿用户请求，在线指标相比单阶段系统有显著提升，是首个在此规模成功部署 Foundation-Ex...
针对工业级生成式推荐在多业务场景下面临的「跷跷板效应」（NTP 无法捕捉跨业务行为模式）和「表征混淆」（统一 SID 空间混淆不同业务语义）两大关键问题，提出 MBGR 框架。核心设计包括：(1) 业务感知语义 ID (BID) 模块通过领域感知 tokenization 保持语义完整性；(2) 多业务 token 预测框架捕捉跨业务行为依赖。该工作是首个面向多业务场景设计的生成式推荐框架，已在美...
系统性研究利用 LLM 生成的用户偏好数据对 contextual bandits 进行 warm-start 的效果与边界。实验发现：在偏好对齐的场景中，warm-start 在数据损坏率达 30% 时仍有效，40% 时优势消失，50% 以上时反而损害性能。当 LLM 偏好与真实用户存在系统性偏差时，即使无噪声注入，LLM 先验也会导致比冷启动更高的 regret。理论分析将随机噪声和系统性偏差...
Meta 公开了其广告排序系统 Wukong Turbo 的核心架构升级：将排序模型扩展至 LLM 级别（万亿参数）的同时，通过推理效率优化使计算成本从线性降为亚线性。核心创新包括：从逐对 user-ad 打分转为 request 级别批处理（一次计算 user 信号复用给所有候选广告）、选择性 FP8 量化实现 35% 模型 FLOPs 利用率、多 GPU 卡分片支撑万亿级 embedding ...
本文首次系统探索了扩散语言模型（dLLMs）在文档重排序中的应用，提出 DiffuRank 框架，实现了三种重排序策略：(1) pointwise 方法利用 dLLMs 估计 query-document 对的相关性分数；(2) 基于 logit 的 listwise 方法联合评估多文档相关性并直接从模型 logit 导出排序列表；(3) 基于排列的 listwise 方法。实验表明 dLLMs ...
Meta 发布 KernelEvolve，一个自主生成和优化底层硬件 kernel 的 AI agent，专门针对排序模型（如广告推荐模型 Andromeda）的推理和训练加速。该系统将 kernel 优化视为结构化搜索问题，结合 LLM 代码合成器、树搜索引擎、硬件文档知识库和强化学习，在 NVIDIA GPU 上实现推理吞吐量提升 60%，在 Meta 自研 MTIA 芯片上实现���练吞吐量...
该论文解决生成式推荐模型中强化学习微调的两大核心难题：低概率高回报分支被过早剪枝（探索不足）和共享高概率前缀的轨迹回报高度相关（优势压缩）。提出 V-STAR 框架，包含价值引导高效解码（Value-Guided Efficient Decoding）识别高价值搜索路径，以及 Sibling-GRPO 利用树结构改善学习信号。在离线和在线数据集上验证了该方法在延迟约束下实现更好的推荐准确性和多样性...
本文提出 UniMixer，一种统一的推荐系统 scaling 架构。当前推荐模型的三大主流 scaling 架构（attention-based、TokenMixer-based、factorization-machine-based）在设计哲学和结构上存在根本差异。UniMixer 将基于规则的 TokenMixer 转换为等价的参数化结构，构建广义参数化特征混合模块，使 token 混合模式...
本文研究推荐系统中的流行度偏差问题，提出 Popularity Quantile Calibration 度量框架来量化用户历史流行度偏好与推荐结果之间的不对齐程度。基于此提出 SPREE，一种面向序列推荐模型的推理时激活引导方法——在表示空间中识别流行度方向，并根据每位用户的个人流行度偏好自适应地调节模型激活，实现个性化的流行度校准。
该论文提出 FGR-ColBERT，在 ColBERT 检索模型中集成从 LLM 蒸馏的细粒度相关性信号，使检索阶段即可识别文档中的具体相关片段，无需额外 LLM 后处理。在 MS MARCO 上取得 64.5 的 token 级 F1（超过 Gemma 2 27B 的 62.8），模型仅 110M 参数（比 Gemma 2 小约 245 倍），检索有效性保持在 99% 相对 Recall@50，...
本文研究跨域知识蒸馏（KD）在推荐系统中的应用，将 YouTube 大规模视频推荐平台（100倍数据量）的排序知识迁移至 YouTube Music 音乐推荐场景。核心挑战在于源域与目标域的特征空间、用户界面和预测任务存在显著差异。作者提出零样本跨域 KD 方法，无需目标域数据即可从教师模型提取知识，评估了多种 KD 技术（包括 logit 蒸馏、特征蒸馏等）在多任务排序模型上的效果，并提供了线上...
针对 LLM 购物代理中用户历史记录过长、噪声大、与当前查询相关性低等问题，提出 MemRerank 偏好记忆框架。该方法将用户购买历史蒸馏为简洁的、与查询无关的偏好信号，用于个性化商品重排序。构建了基于 LLM 的 1-in-5 选择任务的端到端评测框架，并使用强化学习（RL）训练记忆提取器，以下游重排序性能作为反馈信号。实验表明，MemRerank 在两个 LLM 重排序器上均优于无记忆、原始...
针对推荐排序中离线指标与线上效果系统性偏差的问题，提出 Sortify——首个全自主 LLM 驱动的排序优化 Agent。核心思路是将排序优化重新定义为「影响力交换」问题，通过基于 Savage 主观期望效用理论的双通道框架（Belief 通道校正离线-线上迁移偏差 + Penalty 通道调整约束惩罚），以及 7 张关系表构成的记忆数据库实现跨轮学习。线上部署结果：A 国 GMV 从 -3.6%...
将 LLM 的生成式预训练范式拓展到用户行为建模领域，提出 PANTHER 混合生成-判别框架。核心方法是对用户行为序列中的多维属性（时间、上下文、交易类型）进行结构化 token 化，结合序列模式识别模块捕捉周期性交易模式，并构建统一的用户画像 embedding（融合人口统计信息与交易历史）。在微信支付场景部署：下一笔交易预测 HitRate@1 提升 25.6%，欺诈检测 Recall 提升...
ByteDance 发布 Seed1.8 基础模型，目标是通用的真实世界代理能力：从单轮预测扩展到多轮交互、工具使用和多步执行。该模型保持了强大的 LLM 和视觉语言性能，同时支持统一的 agentic 接口——搜索、代码生成与执行、GUI 交互。部署层面提供延迟和成本感知推理，包括可配置的思考模式和优化的视觉编码。在标准 benchmark 和应用对齐工作流上进行了涵盖基础能力、多模态理解和 a...
该论文提出 MMM4Rec 框架，将 Mamba 状态空间模型引入多模态序列推荐，解决了现有 Transformer 方案在迁移学习中收敛慢和负迁移的问题。核心创新是结合 State Space Duality (SSD) 的时间衰减特性设计了 Cross-SSD 模块，实现跨模态时序融合。通过约束两阶段过程（序列级跨模态对齐 + 时序融合），在 5 个公开数据集上相比 Transformer 基...
该论文提出 MemoryCD，首个基于真实用户行为（Amazon Review 数据集）的大规模跨域用户记忆基准。不同于依赖脚本化人设的合成数据，MemoryCD 追踪用户跨越多年、多领域的真实交互，构建了包含 14 个 LLM 基座模型和 6 种记忆方法基线的评估管线，覆盖 12 个领域的 4 种个性化任务。实验揭示现有记忆方法在用户满意度方面远未达标，尤其在跨域个性化场景下表现差距显著。
针对 Transformer 中标准全注意力计算量随序列长度二次增长的瓶颈，提出 Switch Attention (SwiAttn)，一种动态细粒度混合注意力机制。核心思路是在每个 token 和每一层，通过轻量路由器动态决定使用全注意力（全局信息聚合）还是滑动窗口注意力（高效局部处理），替代传统的静态交替模式。该方法实现了 token 级别的注意力类型分配，既保留全注意力的全局感知能力，又获得...
针对注意力机制在长序列推荐中二次复杂度导致的效率瓶颈，提出 HyenaRec 模型，将 Hyena 算子引入序列推荐领域。核心技术是利用 Legendre 正交多项式参数化卷积核，结合门控卷积实现线性复杂度的长程时序依赖建模。实验在多个公开数据集上超越 SASRec、BERT4Rec 等注意力基线，训练速度提升最高达 6 倍，在长序列场景下优势尤为显著。论文已被 WWW 2026 录用。
R1-Searcher 提出了一种两阶段强化学习方法，训练 LLM 在推理过程中自主调用外部搜索引擎。第一阶段通过 SFT 初始化模型的搜索调用格式，第二阶段通过 RL（基于结果奖励）训练模型学习何时搜索、搜索什么。该方法无需过程奖励或知识蒸馏，在多跳 QA 任务上显著超越传统 RAG 方法，甚至优于闭源的 GPT-4o-mini。模型自然涌现出反思和自纠错能力。
OneSearch-V2 是阿里巴巴在工业级生成式搜索框架 OneSearch 基础上的重大升级。论文针对生成式检索（GR）在复杂 query 理解不足、长尾稀疏性和信息茧房等问题，提出了思维增强模块（thought-augmented modules）、推理内化自蒸馏训练策略以及行为偏好对齐优化三大核心改进。在线 A/B 实验显示 CTR 提升 3.98%、转化率提升 3.05%、订单量提升 2...
该论文针对工业搜索、广告和推荐系统的 Scaling Law 研究，指出单纯扩大模型参数存在边际收益递减问题，并且复杂异构数据分布会导致性能下降。作者提出 UniScale 框架，通过数据与模型架构的协同设计实现整体空间的联合扩展（Entire Space Data and Model Scaling），在数据侧通过分布感知的采样策略优化训练数据组合，在模型侧通过结构化的容量分配提升参数效率。实验...
论文聚焦推荐系统中的点击后转化率 (CVR) 估计问题，指出现有整体空间多任务模型（如 ESMM）存在两个核心缺陷：内在估计偏差 (IEB) 和外在信息偏差 (EIB)。IEB 来源于行为序列分解中的条件概率估计偏差，EIB 来源于训练样本的选择偏差。作者提出基于反事实学习的整体空间建模方法，通过因果推断框架纠正这两类偏差，在多个数据集上的实验表明该方法能显著提升 CVR 预估的可靠性。
本文首次在生产级 PostgreSQL 兼容数据库中系统评估了 Filter-Agnostic 向量搜索 (FVS) 算法。研究发现，在企业级数据库系统中，常用假设（如距离计算主导开销）并不成立，最优算法取决于选择率和相关性等多维因素。论文系统比较了 post-filtering 和 inline-filtering 策略，揭示了与独立库评估截然不同的性能特征和算法权衡，为生产环境下的语义搜索和 ...
RAG 系统中的幻觉问题严重影响搜索结果的可靠性。本文提出 MARCH 框架，通过三个专业化 Agent（Solver、Proposer、Checker）的协作流水线，利用刻意的信息不对称来避免验证者的确认偏误。Checker 仅基于检索证据（而非原始生成）独立验证原子命题，并通过强化学习（GRPO）优化各 Agent 的协作策略。在多个 RAG 幻觉检测基准上，MARCH 显著优于现有 LLM-...
本文提出 MDGR（Masked Diffusion Generative Recommendation），摒弃传统自回归解码范式，采用 masked diffusion 进行生成式推荐。通过并行码本提供扩散基础结构、自适应掩码监督信号以及基于 warm-up 的两阶段并行解码策略，解决了自回归方法在全局特征依赖捕获、解码顺序假设和推理效率方面的限制。在公开数据集上相比十个基线模型提升达 10.7...
该论文针对 LLM 在个性化搜索任务中的微调难题，揭示了「知识-行为鸿沟」(Knowledge-Action Gap) 现象：直接用判别式目标微调 LLM 会导致语义坍缩 (Semantic Collapse)，注意力出现 sink 现象，模型泛化能力严重退化。为此提出 KARMA 框架，通过知识正则化和行为对齐的双重约束，在保持 LLM 预训练语义知识的同时有效学习个性化搜索行为。该方法已部署于...
本文提出首个面向搜索排序模型研发的 AI Co-Scientist 框架，自动化完成从创意生成、代码实现到 GPU 训练调度的完整研究流水线。系统采用单 LLM agent 处理日常任务，多 LLM 共识 agent（GPT 5.2、Gemini Pro 3、Claude Opus 4.5）协同处理结果分析与创意生成等高难度阶段。该框架成功发现了一种处理序列特征的新技术，所有模型改进均由 AI 自...
本文针对生成式推荐系统（如 TIGER）仅关注语义检索、忽略商业变现的问题，提出 GEM-Rec 统一框架。该框架引入控制 token 将「是否展示广告」与「展示哪个商品」解耦，并设计 Bid-Aware Decoding 机制在推理阶段注入实时出价信号，引导生成偏向高价值商品。实验表明 GEM-Rec 在保持推荐质量的同时显著提升广告收入。
针对电商社区笔记推荐中 LLM 生成能力未被充分利用的问题，提出 TagLLM 框架，通过用户兴趣手册和多模态 Chain-of-Thought 提取生成细粒度标签，并用知识蒸馏技术提升推理效率。线上 A/B 测试显示，人均浏览时长提升 0.31%，人均互动次数提升 0.96%，冷启动场景下页面浏览点击率提升 32.37%。
针对多场景推荐中模型参数成本高且场景多样性建模困难的问题，提出基于互信息的可分解参数生成网络 MI-DPG。核心思路是将加权矩阵分解为场景共享和场景特有的低秩矩阵组合，并通过互信息正则化增强跨场景参数多样性。在三个真实数据集上显著优于已有多场景推荐方法，论文发表于 CIKM 2023。
该论文针对短视频搜索场景中多任务融合排序问题，提出 SaFRO 框架。现有方法主要优化即时参与度指标（如点击率），难以与长期用户满意度对齐。SaFRO 首先构建基于 query 级行为代理的满意度感知奖励模型，捕捉超越单次交互的整体用户满意度；然后引入 Dual-Relative Policy Optimization (DRPO)，一种高效的策略学习方法，通过双重相对性约束优化融合策略。该方法有...
AIGQ 是淘宝首页「猜你想搜」（HintQ）场景的首个端到端生成式 query 推荐框架。传统方法依赖 ID 匹配和共点击启发式，面临语义浅层、冷启动差、偶然发现率低等问题。AIGQ 提出三大创新：Interest-Aware List SFT (IL-SFT) 通过 session 感知行为聚合和兴趣引导重排序构建训练样本；Interest-aware List GRPO (IL-GRPO) ...
针对稠密检索系统大规模部署中的维度压缩问题，提出 Spectral Tempering 方法。现有 PCA 压缩保留主成分方差但浪费表示容量，而 MRL 在训练时增加开销。该方法通过频谱调温在后处理阶段重新分配方差到低阶分量，无需重训练即可实现更优的维度压缩效果，在 BEIR 等标准检索基准上优于 PCA 和 MRL 基线。
提出 R3-RAG，通过强化学习训练 LLM 进行逐步推理和检索。方法分两阶段：冷启动训练建立迭代推理-检索模式，然后通过 RL 优化。设计了双奖励机制——结果奖励（答案正确性）和过程奖励（文档相关性），在多跳 QA 任务上显著超过基线，且跨检索器迁移性强。
提出 TTQ（Test-Time Quantization），一种激活感知的测试时量化方法，无需重训练即可加速 LLM 推理。解决现有激活感知压缩方法依赖校准数据导致的领域偏移问题——在未见过的下游任务上精度下降。TTQ 在推理时动态适配量化参数，实现即时加速。
SORT 提出系统性优化的排序 Transformer，解决了 Transformer 在工业级排序模型中落地的关键瓶颈。通过 request-centric 样本组织、local attention、query pruning 和生成式预训练四大优化，实现了 22% 的 MFU 效率。在电商场景中取得订单量 +6.35%、买家数 +5.97%、GMV +5.47% 的显著提升，同时延迟降低 44...
HAP 提出异构感知自适应预排序方法，发现预排序阶段训练数据中存在梯度冲突问题——困难样本主导训练而简单样本未被充分利用。通过将候选分为不同优化路径，对简单候选使用轻量级模型、对困难候选部署更强模型，在不增加计算开销的情况下提升预排序效果。已在今日头条生产系统部署 9 个月，并发布了工业数据集。论文被 WWW'26 接收。
E2Rank 提出将文本 embedding 模型同时用于检索和 listwise 重排序的统一框架。通过在 embedding 模型上继续训练 listwise 排序目标，利用 query 与 document embedding 之间的余弦相似度作为统一打分函数，从候选文档构建增强 query。在 BEIR 和 BRIGHT 基准上取得了强劲表现，同时几乎不增加延迟开销，并提升了 MTEB e...
本文提出 Mind-ParaWorld (MPW) 评估框架，通过采样真实实体名称合成超出模型知识截止期的未来场景和问题，配合 ParaWorld Engine 生成基于预设事实的搜索结果，从而解决搜索 Agent 评估中的静态基准过时、归因模糊和商用搜索引擎不可复现等问题。发布的 MPW-Bench 包含 19 个领域共 1,608 个评估实例。实验发现搜索 Agent 擅长证据综合，但在陌生搜...
本文提出 STAR 框架，通过多智能体教师系统和蒸馏方法将复杂推理能力内化到单一高效模型中。核心创新是协同信号翻译机制（Collaborative Signal Translation），将用户行为模式转化为自然语言证据以增强推理准确性。实验结果表明，STAR 模型性能超越其教师系统 8.7%–39.5%，同时消除了迭代推理延迟，实现实时推荐场景的落地。
Spotify 提出 GLIDE，一个生产级语义 ID 生成式推荐系统，用于播客发现场景。系统将 LLM 的语义推理能力与用户级个性化结合，通过 Semantic ID 表示物品并实现目录锚定生成，解决了 LLM 推荐系统中的幻觉、延迟和个性化三大落地难题。GLIDE 已在 Spotify 全量上线，服务于大规模播客推荐场景。
Spotify 提出 NEO 框架，将预训练 decoder-only LLM 适配为无工具依赖的、目录锚定的统一搜索/推荐/推理生成器。NEO 使用 Semantic ID (SID) 表示物品，通过单一模型同时支持检索、推荐和推理三种行为，避免了工具编排的复杂性。系统能处理多类型实体和异构目录，在严格延迟约束下运行。
针对稠密检索模型的领域适配问题，提出 OPERA 数据剪枝框架。研究发现静态剪枝（仅保留高相似度 query-document 对）存在排序质量与召回覆盖的固有矛盾：NDCG 提升的同时 Recall 会因 query 多样性下降而退化。为此提出两阶段动态剪枝策略，在训练过程中自适应调整 query 和 document 两个层级的采样概率，在保持对全部训练数据访问的前提下优先利用高质量样本，同时...
本文提出 TRUST-SQL，针对真实企业场景中数据库包含数百张表、元数据噪声大的 Unknown Schema 问题。将 Text-to-SQL 建模为 POMDP，agent 通过四阶段协议（schema 探索、验证、SQL 生成、执行检查）主动发现和验证相关 schema 子集。提出 Dual-Track GRPO 策略，通过 token 级 masked advantages 将探索奖励与...
本文研究了生成式推荐模型 OneRec-V2 的量化推理问题。作者发现 OneRec-V2 的权重与激活值分布特征与 LLM 高度相似，而非传统推荐系统，因此可以直接复用 LLM 领域成熟的 FP8 训练后量化（PTQ）技术。在华为生产环境的线上 A/B 实验中，该方案实现了端到端推理延迟降低 49%，吞吐量提升 92%，且模型性能无损。这一结果表明 LLM 量化优化技术可以直接迁移到大规模生成式...
当前 Deep Research 工具（如 OpenAI DR）能自动综合论文回答查询，但缺乏对用户个人研究兴趣的理解，导致生成的报告内容与用户实际需求脱节。本文提出 MyScholarQA（MySQA），一个个性化 Deep Research 工具，通过三步流程解决此问题：(1) 从用户历史行为中推断个人研究兴趣画像；(2) 基于画像为每个查询提出个性化检索动作；(3) 生成聚焦于用户关注维度的...
本文系统研究了仅基于 prompt（无检索反馈）的单步 LLM query 改写对稠密检索效果的影响。在 BEIR 基准、多个稠密检索器和不同训练配置下进行了全面实验，发现改写效果具有强烈的领域依赖性：在 FiQA 数据集上 nDCG@10 下降 9.0%，在 TREC-COVID 上提升 5.1%。研究揭示了 query 改写在 RAG 生产流水线中的适用边界，提示「并非所有 query 都需要...
现代推荐系统通过聚合多种行为信号（如观看时长、循环播放率、评论概率）来排序候选内容，但这些信号存在异质性偏差——观看时长偏向长视频，循环播放率偏向短视频，评论概率偏向视频而非图片。MBD（模型驱动去偏）框架从用户、内容、模型三个维度系统性地建模和消除这些偏差，通过条件期望估计"内在信号"（independent of heterogeneous biases），使排序分更好地反映用户真实偏好。论文...
现有 LLM 搜索范式面临「盲目性-延迟困境」：query 改写不感知检索能力与实时库存，产生无效计划；而 deep search agent 依赖多轮工具调用，延迟达数秒，与工业亚秒级 SLA 不兼容。本文提出 Environment-Aware Search Planning (EASP) 框架，核心是 Probe-then-Plan 机制：用轻量级 Retrieval Probe 先探测检索...
APEX-Searcher 针对复杂多跳问题中单次检索不足的痛点，提出了一种基于 Agentic 规划与执行的搜索增强框架。该系统将搜索过程分解为规划（Planning）、执行（Execution）和验证（Verification）三阶段，允许 LLM 动态决定搜索策略和迭代轮次。在多个多跳问答基准测试（如 HotpotQA、2WikiMultiHopQA）上，APEX-Searcher 相比传统...
针对大语言模型在长序列中难以准确检索关键信息的问题，提出 MEAP（Mask-Enhanced Autoregressive Prediction）训练范式，将 Masked Language Modeling 无缝集成到 Next-Token Prediction 中。核心思路是在训练时随机遮蔽少量输入 token，然后直接进行标准的自回归预测，无需双向注意力或编码器-解码器架构，预训练和推理零...
针对传统 CTR 模型将用户行为序列聚合为单一向量后再与上下文特征交互导致行为信息丢失的问题，提出双视角建模框架：一方面通过细粒度核心行为视角精准捕捉用户与候选物品的关键交互信号，另一方面通过全局兴趣分布视角建模用户整体偏好的宏观分布特征。该方法在保持计算效率的同时，避免了朴素逐行为交互带来的噪声问题，有效提升了对用户实时兴趣变化的感知能力。
揭示了 CTR 预估中特征异构性（categorical vs numerical、稀疏 vs 稠密）被普遍忽视的问题：现有模型将所有特征同时输入交互层，导致低信息量特征注入噪声、掩盖高信息量特征信号，甚至引发模型坍缩。提出多粒度信息感知延迟交互框架（MGID），根据特征的信息密度分层引入交互，先让高信息量特征建立稳健表征，再逐步融入低信息量特征，从而学习更鲁棒的特征表征。
针对生成式推荐系统中 item-action token 交织导致序列长度翻倍的效率问题，提出 AttnLFA 和 AttnMVP 两种因果注意力架构，通过显式编码 item-to-action 的因果依赖关系，消除交织依赖并将序列复杂度降低约50%。在大规模商品推荐数据上，AttnMVP 相比交织基线 eval loss 降低0.80%，训练时间缩短12%，同时 Normalized Entro...
针对推荐系统中超长用户行为序列建模面临的 I/O 延迟高和注意力计算复杂度呈二次增长的问题，提出 LASER 框架。核心包含两大创新：(1) SeqVault——基于 DRAM-SSD 混合索引的统一 schema 感知服务基础设施，将检索延迟降低 50%、CPU 占用减少 75%；(2) 全局堆叠目标注意力 (GSTA) 模块，通过 sigmoid 过滤机制压缩长序列并捕获跨段依赖。在小红书超过...
针对多模态序列推荐中现有方法依赖启发式融合策略、无法捕捉用户-模态交互的动态性和上下文敏感性的问题，提出 CAMMSR。核心创新是类别引导的注意力混合专家 (CAMoE) 模块，从多视角学习专化的 item 表征并显式建模跨模态协同，通过辅助类别预测任务动态分配模态权重。同时引入模态交换对比学习增强跨模态表征对齐。在 4 个公开数据集上持续超越 SOTA 基线。被 ICDE 2026 录用。
本文构建了涵盖 22 个数据集（情感、主题、意图、情绪分类）的零样本文本分类基准，系统评测了 38 个模型，覆盖 NLI 交叉编码器、嵌入模型、重排序器和指令微调 LLM 四大类。核心发现：现代重排序器 Qwen3-Reranker-8B 以 macro F1=0.72 刷新 SOTA；嵌入模型 GTE-large-en-v1.5 提供最优速度-精度平衡；指令微调 LLM 虽竞争力强（F1 达 0...
提出 LACONIC 系列学习稀疏检索模型（1B/3B/8B），基于 Llama-3 架构，采用两阶段训练范式：弱监督预微调使因果语言模型适应双向上下文理解，随后使用精选难负例进行高信号微调。LACONIC-8B 在 MTEB Retrieval 15 个数据集上达到 60.2 nDCG@10，排名第 15 位，是该榜单上唯一的学习稀疏检索模型。
提出 Rank1——首个利用测试时计算（test-time compute）的重排序模型。通过从推理语言模型（如 Deepseek-R1）蒸馏推理链，构建了超过 60 万条基于 MS MARCO 的推理轨迹数据集。Rank1 在推理和指令跟随基准上取得 SOTA，具有强泛化性，量化版本在计算量减少的同时维持性能。发表于 CoLM 2025。
针对搜索 Agent 的强化学习训练提出 MR-Search 框架，核心创新在于跨 episode 的元学习：模型不仅在单次搜索中学习，还能利用历史搜索经验进行自我反思，动态调整搜索策略。采用多轮 RL 算法实现细粒度的 credit assignment，在 8 个基准上比标准 RL 方法提升 9.2%-19.3%。该方法直接解决了搜索 Agent 的核心挑战——如何从失败搜索中学习和改进。
针对 DeepSeek-R1、OpenAI-o1 等推理模型输出序列显著加长导致部署成本飙升的问题，提出 LongFlow KV 缓存压缩方法。核心创新是利用注意力计算中间结果推导出一个高效重要性估计指标，无需额外存储或计算开销即可在生成阶段实时压缩 KV 缓存。实验表明在 80% KV 缓存压缩率下可实现高达 11.8 倍吞吐量提升，同时保持模型精度不下降。
针对多模态模型（文本、图像、视频、音频任意组合）serving 场景，提出 Cornserve 分布式服务框架。核心思路是通过灵活的任务抽象实现组件解耦和独立弹性伸缩，用高效执行模型管理数据依赖关系。系统基于 Kubernetes 构建（约 23K 行 Python），实验表明相比现有方案可达 3.81 倍吞吐提升和 5.79 倍尾延迟降低。
针对工业推荐系统中多场景多任务学习的两大瓶颈——大规模参数未能充分与复杂特征模块交互、场景和任务信息难以在统一框架中联合建模——提出了 MDL 框架。核心思路借鉴 LLM 的 prompting 范式，将场景和任务信息转化为专用 token 而非辅助输入或门控信号。框架包含统一信息 token 化模块，以及特征 token 自注意力、领域-特征注意力和领域融合聚合三种机制。在抖音搜索平台上线 A/...
研究排序决策系统（推荐系统、广告竞价、医疗分诊队列）应在何时对排序输出进行干预、何时选择放弃干预（abstain）的问题。提出 Confidence Gate 定理，给出基于置信度的放弃机制单调改善决策质量的充要条件：rank-alignment（排序对齐）和 no inversion zones（无反转区）。区分了结构性不确定性（缺失数据，如冷启动）和上下文不确定性（缺失上下文，如时序漂移）。在...
针对电商搜索中 query-商品相关性预测任务，提出直接部署 LLM 的框架 TaoSR1，解决三个关键挑战：Chain-of-Thought (CoT) 推理中的错误累积、判别式幻觉（discriminative hallucination）和部署可行性。框架分三阶段：(1) 监督微调建立推理基础；(2) 基于强化学习的 CoT 错误纠正机制；(3) 工程优化实现在线部署。该模型已在淘宝搜索系统...
针对个性化 LLM 中记忆检索的两大问题——将所有历史记忆塞入 prompt 成本高且不可扩展、单次相似度检索只能捕捉表面匹配——提出基于认知科学双过程理论的自适应检索框架。借鉴人类记忆的双过程机制：Familiarity（快速但粗略的识别）和 Recollection（深层链式重建），实现对用户历史偏好和上下文的精确召回。系统能根据 query 复杂度自适应选择快速检索或深度重建路径。
针对 LLM 生成式推荐中推理退化（同质化推理和错误累积）的问题，提出 VRec 框架，首创 reason-verify-recommend 三段式范式，在推理过程中交叉插入验证环节以提供可靠反馈。核心设计包含混合验证器（mixture of verifiers）确保多维度验证，以及代理预测目标保障可靠性。在四个真实数据集上验证，VRec 在不牺牲效率的前提下显著提升推荐效果和可扩展性，代码已开源...
提出让 LLM Agent 直接利用自身 hidden states 进行检索，消除传统「生成查询文本 + 独立 embedding 模型」的双模型流水线。通过在 LLM 之上添加轻量投影头，结合对齐损失、对比学习和排序蒸馏三种训练目标，在 QReCC 对话搜索基准上保持了基线 97% 的检索质量（Recall@10 和 MRR@10），同时消除了独立 embedding 模型的基础设施开销。
提出推荐系统的 Deep Research 范式，用综合性的用户中心报告替代传统的物品列表推荐。具体实现了 RecPilot 多智能体框架，包含两个核心组件：用户轨迹模拟 Agent（自主探索物品空间）和自进化报告生成 Agent（将探索结果整合为可解释报告）。在公开数据集上的实验表明，RecPilot 在用户行为建模上表现优异，并能生成高说服力的报告，显著减少用户评估物品的认知负担。
该论文提出 Isotonic Layer，一种可微分的分段线性拟合框架，可直接嵌入神经网络架构中实现推荐系统的去偏与校准。通过将特征空间分段并优化非负斜率施加全局单调归纳偏置，将有偏观测映射回真实效用值。支持上下文特征（如展示位置、设备类型）的可学习嵌入，可对任意上下文组合进行针对性校准。在 LinkedIn 生产环境 A/B 测试中显著优于基线系统，被 KDD 2026 接收。
从二次神经网络 (QNN) 视角重新审视 CTR 预估中的 Hadamard Product 特征交互机制，揭示了 QNN 在扩展特征空间和提供平滑非线性近似方面的能力。通过理论分析和 25 种 QNN 神经元格式的实证评估，提出了 Multi-Head Khatri-Rao Product 替代 Hadamard Product，以及 Self-Ensemble Loss 增强计算效率。最终提出...
提出 MARIGOLD 框架，将多任务学习 (MTL) 中的模型训练与梯度平衡统一建模为双层优化问题，通过零阶方法高效求解。MGDA 类方法的核心瓶颈在于需要访问所有任务梯度带来的计算开销，MARIGOLD 利用双层优化结构避免了这一成本。在公开数据集和工业规模数据集上均验证了方法的效率优势和性能提升，显著加速了多任务梯度平衡过程。
提出 PSAD 框架，解决生成式重排序中生成质量与推理延迟的固有矛盾。教师模型采用半自回归生成器平衡质量与效率，通过在线知识蒸馏将排序知识传递给轻量评分网络实现实时推理。同时引入 User Profile Network (UPN) 注入用户意图并建模兴趣动态，增强用户-物品特征交互。在三个大规模公开数据集上显著优于现有最优基线，兼顾排序性能与推理效率。
Amazon 提出 T-REX，一种面向在线生鲜购物的 Transformer 序列推荐架构。针对生鲜场景的重复购买模式和复杂商品关系，设计了三项关键创新：稀疏购物模式的动态序列分割采样策略、自适应时间位置编码方案、以及降低维度同时保持推荐质量的品类级建模方法。与 BERT4Rec 等掩码语言模型相比，T-REX 的因果掩码更适合下一篮预测任务。在大规模离线实验和在线 A/B 测试中均获显著提升。
本文首次对稠密检索中的文档分块策略进行了大规模、跨领域的系统评测。研究覆盖 36 种分块方法（包括固定长度、语义、结构感知、层次化、自适应和 LLM 辅助等），在 6 个不同知识领域上使用 5 种 embedding 模型进行基准测试。结果表明内容感知分块（尤其是 Paragraph Group Chunking）显著优于简单固定长度分块，最佳策略的 nDCG@5 达到 0.459，Hit@5 达...
本文提出 Projection-Augmented Graph (PAG)，一种面向现代 AI 应用的近似最近邻搜索框架。作者总结了现代 AI 应用对 ANNS 的六大关键需求：高查询效率、快速索引构建、低内存占用、高维可扩展性、不同检索规模的鲁棒性、以及支持在线插入。PAG 通过在图索引中集成投影技术，利用精确距离和近似距离的非对称比较来减少不必要的精确距离计算。在 6 个现代数据集上的实验验证...
针对深度研究 Agent 在使用 RLVR（可验证奖励强化学习）训练时常出现的提前终止和工具使用偏差等探索行为不足问题，提出 SynPlanResearch-R1 框架。核心思路是通过合成包含丰富工具使用轨迹的计划（synthetic plans），引导 Agent 学习多样化的工具探索策略，并将这些轨迹用于初始化 RL 训练。实验表明，该方法显著提升了 Agent 的工具调用多样性和任务完成质量...
针对 LLM 深度研究 Agent 在长链信息检索任务中端到端延迟过高的问题，提出双进程动作推测（DualSpec）框架。受人类认知双进程理论启发，设计快速（System 1）和慢速（System 2）两种推测策略：快速策略处理常规动作模式，慢速策略应对需要深度推理的复杂动作。通过自适应选择推测策略并放宽严格动作匹配约束，实现推理与工具执行的有效重叠，显著降低了深度研究 Agent 的端到端响应时...
本文针对 Mixture-of-Experts (MoE) 模型训练中的系统挑战，提出了跨内存、通信和计算的集成优化方案。由于 MoE 模型的稀疏性使参数量远超每 token 计算量，优化任一维度会将压力转移到其他维度，因此需要全栈协同设计。框架支持 Parallel Folding 灵活多维并行、FP8/NVFP4 低精度训练和高效长上下文训练。在 NVIDIA GB300 和 GB200 上，...
针对 LLM 长上下文推理中注意力机制的二次复杂度和 KV 缓存内存瓶颈，提出 LycheeCluster 方法。该方法通过边界感知分块（boundary-aware chunking）保持局部语义完整性，并构建基于三角不等式的递归层次索引，将缓存检索从线性扫描降低到对数时间复杂度。lazy update 策略支持高效流式生成。实验表明，LycheeCluster 实现最高 3.6 倍端到端推理加...
将 listwise DPO 引入生成式检索，并在淘宝猜你喜欢场景实现大规模上线。
提出 MA-RAG 框架，通过多轮迭代同步优化外部证据检索和内部推理，实现 Agentic RAG 的 test-time scaling。
提出基于熵流而非 token 索引的自组织 LLM 推理架构，联合调度、注意力稀疏化和采样。
Meta 工程团队分享 jemalloc 内存分配器在超大规模 ML serving 中的优化实践。
OxygenREC 提出了一个指令驱动的统一生成式推荐框架，专为大规模电商场景设计。它整合了世界知识进行演绎式意图推理，并支持在单一骨干网络上进行多场景的可扩展服务。
OneRanker 提出在广告推荐系统中，将生成（召回）和排序在同一个模型中深度融合的架构。通过价值感知的多任务解耦架构（任务 token + 因果 mask），在共享表征空间内分离兴趣覆盖和价值优化目标，有效缓解生成与排序阶段的信息断裂问题。
APAO 解决生成式推荐中训练-推理不一致问题：训练用 token 级交叉熵，推理用 beam search 多步生成，导致正确物品因前缀 token 得分低而被过早剪枝。提出前缀级优化框架，自适应调整每个前缀位置的优化权重。
从 cross-encoder 中剥离非必要 token 交互，衍生出 MICE 轻量级 late-interaction 架构。
本文提出了在 Hopper GPU 上实现 MXFP4 精度训练大规模 MoE 模型的实用方案。通过直接 FP8-to-FP4 量化/反量化以及感知缩放的行列转换，在 FP8 计算核心的基础上将激活和专家并行通信压缩至 FP4，大幅降低显存和通信开销。
提出 Term IDs (TIDs) 作为结构化文本关键词型 item 标识符，配合 GRLM 框架实现 LLM 原生生成式推荐。
利用多模态大语言模型为新物品生成代理 ID 嵌入，解决广告和推荐中冷启动 CTR 预估问题。
提出 ProductResearch，面向电商场景的 Deep Research Agent。通过多 Agent 协同合成数据训练对话式商品调研 Agent，支持多轮对话、多源搜索、上下文推理。针对复杂购物场景的深度调研任务设计了完整的 Agent 训练与评估体系。
支付宝搜索部署 LLM 生成式检索系统 LLMGR，将小程序信息编码进大模型后直接生成候选标题进行检索。
LinkedIn 将 Feed 主排序模型从 DCNv2 升级为 Transformer 序列推荐模型 Feed-SR，实现工业级大规模部署。
SimGR 识别出 LLM 生成式推荐中 beam search 覆盖不完整和并行解码概率偏差两大缺陷，提出在共享隐空间直接建模 item 偏好分布并按相似度排序。
Meta 发布广告推荐基础大模型 GEM，采用 LLM 级别训练规模，实现 ranking 模型的 Foundation Model 化。
LinkedIn 提出 Decoder-Only Transformer 架构 CADET 用于广告 CTR 预估，引入上下文条件解码和自门控注意力机制。
Shopify 将买家旅程建模为序列，用自回归模型+因果掩码做下一商品预测，基于 HSTU 架构并引入 boosting 式训练策略实现大规模部署。
首次在生成式推荐中验证了 Test-Time Scaling Laws，提出 PRM 引导的 Beam Search 让小模型通过增加推理计算超越大模型。
提出 S-GRec 框架，将在线轻量生成器与离线 LLM 语义裁判解耦，用非对称优势策略优化防止语义信号偏离业务目标。
提出 Field-Aware Transformer (FAT)，将字段级交互先验嵌入注意力机制，首次建立 CTR 模型的形式化 Scaling Law。
在快手 OneRec 基础上引入 in-text reasoning 机制，实现对话、推理与个性化推荐的统一框架。
利用 item 类别特征压缩长用户交互序列，在保留兴趣信号的同时大幅降低生成式推荐的计算成本。
LinkedIn 构建了一套基于 LLM 的语义搜索框架，通过多教师蒸馏将大模型能力压缩到小模型，实现生产级语义排序。
支付宝搜索部署的 LLM 多智能体协作 query 改写框架，通过知识增强微调提升 LLM 对 query 和 item 语义的理解。
系统评估了经典文本排序方法在 Deep Research 场景下的表现，揭示了检索单元、pipeline 配置和 query 特性三个维度的关键发现。
利用LLM生成伪标签解决预排序阶段的训练-服务偏差问题，改善未曝光物品的评分泛化能力。
统一搜索相关性匹配与CTR预测的框架升级版，引入跨用户偏好挖掘、曝光偏差校正和LLM蒸馏优化。
提出分层稀疏激活压缩框架HiSAC，在推荐系统中高效建模超长用户行为序列。
Netflix将生成式推荐模型从百万参数扩展到十亿参数级别，验证了推荐系统的Scaling Law新规律。
提出层级稀疏激活压缩框架，高效建模推荐系统中超长用户行为序列，已在淘宝线上部署。
提出统一搜索相关性与CTR预估的框架V2版本，新增跨用户偏好挖掘、曝光偏差校正和LLM蒸馏编码器。
利用LLM生成伪标签解决预排序阶段的训练-服务偏差问题，改善长尾内容的预排序效果。
提出统一 Transformer 架构同时处理特征交互和用户行为序列建模。
验证推荐系统序列建模遵循类 LLM 的幂律缩放定律。
利用多模态 LLM 挖掘用户深层多兴趣用于生成式推荐。
Meta 发布业界最大推荐系统基础模型 GEM，采用 LLM 级别训练范式，在 Instagram/Facebook 广告转化上取得显著提升。