Heterogeneous Ranking in Industrial-Scale Recommender Systems: A Case Study
Google Discover 的统一信息流同时包含网页、长短视频和 UGC,单一共享表示容易让多数内容类型压制少数类型。HA-MoE 将异质性上下文同时注入多门控专家与专家表示,并用 LENS 追踪专家分工、用 DL-AUC 衡量全局效用和跨类型正确性。
查找解读请用站内搜索。
Google Discover 的统一信息流同时包含网页、长短视频和 UGC,单一共享表示容易让多数内容类型压制少数类型。HA-MoE 将异质性上下文同时注入多门控专家与专家表示,并用 LENS 追踪专家分工、用 DL-AUC 衡量全局效用和跨类型正确性。
DualGR 面向短视频推荐中的生成式召回,针对长短期兴趣互相干扰、层级 Semantic ID 解码噪声和曝光未点击信号缺失,设计长短期双分支路由、搜索式 SID 解码与曝光感知 NTP 损失。
把推荐里的 PDN(Path-based Deep Network)搬到搜索里挑改写词,会学出一条捷径:“手机壳”“女士连衣裙”这类高频泛词能连上大量内容,也确实带来点击,于是总被选中,用户写下的品牌、型号等限定却丢了。
NAVER 想让生成式检索在相关度差不多时偏向可信来源。做法是让视觉语言模型看网站截图和文字打 0 到 100 的权威分,再把这个分数当 GRPO 的奖励,训练一个直接生成网站域名的 3B 模型;上线时不替换原排序,只给生成的网站加分。
针对搜索 Agent 打开网页即把内容塞入上下文、离开页面后证据易丢失的问题,论文提出 Fetch-then-Explore:先将全文存入每题独立的持久工作区,再用 grep/read 按需抽取。
Flipkart 以 Qwen3-Embedding-4B 构建 256 维双塔,先在 700 万查询商品对上做带假负例掩码的对比学习,再用 200 万分级偏好样本进行 ROAR 对齐。
Meta 的工程博客讲推荐大模型 GEM 为什么不能照搬 LLM 训练栈:用户行为序列长短不一,补齐最多浪费 50% 算力,不补齐又让最重的卡每步多算约 15%。
针对多模态推荐依赖全库向量内积、交互表达有限及假负样本的问题,MMGRec 先用 Graph RQ-VAE 融合协同图与视听文特征,将物品量化为语义 token 加热度 token 的 Rec-ID,再由关系感知 Transformer 自回归生成候选。
稠密检索模型做领域微调时,按相似度删掉“差”的训练对会让排序涨、召回掉,因为删对之后 query 的抽样概率跟着变了,正样本少的 query 甚至整个消失。OPERA 不删数据,只在 query 和文档两级调采样概率,并随训练推进逐渐偏向高分样本。
快手搜索把“看完结果有没有马上改搜、隔多久再来搜、第二天还搜不搜”合成一个满意度奖励,训练奖励模型后用改造过的 GRPO 学每个请求的多目标融合权重。线上 10% 流量跑了两个月,改搜率降 0.319%,观看时长涨 0.611%,留存差距到第 60 天约 0.06%。
针对工业推荐把长期行为与实时服务事件粗暴拼成单一序列所带来的因果混淆和高成本,TransX 用编码器—解码器解耦两类数据,并以跨注意力完成动作转导。
论文指出本地社区推荐中的随机批内负样本常在地理上根本不可曝光,因而稀释用户表征学习;RCBS 将同区域用户组成批次,引入可触达的更难负样本。
快手的时长模型整体是准的,但按真实看了多久分组,短的被高估、长的被低估。做法是冻住原模型,再训一个小网络预测“真实时长是原预测的几倍”,截断在 0.1 到 10 倍后乘回去,下游接口不变。
快手把超长行为序列的用户表示改成按候选的 Semantic ID 分组共享:用候选的第一层 SID 当 query,对完整历史和 16 个压缩兴趣锚点各做一次 attention,按“用户 × SID”离线存好,线上只查一次表,延迟多 0.16 毫秒。
论文面向 Snapchat 短视频推荐,构建已上线的 LLM 生成式召回系统 SnapLGR:先用多模态表征与 PPR 共参与对比学习生成低碰撞 SID,再通过持续预训练完成新词表语义落地,并以 SFT 学习用户行为序列。
论文用共享用户上下文与通用解码器承载多目标召回,再为各目标配置隔离的 LoRA 专家,并以配额约束 Beam Search 控制候选互补性。
TWICE 将延迟转化拆为目标窗口 CVR 与分组延迟 CDF,用点击时钟的未成熟样本训练当前状态似然,用转化时钟更新延迟分布,并以固定 pCVR 质量校正历史流量混合。快手全流量实验中,预期收入、实际收入和转化分别提升 2.486%、1.858% 和 2.061%。
现代生成式重排以单物品为自回归单元,序列越长,推理开销与教师强制误差越重。PSG 将生成原子提升为有序物品对,使长度为 L 的列表只需生成 L/2 个 token,并用大规模曝光日志预训练物品对表示。
淘宝直播的粗排模型 SSRLive 给每个直播间两套 Semantic ID:静态 SID 来自主播近几天的历史内容,动态 SID 由直播间此刻的实时特征量化而来,随热度和内容变化。
快手的 Taiji 让一个 7B 模型读用户画像和最近 50 条行为,推理“下一单会买什么”,输出编码后给广告排序模型当特征,或用来找最相似的用户借行为序列。思维链先“知道答案再反推”、按困惑度筛掉一半,强化学习的两个奖励权重按区分度自动调。
生成式广告推荐里,生成概率最高的广告不一定最赚钱。这篇论文找出价值流失的三处:编号只按内容分、解码只看概率、搜索浪费在投不了的广告上。==编号最后一位改按商业条件和出价档位来分,解码时再加一个学出来的价值分==,并且只在当前请求能投的广告里搜。
生成式推荐逐位解码、每位都要跑一遍 Transformer 解码器,beam 一宽就慢。作者先数了 SID 每一位的合法分支数:第一位有 256 个选择,后面几位很快只剩一两个,说明难点只在开头。
生成式推荐把物品编成一串离散编号,常见的残差量化每层只认最近的一个码,跨类别的物品会丢信息。CapsID 让物品按权重分给几个候选码,==残差减去这几个码的加权重建,把握够高就提前停==,所以编号长短不一。
针对推荐早排中训练与服务使用不同物品表示的问题,论文把 KV cache 做成可联合训练的 Memory Layer,使物品塔训练时写入、线上直接读取。
NEXT 将视频推荐改写为 Item-to-Intent-to-Item:8B 视觉语言模型先理解刚看内容并推断下一意图,再生成查询检索具体视频。
针对生成式推荐只按序列概率做束搜索、导致高业务价值候选被过早剪枝的问题,RGD 将解码写成带 KL 约束的奖励最大化,并在每个 SID 层注入奖励模型。
针对持续训练的音乐排序模型把已消费内容反复推高、压制新发行与未听曲目的反馈回路,论文在 YouTube Music 首页比较服务、训练、架构和探索四层共 7 组干预。SNGP 不确定性加权服务使新发行 1 日/7 日互动提升 7.75%/3.30%,但艺人多样性下降 0.95%。
Mosaic 用记忆型、稠密特征型、序列型和 CoTrain 四类专家组成用户向量舰队,并以 MRM 与余弦冗余损失保证新增专家提供边际信息。
面向千万级商品库的动态广告召回,SMART 将规则查询与 BM25 用于再营销,将 LLM 查询与稠密 ANN 用于新兴趣探索,并用轻量质量门控只把约 10% 用户送入 LLM 路径。
多个推荐场景都想用上一个大模型,蒸馏和静态用户向量只能传过去一小部分收益。Meta 的做法是让中心大模型为每个候选物品实时算一个结合用户全部历史的向量,==各场景的小模型把它当输入特征,而不是当软标签去模仿==。