TransRetrieval: Scaling Up Transformer-Based Retrieval for Industrial Recommendation
召回阶段一直很难像排序那样靠加大模型变好,因为召回要在几千万广告里几十毫秒内选出几千个,每个被访问的候选都要过一遍模型,算力被候选数放大。
查找解读请用站内搜索。
召回阶段一直很难像排序那样靠加大模型变好,因为召回要在几千万广告里几十毫秒内选出几千个,每个被访问的候选都要过一遍模型,算力被候选数放大。
论文指出现有 LLM 推荐把一次交互压成文本、Semantic ID 或少量类别特征,会持续丢失用户、物品、上下文与结果信号。
论文指出,LLM 生成的扩展词让冻结稠密检索器退化,问题常不在生成文本本身,而在融合方式。AnchorQE 分别编码原查询与扩展,再依据小规模无标注测试流在线估计插值权重;只有当扩展既能带来强检索信号、又与原查询证据一致时才提高信任。
LLM listwise 重排把查询和几十篇候选一起塞进提示词、让模型输出排好序的编号,效果最好,但要逐个 token 生成,一个查询动辄几秒到十几秒;embedding 召回很快,排序精度却不够。
针对直播广告内容、商品和反馈快速变化导致静态推荐模型失效的问题,论文提出 TAGR,在广告 token、用户意图和偏好对齐三个层面做时间自适应。
论文把搜索与推荐放进共享双塔索引,要求新物品只凭内容或属性特征即可进入 ANN 召回。公开日志中 38.6% 的查询曝光涉及从未展示或访问的物品;用户冷启动时,99 个采样负例的 Recall@20 为 0.9595,暖启动为 0.9510,未见明显损失。
论文把代码检索从平面相似度排序改写为分层语义地址生成:先用 RQ-VAE 与 kNN 伪邻居学习四层 DocID,再用硬负例、排序蒸馏和前缀约束解码导航。
论文针对短视频观看时长分布的零膨胀、长尾和多峰特征,提出分层 Exponential-Gaussian Mixture(HEGM),用 skip-watch 分解、KL 方差正则和结构化初始化修复 EGMN 的方差塌缩、组件冗余与失活问题。
论文在十亿级支付宝用户行为数据上研究用户表示学习的扩展瓶颈:原始行为文本继续扩展时收益递减,而 token 化容量如何随数据规模增长缺乏定量规律。
Semantic ID 推荐通常直接比较生成的 SID 序列,但碰撞会让指标高估真实命中。
SORT 将工业推荐排序重构为请求中心的 Transformer:把用户历史、画像和候选集合拼成一条序列,用局部注意力、query pruning、QKNorm、门控注意力和稀疏 MoE 处理高稀疏特征,再以生成式预训练缓解标签稀疏。
DoorDash 用产品内容 embedding 学习三层 Semantic ID(每层 512 个码),再将 SID 前缀上的用户偏好、商品表现和序列特征接入个性化排序,同时把查询转成商品概念做层级改写。
生成式推荐常用多层残差量化 Semantic ID,解码步数多且静态码本难跟随新物品与曝光分布。论文以单层大语义码本加协同消歧 token 替代多层码,并用时间衰减、EMA 中心更新和曝光加权惩罚动态维护 ID。
针对商业搜索中行为信号丰富、文本相关性标注稀缺的问题,论文先比较不同 LLM 配置,选择专门微调的模型生成数百万条文本相关性判断,再与点击/下载标签共同训练多目标排序器。
主动式助手要决定什么时候开口,常见做法是让大模型每次反思一遍,又慢又不准。这篇论文换成一组可以手算的计数:按几点钟、活动进行到第几步、在做什么事,分别记下用户过去欢迎和拒绝打扰的次数。==用这些计数判断此刻值不值得开口==,每天再在线调一次权重和阈值。
CoRRe 针对 LLM 生成的用户兴趣过于宽泛、难以细粒度召回的问题,提出“后置协同增强”框架:先由 LLM 生成用户与物品表示,再用物品共购图修正向量方向、用流行度修正向量幅度,最后进行匹配排序。
LACONIC针对稠密检索的GPU与内存成本,提出基于Llama3的1B、3B、8B学习稀疏检索器。
OneModel 将社区推荐、广告和商家服务中的异构行为统一为事件序列,用行动导向骨干网络学习长上下文用户表示,并以场景感知信息调制平衡共享与专属能力。
GateDiffInt 将行为序列中的噪声—意图耦合显式化,利用可控前向扩散和双门控增强、去噪,再由大模型教师蒸馏长期、短期、潜在和转化四类结构化意图,轻量学生模型完成CVR预测。论文在公开与工业数据上均报告稳定收益,并在日活数亿的线上A/B测试中提升GMV、进入主流量部署。
主流 CTR 模型都是双流结构:一路用乘法显式构造特征交叉,一路用 MLP 隐式学习,两路输出直接相加。结构越复杂越难调,乘法那一路的输出还会随交叉阶数变大,相加时容易压过 MLP 那一路。
论文提出SIDScope,用于系统诊断生成式推荐中的Semantic ID接口。
生成式推荐把每件商品拆成几个 Semantic ID 码之后,用户历史一下子长了好几倍,训练又慢又占显存,而多出来的码里很多是重复的类目和品牌。
STAR面向工业推荐中的PCVR预估,统一处理稀疏特征、数值特征、多行为序列和候选商品条件下的兴趣。它在HyFormer式骨干上加入结构化token化、目标感知序列解码、用户–商品交互token与加权InfoNCE,并用配置重建保证训练/推理一致。
FLEXRec针对紧凑LLM在序列推荐中的表达能力不足,保留判别式全库打分的效率,在每个Transformer层放置exit,再由AC-Router按用户序列动态融合不同深度的分布。
论文把推荐单位从单个物品提升为完整 slate,提出端到端生成排序框架 OGR。TUSID 将物品语义信息与局部协同信号融合为层次化 Semantic ID,SPA 再用奖励引导的保守策略优化对齐列表效用,并通过位置级流水线解码建模物品间依赖。
论文将推荐内容过时拆成“被新内容替代”和“生命周期衰减”两类,并在 Google Discover 上部署 SDF。
排序模型通常把字段交叉和行为序列分成两个塔,到最后一层才拼在一起。UniDot 把用户、物品字段和多域行为序列都变成同一空间的 token,用两条并行通路一起处理,每层交换一次信息;同时把每层算出的点积原样拼起来,绕过融合层直接送进分类器。
论文指出 Semantic ID 逐 token 解码并不等价于 item-level 排序:若 token 接口信息不足,无法恢复精确排序;若信息充分,解码又退化为直接打分。
PriCoRec 面向敏感用户特征无法上云的广告推荐,将云端预排序与端上排序拆开:云端只处理可访问特征,端上融合年龄、性别和细粒度行为。
Retrieve-then-Adapt(ReAd)解决序列推荐模型上线后无法及时跟随用户兴趣漂移的问题。