DIN
Deep Interest Network for Click-Through Rate Prediction
按候选物品给历史行为做注意力加权。
这一站还没有本站深度解读,可以先读 arXiv 原文。
29 站,按论文首次公开的年月排列;点站点看要点,有深度解读的不用跳页就能读全文。
Deep Interest Network for Click-Through Rate Prediction
按候选物品给历史行为做注意力加权。
这一站还没有本站深度解读,可以先读 arXiv 原文。
Deep Interest Evolution Network for Click-Through Rate Prediction
用 GRU 建模兴趣随时间的变化。
这一站还没有本站深度解读,可以先读 arXiv 原文。
Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction
两阶段:先检索相关行为,再做精细注意力,序列做到上万条。
这一站还没有本站深度解读,可以先读 arXiv 原文。
Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)
把评分、序列推荐、写解释等任务都写成文字提示,交给同一个语言模型。
这一站还没有本站深度解读,可以先读 arXiv 原文。
TWIN: TWo-stage Interest Network for Lifelong User Behavior Modeling in CTR Prediction at Kuaishou
让检索阶段和精排阶段用同一种相关性度量。
这一站还没有本站深度解读,可以先读 arXiv 原文。
Recommender Systems with Generative Retrieval
给每个物品编一串语义编码(Semantic ID),推荐变成逐个生成这串编码,不再查向量索引。
这一站还没有本站深度解读,可以先读 arXiv 原文。
Scaling Law of Large Sequential Recommendation Models
较早系统测量序列推荐模型的规模定律。
这一站还没有本站深度解读,可以先读 arXiv 原文。
Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations
把召回和排序改写成对行为序列的生成式建模,第一次在推荐里看到清楚的规模效应。
这一站还没有本站深度解读,可以先读 arXiv 原文。
Wukong: Towards a Scaling Law for Large-Scale Recommendation
用堆叠的因子分解机做特征交互,跨两个数量级保持规模收益。
这一站还没有本站深度解读,可以先读 arXiv 原文。
TWIN V2: Scaling Ultra-Long User Behavior Sequence Modeling for Enhanced CTR Prediction at Kuaishou
用层次聚类压缩行为,序列做到用户整个生命周期。
这一站还没有本站深度解读,可以先读 arXiv 原文。
OneRec: Unifying Retrieve and Rank with Generative Recommender and Iterative Preference Alignment
用一个生成模型替换召回加排序的级联,并按用户偏好继续对齐。
这一站还没有本站深度解读,可以先读 arXiv 原文。
LONGER: Scaling Up Long Sequence Modeling in Industrial Recommenders
用全局 token 和 token 合并,把长序列端到端放进 Transformer。
这一站还没有本站深度解读,可以先读 arXiv 原文。
MTGR: Industrial-Scale Generative Recommendation Framework in Meituan
把排序换成 HSTU 结构但保留全部交叉特征,训练成本持平、订单量提升。
本站深度解读读的是美团技术博客版(2025-05),不是 arXiv 版。
结果是单样本前向推理的计算量(博客的口径是线上给一个候选打一次分)涨到原来的 65 倍,训练成本却和原模型持平,外卖首页列表订单量提升 1.22%,团队称这是近两年单次优化里最大的收益。
深度解读原文
OneRec Technical Report
端到端生成式推荐在短视频主场景全量上线,并公开了算力和收益账本。
这一站还没有本站深度解读,可以先读 arXiv 原文。
Realizing Scaling Laws in Recommender Systems: A Foundation-Expert Paradigm for Hyperscale Model Deployment
大基础模型加各场景专家模型,让规模收益能真正上线。
将超大规模基础模型真正部署到生产环境面临三大核心挑战
深度解读原文
OneRec-Think: In-Text Reasoning for Generative Recommendation
让模型先用文字写推理,再输出要推荐的物品。
OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender
把用户行为序列和其余特征切成同一串 token,交给一个 Transformer 一起算。
OneTransS 在与 RankMixer+Transformer(2.51T FLOPs)相近计算量下,性能全面超越,说明统一建模本身比堆叠独立模块更高效。
深度解读原文
Make It Long, Keep It Fast: End-to-End 10K Long User Behavior Sequence Modeling for Billion-Scale Douyin Recommendation
1 万条行为端到端进排序,算力约降到十一分之一。
self-attention 在 L=10k 需要 236.26 GFLOPs,而本文方法只需 21.06 GFLOPs
深度解读原文
LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation
测量多阶段序列模型在各个维度上的幂律。
各缩放维度的幂律关系均得到验证
深度解读原文
MixFormer: Co-Scaling Up Dense and Sequence in Industrial Recommenders
序列建模和稠密特征交互共享参数,一起放大。
论文认为这种 rigid separation 会造成 co-scaling 失配:序列模块计算随长度快速增长,占据预算后压缩 dense 模块扩容;反过来,如果优先扩 dense 特征交互,又无法利用长序列。
深度解读原文
UxSID: Semantic-Aware User Interests Modeling for Ultra-Long Sequence
按候选的语义编码分组,同组候选共用一份离线算好的用户兴趣,线上只查一次表。
快手工业数据上 CTCVR AUC 从 TWIN 的 0.8609 提到 0.8626,一周广告 A/B 收入涨 0.337%,线上延迟只多 0.16 毫秒。
深度解读原文
Scaling Laws for Behavioral Foundation Models over User Event Sequences
给行为基础模型一份类似 Chinchilla 的算力配比指南。
这类行为基础模型缺少 Chinchilla 式的算力标定指南
深度解读原文
Teacher Retains Full Tokens, Student Merges Efficiently: TM20K for E-Commerce Sequence Modeling in Ad Recommendation
教师模型完整读 2 万条行为,再把长序列知识蒸馏给会合并 token 的学生模型。
论文在 ByteDance 的广告推荐场景测量到:从 5K 扩展到 20K,训练时间约为 3.5 倍,GPU 显存增加 49G,线上服务延迟约为 6.3 倍。
深度解读原文
Towards a Densing Law for User Representation Learning at Billion-Scale Capacity
行为数据大量重复,规模加到头后,转向提高用户表示的“密度”。
继续扩大用户数、观察窗口或 encoder 参数,训练损失还会下降,下游表示质量却趋于平台。
深度解读原文
SequenceO1: End-to-End Ultra-Long (100K) Sequence Modeling in Recommendation with Low-Rank Caching
10 万条行为先压成每个用户一份缓存摘要,所有候选共用。
在抖音上线一个月,用它替换原来的终身兴趣模块后,完播提升 2.33%,不喜欢下降 6.98%。
深度解读原文
OneTrans-V2: Unifying Retrieval, Pre-rank, and Fine-rank with One Transformer in Industrial Recommender
三个阶段变成同一个 Transformer 的三个任务,用户历史只编码一次。
在一个大型工业推荐系统上,它替换原有的三模型级联后,人均 GMV 提升 9.74%,同样硬件下整条链路的 QPS 是原来的 3.2 倍。
深度解读原文
Predictable Scaling: Efficient Model Exploration via Scaling-Law Prediction
用小模型可靠地预测某个改动放到大模型上是好是坏。
它要节省的是模型研发的试验成本,而不是宣称把线上模型直接压缩后还能维持同样效果。
深度解读原文
OneLatent: Latent Reasoning for Efficient Foundation Recommendation Models
把先写推理再出 SID 压成 3 个固定的隐式 token,上线不再生成推理文字。
在快手本地生活工业数据上,OneLatent 的 SID@64 是 0.1993,比先写推理再作答的 OneReason-CoT 高 17.44%,推理吞吐是显式推理的 17.49 倍,和不推理的直接预测基本相同。
深度解读原文
PinGER: Token-Efficient Generative Retrieval with Semantic IDs
训练时多看、服务时少读,让 SID 召回的输入成本降到向量召回的水平。
这篇最值得借鉴的是“训练时多看、服务时少读、两者计算同一个函数”的掩码思路,它让 SID 召回在不牺牲监督信号的前提下拿到了向量召回的输入成本。
深度解读原文