- 1. LoopFM: Learning frOm HistOrical RePresentations of Foundation Model for Recommendation · 📖 深度解读
传统知识蒸馏只把基础模型(FM)的单个标量预测传给垂直模型(VM),随 FM 增大「迁移率」递减——单标量无法承载丰富的中间知识。LoopFM 把 FM 的中间层 embedding 结构化为 VM 的输入特征(如用户历史序列),开辟高带宽迁移通道,且 serving 时无需实时 FM 推理、不耦合两者架构。论文给出增益分解与迁移率理论分析,在三个公开数据集上 AUC 提升 6%+(TaobaoAd)…
出现于日报:06-01
- 2. Rec-Distill: An Industrial Distillation Pipeline for Large-Scale Recommendation Models · 📖 深度解读
大推荐模型在 scaling law 下有明显收益,但工业系统受在线 serving 延迟约束只能上线轻量模型,造成离线扩参与在线部署的鸿沟。Rec-Distill 通过解耦训练、黑盒蒸馏、去偏机制和混合 batch-streaming 流水线,把大教师的收益迁移到小学生模型。教师规模扩到 24B dense 参数、行为序列长度 20K,在多个推荐与广告场景上学生模型蒸馏迁移率超过 60%。
出现于日报:06-01
- 3. UniNote: A Unified Embedding Model for Multimodal Representation and Ranking
Item-to-Item(I2I)检索是内容平台推荐与内容审核的基础环节,但通用多模态 embedding 在 I2I 上难以兼顾全局内容表示与细粒度局部检索,且 embedding 与 ranking 解耦管线效率低、精度-延迟难权衡。UniNote 提出统一的工业级多模态 I2I embedding 模型:两阶段训练,第一阶段用对比式 SFT 建立基础表示,第二阶段用强化学习(RL)按内容相关性精调排序质量…
出现于日报:06-01
- 4. An Industrial-Scale Sequential Recommender for LinkedIn Feed Ranking · 📖 深度解读
LinkedIn 用 Transformer 序列排序模型 Feed SR 替换原有的 DCNv2 排序器,把用户行为序列直接喂给排序模型而非依赖手工交叉特征。论文详述了为满足生产约束所做的建模、训练与 serving 优化,已在 12 亿会员规模上线服务大部分 Feed 流量超过三个月。线上 A/B 相比原生产模型取得 +2.10% 停留时长、+3.52% 点赞/评论/转发互动的显著提升…
出现于日报:06-03
- 5. MARS: Multi-rate Aggregation of Recency Signals for Sequential Recommendation across Sparse and Dense Regimes · 📖 深度解读
序列推荐里,Transformer 用位置自注意力、State-Space Model(如 Mamba)用单一隐式衰减来加权历史行为,二者都没把真实用户行为的多尺度时间结构显式建模。MARS 提出一个与编码器无关的聚合算子:直接消费真实时间戳,产出 K 个强调不同 recency 尺度的摘要,再用上下文自适应门控融合。它最多只增加 6% 参数、时间复杂度 O(LdK)…
出现于日报:06-04
- 6. Taiji: Pareto Optimal Policy Optimization with Semantics-IDs Trade-off for Industrial LLM-Enhanced Recommendation · 📖 深度解读
快手的 Taiji 让一个 7B 模型读用户画像和最近 50 条行为,推理“下一单会买什么”,输出编码后给广告排序模型当特征,或用来找最相似的用户借行为序列。思维链先“知道答案再反推”、按困惑度筛掉一半,强化学习的两个奖励权重按区分度自动调。线上 ADVV 涨 2.83%、收入涨 3.30%,长尾用户涨 5% 以上。离线奖励和评估用同一个排序模型,动态权重在偏好指标上只多 0.74%。
出现于日报:06-04
- 7. Generative Spatiotemporal Intent Sequence Recommendation via Implicit Reasoning in Amap
真实用户行为常是受时空依赖支配的意图流,而非孤立动作。论文定义生成式时空意图序列推荐(GSISR)任务:生成逻辑连贯且在复杂时空上下文中物理可执行的意图序列。LLM 推理能力强但直接工业部署受高延迟与「上下文不匹配/物理不可行计划」限制。GPlan 框架用两点解决:渐进式隐式 CoT 蒸馏,把显式推理压进保留的 latent token,让小模型继承规划逻辑而无需生成长推理文本;并引入机制对齐通用知识与真实世界时空约束。
出现于日报:06-01
- 8. From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction · 📖 深度解读
论文诊断了 CTR 深度模型「堆规模收益迅速衰减」的根因:标准 Transformer 假设序列组合性,而 CTR 数据需要的是异构 field 间的组合推理,两者存在结构性错配。作者提出 Field-Aware Transformer (FAT),用 field-centric 参数重构标准 Transformer block 实现「结构化表达力」,把模型复杂度依赖从总词表规模 n 转移到 field 数 F(n 远大于 F)…
出现于日报:06-03
- 9. Bridging Short Videos and Live Streams: Reasoning-Guided Multimodal LLMs for Cross-Domain Representation Learning · 📖 深度解读
针对直播推荐行为稀疏、冷启严重的问题,快手提出 RGCD-Rep,把短视频域的用户兴趣迁移到直播域。方法分两阶段:先用冻结的多模态大模型(MLLM)作 teacher 生成结构化的跨域推理知识,蒸馏进一个轻量 student;再把 item 表征拆成「可迁移表征」与「域残差表征」,全部离线预计算后接入下游推荐,serving 端不需实时跑 MLLM…
出现于日报:06-05
- 10. Dual-Stream MLP is All You Need for CTR Prediction · 📖 深度解读
主流 CTR 模型都是双流结构:一路用乘法显式构造特征交叉,一路用 MLP 隐式学习,两路输出直接相加。结构越复杂越难调,乘法那一路的输出还会随交叉阶数变大,相加时容易压过 MLP 那一路。DS-MLP 让最终模型只剩两个普通 MLP:一个通过知识蒸馏学会老师模型的显式交叉,另一个从零学习、补上老师漏掉的模式,两路先做批归一化,再各自用点击标签监督。先把老师变成同构的 MLP,再对齐融合…
出现于日报:06-05