- 1. Quantizing Intent: Cross-Domain Semantic IDs from Organic Activity for Industrial Ranking
针对广告 CTR 预估中用户监督稀疏(多数用户极少点广告、却在 feed 等自然流量上有稠密行为),作者从自然流量行为构造跨域用户 Semantic ID(SID)注入广告排序。实验显示行为信息越丰富迁移越好:用户画像文本 SID 带来 +0.036% AUC、activity-tuned LLaMA 用户 embedding SID +0.107%、直接来自 feed 行为 embedding 的 SID +0.213%…
出现于日报:06-03
- 2. UniPinRec: Unifying Generative Retrieval and Ranking at Pinterest Scale · 📖 深度解读
Pinterest 提出 UniPinRec,把召回与排序从模型到训练、服务全栈统一为“一种输入格式、一个模型、一个训练阶段”。共享 Transformer 把用户行为序列编码为与候选无关的表示,再通过任务专属 head 分叉出召回(ANN 点积)与排序(cross-attention)。关键设计包括 Masked Action Modeling(MAM)消除序列交错、在不翻倍上下文长度的前提下实现权重共享…
出现于日报:06-03
- 3. LLMs Need Encoders for Semantic IDs Too
作者主张生成式推荐里的 Semantic ID(SID)应被当作一种独立模态:SID 某一层 token 的含义依赖其前缀上下文,但现有系统只是把 SID token 加进词表、靠训练从零学这种上下文相关含义。论文提出 PrefixMem——基于前缀 n-gram 记忆表的轻量 SID 编码器,在 SID token 位置给 LLM 提供结构化、前缀条件化的表示…
出现于日报:06-03
- 4. DSIRM: Learning Query-Bridged Discrete Semantic Identifiers for E-commerce Relevance Modeling
针对电商搜索相关性中连续 embedding 难以刻画细粒度属性差异、而无监督量化生成的离散 Semantic ID(SID)缺乏 query 相关性的问题,提出 DSIRM。物品侧用 query-bridged 对比量化,把 query-item 交互监督注入残差量化(RQ),学到相关性感知的语义划分;query 侧用生成式 LLM 直接从文本预测 item SID,覆盖长尾 query 与意图歧义…
出现于日报:06-05
- 5. Breaking the Likelihood Trap: Consistent Generative Recommendation with Graph-structured Model
生成式重排把重排建模为整体序列生成任务,但普遍陷入似然陷阱——高似然序列往往重复、人感质量低,限制用户参与度。CONGRATS 提出两点:图结构模型(Graph-structured Model)通过探索多条路径生成更多样的序列,扩展解码空间并用图转移显式建模物品依赖以提升准确率;一致性可微训练引入 evaluator 让模型直接从用户偏好学习,对齐人感质量…
出现于日报:06-05
- 6. Climber-Pilot: A Non-Myopic Generative Recommendation Model Towards Better Instruction-Following · 📖 深度解读
面向工业级生成式检索推荐,论文指出生成式检索因单步推理 + 严格延迟约束而存在“短视”问题:把多样的用户意图坍缩为局部最优、难以捕捉长程多物品消费模式;同时难以遵循类目控制、策略约束等显式检索指令。Climber-Pilot 提出两点:TAMIP(时间感知多物品预测)通过时间感知掩码把长程多物品的前瞻能力蒸馏进模型参数,缓解短视的同时保留单步推理效率…
出现于日报:06-02
- 7. Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation
LLM 用于推荐长期缺乏可预测的 scaling law,作者认为根因是原始用户交互数据的噪声、偏差与不完整。论文提出分层框架生成高质量合成数据,为 LLM 持续预训练(CPT)构造“课程式”教学语料。直接证据:用该合成数据训练的标准序列模型(如 SasRec)在下游排序 recall@100 上比用真实数据训练高 +130%,表明合成课程更利于学习可泛化的用户偏好。在此基础上首次给出 LLM 推荐的 scaling law。
出现于日报:06-03
- 8. Towards Generalizable and Efficient Large-Scale Generative Recommenders · 📖 深度解读
论文复盘了把一个生成式推荐主干网络(不含 embedding 与 decoding 层)从 2M 参数扩到 1B 参数的生产经验,场景是工业级的标题推荐。作者发现预训练阶段的收益并不会自动传导到下游应用:任务自身的提升空间(task headroom)、重复训练成本、serving 延迟、item 时效性都会削弱迁移效果。在多个下游任务上观察到“任务相关的 scaling 行为”——部分任务在观测的参数区间内就逼近经验上限…
出现于日报:06-01
- 9. Why Thinking Hurts: Diagnosing and Rectifying Linguistic Inertia in LLMs for Recommendation
近期 foundation recommender 借鉴 CoT,在预测 Semantic ID 目标物品前先生成文本推理,但作者发现开启 thinking 模式会让 OpenOneRec 等模型推荐质量下降最多 25%。根因是“语言惯性”(Linguistic Inertia):插入文本 CoT 后模型更依赖自然语言上下文、更少利用历史 SID 证据,且历史信息越少、CoT 越长该效应越强…
出现于日报:06-03
- 10. Learning Variable-Length Tokenization for Generative Recommendation
生成式推荐把推荐重写为对离散 Semantic ID 的 next-token 预测,但已有方法都用“定长 tokenization”给所有 item 编码,隐含假设了统一的编码容量。作者在 4 个数据集上系统实验,发现“流行度-长度悖论 (Popularity-Length Paradox)”:热门 item 用短 ID 就能达到最优,长尾 item 则需要明显更长的 code 才能刻画区分性语义…
出现于日报:06-01