- 1. OneSearch-V2: The Latent Reasoning Enhanced Self-distillation Generative Search Framework · 📖 深度解读
OneSearch-V2 是阿里巴巴在工业级生成式搜索框架 OneSearch 基础上的重大升级。论文针对生成式检索（GR）在复杂 query 理解不足、长尾稀疏性和信息茧房等问题，提出了思维增强模块（thought-augmented modules）、推理内化自蒸馏训练策略以及行为偏好对齐优化三大核心改进。在线 A/B 实验显示 CTR 提升 3.98%、转化率提升 3.05%、订单量提升 2.11%…
出现于日报：03-27
- 2. PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations
PLUM 是 Google 提出的工业级生成式推荐框架，核心思路是将预训练语言模型（PLM）适配到推荐场景。方法包含三步：(1) 语义物品 tokenization，将推荐物品映射为语义 token 序列；(2) 领域特定的继续预训练，使 PLM 理解推荐语义空间；(3) 针对生成式检索的微调。在 YouTube 大规模视频推荐数据集上的实验表明，PLUM 优于生产环境中的 embedding-based 模型…
出现于日报：03-27
- 3. Masked Diffusion Generative Recommendation · 📖 深度解读
本文提出 MDGR（Masked Diffusion Generative Recommendation），摒弃传统自回归解码范式，采用 masked diffusion 进行生成式推荐。通过并行码本提供扩散基础结构、自适应掩码监督信号以及基于 warm-up 的两阶段并行解码策略，解决了自回归方法在全局特征依赖捕获、解码顺序假设和推理效率方面的限制…
出现于日报：03-26
- 4. One Model, Two Markets: Bid-Aware Generative Recommendation · 📖 深度解读
本文针对生成式推荐系统（如 TIGER）仅关注语义检索、忽略商业变现的问题，提出 GEM-Rec 统一框架。该框架引入控制 token 将「是否展示广告」与「展示哪个商品」解耦，并设计 Bid-Aware Decoding 机制在推理阶段注入实时出价信号，引导生成偏向高价值商品。实验表明 GEM-Rec 在保持推荐质量的同时显著提升广告收入。
出现于日报：03-25
- 5. The Residual Stream Is All You Need: On the Redundancy of the KV Cache in Transformer Inference
本文证明了 Transformer 推理中 KV Cache 的完全冗余性：每一层的 key 和 value 都是残差流的确定性投影，从单个残差向量重新计算可实现零误差重建（比特级一致）。实验覆盖 4 个架构家族的 6 个模型（135M-4B），KV-Direct 方案每 token 仅需 5KB（对比标准 KV Cache 的 136KB），20 轮对话峰值内存 42MB vs 103MB…
出现于日报：03-24
- 6. Collaborative User Prompt for Personalized Generative Recommendation
针对现有生成式推荐方法依赖离散 ID prompt 或任务特定 soft prompt、忽略用户间协同信号的问题，本文提出基于注意力机制的组合式框架。通过融合相似用户的 embedding 构建个性化 soft prompt，动态强调共享兴趣的同时保留个体偏好。在三个真实数据集上的实验验证了该方法的有效性。
出现于日报：03-25
- 7. Predictive Scaling Laws for Efficient GRPO Training of Large Reasoning Models
本文首次建立了 GRPO（Group Relative Policy Optimization）训练的预测性 Scaling Law。通过在 Llama 和 Qwen 模型（3B/8B）上的系统实验，推导出基于模型规模、初始性能和训练进度的经验缩放定律。发现训练过程呈三阶段特征：慢启动、快速提升、平台期。在超过一定 epoch 后，继续训练几乎无收益，表明 early stopping 可显著节省算力。
出现于日报：03-24
- 8. Do Post-Training Algorithms Actually Differ? A Controlled Study Across Model Scales Uncovers Scale-Dependent Ranking Inversions
OXRL 框架统一实现了 51 种后训练对齐算法（DPO、SimPO、KTO、GRPO 等），在 4 个模型规模（0.5B-7B）、3 个评估领域上进行了约 240 次训练。三个关键发现：(1) 算法排名随模型规模反转，1.5B 时 SGRPO 最优（GSM8K 58.0%），7B 时 SimPO 逆袭为最佳（85.8%）；(2) DPO 的 20 种变体在统计校正后无显著差异…
出现于日报：03-24
- 9. Causal Direct Preference Optimization for Distributionally Robust Generative Recommendation
本文揭示 Direct Preference Optimization (DPO) 在生成式推荐中的关键缺陷：DPO 倾向于在对齐过程中放大环境混杂因素引起的虚假相关性，严重削弱 LLM 推荐器的泛化能力。提出 CausalDPO，通过因果不变性学习和后门调整消除混杂干扰，使用软聚类建模潜在环境分布并施加不变性约束。在多种分布偏移条件下，四个评估指标平均提升 17.17%。
出现于日报：03-26
- 10. Problems with Chinchilla Approach 2: Systematic Biases in IsoFLOP Parabola Fits
论文揭示了广泛使用的 Chinchilla Approach 2 在拟合神经网络 scaling law 时存在系统性偏差。在 Llama 3 的 IsoFLOP 数据上，这种偏差导致参数分配不足，对应 3.8×10^25 FLOP 训练预算中 6.5% 的浪费（约 140 万美元）。多模态模型因 loss surface 不对称性更严重，损失更大…
出现于日报：03-27