- 1. Spend Search Where It Pays: Value-Guided Structured Sampling and Optimization for Generative Recommendation · 📖 深度解读
该论文解决生成式推荐模型中强化学习微调的两大核心难题：低概率高回报分支被过早剪枝（探索不足）和共享高概率前缀的轨迹回报高度相关（优势压缩）。提出 V-STAR 框架，包含价值引导高效解码（Value-Guided Efficient Decoding）识别高价值搜索路径，以及 Sibling-GRPO 利用树结构改善学习信号。在离线和在线数据集上验证了该方法在延迟约束下实现更好的推荐准确性和多样性。
出现于日报：04-03
- 2. Understanding Generative Recommendation with Semantic IDs from a Model-scaling View
本文首次系统研究生成式推荐（GR）的模型缩放特性，对比分析了基于 Semantic ID（SID）的GR和LLM-as-RS两种范式在44M到14B参数规模上的表现。研究揭示SID-based GR存在固有的缩放瓶颈——随着模态编码器、量化分词器和推荐系统本身的扩大，性能快速饱和，根本原因在于SID编码item语义信息的容量有限。相比之下，LLM-as-RS范式展现出优越的缩放特性…
出现于日报：04-02
- 3. To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining
该论文系统研究语言模型预训练中参数化知识（模型记忆）与非参数化知识（检索增强）之间的 scaling trade-off。作者训练了从 30M 到 3B 参数的 OLMo-2 模型，预训练数据量达 100B tokens，同时变化预训练语料和检索库大小。核心发现：检索在所有模型规模上一致优于纯参数化基线，但检索的边际价值随模型大小、任务类型和训练饱和度显著变化。提出了可预测数据资源分配的 scaling 框架。
出现于日报：04-03
- 4. GFlowGR: Fine-tuning Generative Recommendation Frameworks with Generative Flow Networks
本文针对生成式推荐（GR）中LLM微调阶段的曝光偏差（exposure bias）问题，提出基于生成流网络（GFlowNets）的微调框架GFlowGR。现有GR微调方法主要依赖SFT的下一个token预测损失或DPO策略，都忽视了对未观察到的正样本的探索。GFlowGR将GR建模为多步生成任务，整合传统推荐系统的协同知识构建自适应轨迹采样器和综合奖励模型，在两个真实数据集和两种GR骨干网络上验证了有效性和鲁棒性…
出现于日报：04-02
- 5. LongCat-Next: Lexicalizing Modalities as Discrete Tokens
美团提出 Discrete Native Autoregressive (DiNA) 统一框架，将文本、视觉、音频等多模态信息统一转化为离散token序列，在同一自回归模型中进行 Next-Token Prediction。核心创新是 Discrete Native Any-resolution Visual Transformer (dNaViT)，可在任意分辨率下将连续视觉信号转化为层次化离散token…
出现于日报：04-01
- 6. Unleash the Potential of Long Semantic IDs for Generative Recommendation
针对生成式推荐中 Semantic ID 的表达能力与推理效率之间的矛盾，提出 ACERec 框架。核心思路是引入 Attentive Token Merger 将长 Semantic ID 压缩为可变长度的紧凑表示，同时通过 Intent Token 捕获用户意图信号以引导推荐。在 Amazon Sports、Beauty、Toys、Yelp、LastFM、MovieLens 六个基准上…
出现于日报：04-01
- 7. ATLAS-RTC: Closing the Loop on LLM Agent Output with Token-Level Runtime Control
提出 ATLAS-RTC，一种面向自回归语言模型的运行时控制系统，在每步解码时检测输出偏离预设结构约束的信号，并通过 biasing（概率偏移）、masking（token屏蔽）、rollback（回退重生成）三种干预手段实时校正。与后验校验或静态约束解码不同，ATLAS-RTC 构成闭环控制，能在错误产生前纠正。在结构化生成和工具调用任务上，首次成功率提升 20-37.8 个百分点，在失败主导场景下延迟降低最多 88%。
出现于日报：04-01
- 8. Retrieval-of-Thought: Efficient Reasoning via Reusing Thoughts
该论文提出 Retrieval-of-Thought (RoT)，通过复用历史推理步骤来加速大型推理模型。将推理步骤组织为带有顺序和语义边的思维图（thought graph），支持快速检索和灵活重组。推理时检索与查询相关的节点，通过奖励引导遍历组装定制化模板指导生成。实验结果显示：输出 token 减少 40%，推理延迟降低 82%，成本降低 59%，同时保持准确性。
出现于日报：04-03
- 9. Universal YOCO for Efficient Depth Scaling
该论文提出 Universal YOCO (YOCO-U)，将 YOCO decoder-decoder 架构与递归计算相结合。通过浅层注意力层的参数共享实现多次迭代，保持恒定的全局 KV 缓存和线性预填充。部分递归增强了表示深度。在通用和长上下文基准测试中保持强竞争力，为高效注意力架构与递归计算的结合提供了新范式。
出现于日报：04-03
- 10. Using Predefined Vector Systems to Speed Up Neural Network Multimillion Class Classification
该论文提出利用预定义向量系统将神经网络百万级别分类的复杂度从 O(n) 降至 O(1)。通过将标签预测与已知几何性质的向量系统中的最近聚类中心搜索关联，仅需识别 embedding 的最大和最小值即可完成预测。实验表明，相比传统方法实现了高达 11.6 倍的整体加速，同时保持训练精度并支持新类别检测。
出现于日报：04-03