2026-03-31 周二 · Generative

独立报告页 · 在站内浏览(含往期切换)→
Generative生成式推荐 · 7 篇Personalization个性化推荐 · 10 篇AI SearchAI 搜索 · 10 篇Agentic智能体搜索 · 10 篇Infra系统与索引 · 10 篇

今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注:语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 424 篇,入选 7 篇,分数 3.00 – 3.50

本期目录 · 7 篇
  1. 01T*: Progressive Block Scaling for Masked Diffusion Language Models Through Trajectory Aware Reinforcement Learning
  2. 02Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns
  3. 03MORA-LLM: Enhancing Multi-Objective Optimization Recommendation Algorithm by Integrating Large Language Models
  4. 04Dual-objective Language Models: Training Efficiency Without Overfitting
  5. 05When Perplexity Lies: Generation-Focused Distillation of Hybrid Sequence Models
  6. 06Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models
  7. 07Sharp Capacity Scaling of Spectral Optimizers in Learning Associative Memory
LEAD STORY · 今日必读

T*: Progressive Block Scaling for Masked Diffusion Language Models Through Trajectory Aware Reinforcement Learning

针对 Masked Diffusion Model (MDM) 在扩大并行解码块大小时性能急剧下降的问题,提出 T* 训练框架:基于 TraceRL 的渐进式块大小扩展课程。从 AR 初始化的小块 MDM 出发,平滑过渡到更大解码块,在数学推理基准上实现了接近 AR 的性能,同时大幅提升解码并行度。该方法为生成式推荐中 masked diffusion 架构(如 MDGR)的高效推理提供了直接可用的训练范式。

相关 3新颖 4实用 3证据 3时效 4
3.50
综合分 / 5
偏好调整 3.50
KEY INSIGHT · 对业务意味着什么Masked Diffusion 是生成式推荐的重要范式(如 MDGR 在电商广告中实现 CTR +2.36%),但大块并行解码训练困难。T* 的核心创新在于用 RL 自动发现从小块到大块的最优过渡轨迹,避免了手工设计课程表。对于部署生成式推荐模型的团队,这一训练策略可直接用于降低 Semantic ID 解码延迟,在不显著损失推荐准确率的前提下提升吞吐量。
Hanchen Xia, Baoyou Chen, Yutang Ge, Guojiang Zhao, Siyu Zhu · 2026-01-15 · arXiv

今日其余入选

6 篇 · 按综合排名
02 3.45

Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns

提出 TRC² (Thalamically Routed Cortical Columns),一种受大脑丘脑路由机制启发的 decoder-only 架构,使大语言模型能在持续学习中避免灾难性遗忘,无需外部记忆缓冲或回放机制。通过将参数组织为“皮层柱”并由“丘脑”路由器动态分配,新任务自动获得专用参数子集。在多个持续学习基准上保持旧任务性能不降的同时,新任务准确率与独立训练持平。

INSIGHT生成式推荐系统面临持续演化的用户兴趣和 item 库,传统做法是定期全量重训,成本高昂。TRC² 的路由机制提供了一种新思路:让模型架构本身支持增量更新,新 item 和新用户行为模式通过专用参数柱学习,不干扰已有的推荐知识。对于采用 LLM 作为推荐模型的系统,这一架构可减少重训频率,适用于 item 库快速变化的场景(如 UGC 社区)。

Afshin Khadangi
arXiv·2026-02-28·Relevance 3 · Novelty 4 · Practical 3 · Evidence 3 · Timely 4
03 3.45

MORA-LLM: Enhancing Multi-Objective Optimization Recommendation Algorithm by Integrating Large Language Models

提出 MORA-LLM 框架,将大语言模型的知识理解和推理能力融入多目标进化推荐算法(MOEA),解决推荐系统中冷启动、多目标收敛慢和缺乏可解释性三大问题。核心策略 LEPS (LLM-enhancing Prediction Score) 利用 LLM 的世界知识生成用户 embedding,结合相似用户交互信息提升冷启动用户的预测准确性。同时借助 LLM 的自然语言生成能力提供可解释的推荐理由。发表于 IEEE 期刊。

INSIGHTMORA-LLM 展示了将 LLM 作为推荐系统“增强层”而非“替代层”的务实路径:不替换已有推荐算法,而是在冷启动和可解释性两个薄弱环节引入 LLM 能力。对于 UGC 社区搜索场景,这一思路值得借鉴——利用 LLM 理解新用户的文本描述生成初始偏好向量,解决新用户缺乏行为数据时的推荐冷启动问题,同时保留已有排序模型的主体架构不变。

Yuanyuan Ge, Likang Wu, Haipeng Yang, Fan Cheng, Hongke Zhao
Semantic Scholar·2026-01-01·Relevance 4 · Novelty 3 · Practical 3 · Evidence 3 · Timely 2
04 3.35

Dual-objective Language Models: Training Efficiency Without Overfitting

发现 Autoregressive (AR) 和 Masked Diffusion 两种训练目标可在不修改架构的前提下联合训练,产生灵活的双目标语言模型。AR 训练效率高但容易过拟合,Masked Diffusion 抗过拟合但训练慢。联合训练结合两者优势:在相同训练预算下,双目标模型在多个基准上超过单目标模型,同时支持 AR 和并行解码两种推理模式。

INSIGHT生成式推荐的两大范式——基于 AR 的 Semantic ID 生成(如 TIGER)和基于 Masked Diffusion 的并行解码(如 MDGR)——被证明可以在同一模型中共存。这意味着推荐系统可以训练一个统一模型,在低延迟要求下用并行 diffusion 解码,在高精度要求下用 AR 逐步生成。这种灵活性对生产环境中需要在不同场景切换推理策略的推荐系统尤为有价值。

David Samuel, Lucas Georges Gabriel Charpentier
arXiv·2025-12-19·Relevance 3 · Novelty 4 · Practical 3 · Evidence 3 · Timely 3
05 3.25

When Perplexity Lies: Generation-Focused Distillation of Hybrid Sequence Models

揭示了将预训练 Transformer 蒸馏为高效混合模型时的关键陷阱:低困惑度(perplexity)并不等于高质量生成。许多蒸馏方法在多选题评测(用 log-likelihood 排序)上表现良好,但在实际自回归生成任务中质量严重退化。提出 generation-focused 蒸馏方法,要求学生模型和教师模型在实际生成分布上对齐,而非仅在 token 级别匹配。

INSIGHT这一发现对生成式推荐模型的部署有直接警示意义:当我们将大型生成式推荐模型蒸馏为轻量版本用于在线推理时,不能仅依赖 perplexity 或 ranking accuracy 作为评估指标——模型可能在 ranking 评测上看似不错,但生成的 Semantic ID 序列质量实际很差。建议在生成式推荐模型蒸馏时,必须加入端到端的 item 生成质量评估(如实际 Recall@K)。

Juan Gabriel Kostelec, Xiang Wang, Axel Laborieux, Christos Sourmpis, Qinghai Guo
arXiv·2026-03-30·Relevance 3 · Novelty 3 · Practical 3 · Evidence 3 · Timely 5
06 3.15

Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models

NVIDIA

NVIDIA 提出 Cascade RL 方法解决多领域通用推理模型训练中的核心难题:不同领域(数学、代码、科学)的响应长度和验证延迟差异巨大,导致 RL 训练效率低下。通过将 RL 训练分解为多个域内级联阶段,每阶段独立优化响应长度和课程策略,最终合并为通用模型。Nemotron-Cascade 在数学、代码、科学推理基准上均达到或超过领域专用模型的性能。

INSIGHTCascade RL 的设计模式对生成式推荐中的 RL 训练有直接借鉴意义:推荐系统同样面临多目标异构性(点击、时长、转化的验证信号差异大),直接联合 RL 训练效果不佳。可参考 Cascade RL 将不同优化目标分阶段级联训练,每个阶段用最适合的奖励信号和课程策略,最终合并。NVIDIA 的工程实践也验证了这一方法在大规模训练中的可行性。

Boxin Wang, Chankyu Lee, Nayeon Lee, Sheng-Chieh Lin, Wenliang Dai, Yang Chen, Yangyi Chen, Zhuolin ...
arXiv·2025-12-18·Relevance 2 · Novelty 4 · Practical 3 · Evidence 4 · Timely 3
07 3.00

Sharp Capacity Scaling of Spectral Optimizers in Learning Associative Memory

对 Muon 等 Spectral Optimizer 在 Associative Memory 学习任务中的容量上界进行了精确理论分析。证明在线性联想记忆模型中(类比 Transformer 中的 factual recall),spectral optimizer 的存储容量可以远超 embedding 维度,且精确刻画了容量与维度的缩放关系。理论结果解释了 Muon 在大规模语言模型训练中的经验性优势。

INSIGHTMuon optimizer 已在多个大模型训练中展现出优于 Adam 的表现,该论文提供了理论支撑:spectral 优化器在“存储-检索”范式下具有本质性的容量优势。对于训练生成式推荐模型(本质上是大规模 item 记忆和检索),这一发现暗示 Muon 等 spectral optimizer 可能特别适合 Semantic ID 体系下的 item 记忆任务,值得在下一轮模型训练中实验对比。

Juno Kim, Eshaan Nichani, Denny Wu, Alberto Bietti, Jason D. Lee
arXiv·2026-03-30·Relevance 2 · Novelty 4 · Practical 2 · Evidence 3 · Timely 5

其他赛道今日

点击切换
Personalization
10
个性化推荐 · 篇入选
AI Search
10
AI 搜索 · 篇入选
Agentic
10
智能体搜索 · 篇入选
Infra
10
系统与索引 · 篇入选