2026-03-24 周二 · Generative

独立报告页 · 在站内浏览(含往期切换)→
Generative生成式推荐 · 10 篇Personalization个性化推荐 · 10 篇AI SearchAI 搜索 · 10 篇Agentic智能体搜索 · 10 篇Infra系统与索引 · 8 篇

今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注:语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 430 篇,入选 10 篇,分数 3.15 – 4.20

本期目录 · 10 篇
  1. 01The Residual Stream Is All You Need: On the Redundancy of the KV Cache in Transformer Inference
  2. 02Predictive Scaling Laws for Efficient GRPO Training of Large Reasoning Models
  3. 03Do Post-Training Algorithms Actually Differ? A Controlled Study Across Model Scales Uncovers Scale-Dependent Ranking Inversions
  4. 04CoverageBench: Evaluating Information Coverage across Tasks and Domains
  5. 05Speculating Experts Accelerates Inference for Mixture-of-Experts
  6. 06FEAT: A Linear-Complexity Foundation Model for Extremely Large Structured Data
  7. 07Best-of-Both-Worlds Multi-Dueling Bandits: Unified Algorithms for Stochastic and Adversarial Preferences under Condorcet and Borda Objectives
  8. 08PolicySim: An LLM-Based Agent Social Simulation Sandbox for Proactive Policy Optimization
  9. 09Inducing Sustained Creativity and Diversity in Large Language Models
  10. 10Warm-Start Flow Matching for Guaranteed Fast Text/Image Generation
LEAD STORY · 今日必读

The Residual Stream Is All You Need: On the Redundancy of the KV Cache in Transformer Inference

本文证明了 Transformer 推理中 KV Cache 的完全冗余性:每一层的 key 和 value 都是残差流的确定性投影,从单个残差向量重新计算可实现零误差重建(比特级一致)。实验覆盖 4 个架构家族的 6 个模型(135M-4B),KV-Direct 方案每 token 仅需 5KB(对比标准 KV Cache 的 136KB),20 轮对话峰值内存 42MB vs 103MB,中等 batch size 下重计算速度比读取缓存快 5 倍。

相关 3新颖 5实用 4证据 4时效 5
4.05
综合分 / 5
偏好调整 4.20
KEY INSIGHT · 对业务意味着什么该工作从理论上证明残差流是 Transformer 中唯一的信息载体,KV Cache 本质上是冗余存储。这对生成式推荐模型(如 HSTU、ULTRA-HSTU)的推理优化具有直接启示:可以用极小的残差向量替代庞大的 KV Cache,在长序列用户行为建模场景中大幅降低显存占用。该发现可能改变当前大量 KV Cache 压缩/淘汰研究的技术方向。
Kaleem Ullah Qasim, Jiashu Zhang, Muhammad Kafeel Shaheen, Razan Alharith, Heying Zhang · 2026-03-20 · arXiv

今日其余入选

9 篇 · 按综合排名
02 3.90

Predictive Scaling Laws for Efficient GRPO Training of Large Reasoning Models

本文首次建立了 GRPO(Group Relative Policy Optimization)训练的预测性 Scaling Law。通过在 Llama 和 Qwen 模型(3B/8B)上的系统实验,推导出基于模型规模、初始性能和训练进度的经验缩放定律。发现训练过程呈三阶段特征:慢启动、快速提升、平台期。在超过一定 epoch 后,继续训练几乎无收益,表明 early stopping 可显著节省算力。

INSIGHT该 Scaling Law 使 LLM 推荐系统的 RL 微调变得可预测和可规划。对于基于 GRPO 的生成式推荐模型对齐(如偏好优化),工程团队可据此预判训练收益拐点,避免无效算力投入。三阶段训练动态模型对推荐场景中的在线学习和增量训练策略设计也有直接参考价值。

Datta Nimmaturi, Vaishnavi Bhargava, Rajat Ghosh, Johnu George, Debojyoti Dutta
arXiv·2025-07-24·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 3
03 3.90

Do Post-Training Algorithms Actually Differ? A Controlled Study Across Model Scales Uncovers Scale-Dependent Ranking Inversions

OXRL 框架统一实现了 51 种后训练对齐算法(DPO、SimPO、KTO、GRPO 等),在 4 个模型规模(0.5B-7B)、3 个评估领域上进行了约 240 次训练。三个关键发现:(1) 算法排名随模型规模反转,1.5B 时 SGRPO 最优(GSM8K 58.0%),7B 时 SimPO 逆袭为最佳(85.8%);(2) DPO 的 20 种变体在统计校正后无显著差异;(3) 影响力层级:模型规模(~50pp)> 训练范式(~10pp)> 在线/离线(~9pp)> 损失函数(~1pp)。

INSIGHT对 LLM-as-Recommender 范式的重要启示:在选择偏好对齐算法时,模型规模是最关键因素。小模型推荐系统(如嵌入式场景)应优先考虑 SGRPO 等在线 RL 方法,而大模型场景可使用更简单的 SimPO。DPO 变体间的差异可忽略,不值得花大量精力调优损失函数——应把资源投入到增大模型规模上。

Xiaoyi Li
arXiv·2026-03-19·Relevance 3 · Novelty 4 · Practical 4 · Evidence 5 · Timely 5
04 3.85

CoverageBench: Evaluating Information Coverage across Tasks and Domains

CoverageBench 提出了衡量检索系统信息覆盖度的统一评测基准。传统指标(precision、recall、nDCG)关注相关文档数量,而信息覆盖度关注搜索结果覆盖了多少不同维度的相关信息。这对 RAG 系统尤其重要——生成模型的回答质量直接取决于检索结果的信息多样性。基准包含多种体裁和任务的评测集合,已在 HuggingFace Datasets 上开源。

INSIGHT信息覆盖度是生成式搜索系统的核心质量指标:当 LLM 基于检索结果生成答案时,仅靠高 nDCG 不够,还需要信息维度的全面覆盖。该 benchmark 为生成式搜索推荐系统提供了新的评测维度,特别适用于评估 RAG pipeline 的检索阶段质量。对社区搜索场景中的多样化内容覆盖需求有直接参考价值。

Saron Samuel, Andrew Yates, Dawn Lawrie, Ian Soboroff, Trevor Adriaanse, Benjamin Van Durme, Eugene ...
arXiv·2026-03-20·Relevance 4 · Novelty 3 · Practical 4 · Evidence 4 · Timely 5
05 3.80

Speculating Experts Accelerates Inference for Mixture-of-Experts

针对 MoE 模型在显存受限场景下的推理瓶颈(专家权重需从 CPU 加载到 GPU),提出基于模型内部表示的专家预取方案。利用当前层计算过程中的内部表示推测后续层所需的专家,实现内存传输与计算的流水线重叠。在多种 MoE 架构上验证,实现了每输出 token 时间(TPOT)最高 14% 的降低,同时保持下游任务精度不变。代码已开源。

INSIGHTMoE 架构正在成为大规模推荐模型的主流选择(如 Kunlun 中的专家设计),但推理效率是部署瓶颈。该专家预取方案不改变模型结构、不牺牲精度,可直接应用于推荐场景的 MoE 推理加速。对于显存受限的在线 serving 环境(如推荐系统的实时推理),通过 CPU-GPU 传输优化降低延迟是实用的工程方案。

Vivan Madan, Prajwal Singhania, Abhinav Bhatele, Tom Goldstein, Ashwinee Panda
arXiv·2026-03-09·Relevance 3 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
06 3.75

FEAT: A Linear-Complexity Foundation Model for Extremely Large Structured Data

FEAT 提出了一种面向超大规模结构化数据的线性复杂度基础模型。通过多层双轴架构替代二次方注意力,结合自适应融合 bi-Mamba-2(局部依赖)和卷积门控线性注意力(全局记忆),实现线性复杂度的跨样本建模。在 11 个真实数据集上,FEAT 在零样本性能上一致优于基线方法,推理速度提升最高 40 倍。覆盖医疗、金融、电商等领域的结构化数据任务。

INSIGHT推荐系统的特征数据本质上是大规模结构化数据,FEAT 的线性复杂度建模能力对处理推荐场景中的超长特征序列有直接价值。特别是其跨样本建模能力,可应用于协同过滤、用户行为序列建模等场景。基于 Mamba-2 的局部-全局混合编码架构,为替代 Transformer 在推荐中的二次复杂度提供了新思路。

Zhenghang Song, Tang Qian, Lu Chen, Yushuai Li, Zhengke Hu, Bingbing Fang, Yumeng Song, Junbo Zhao, ...
arXiv·2026-03-17·Relevance 4 · Novelty 4 · Practical 3 · Evidence 3 · Timely 5
07 3.75

Best-of-Both-Worlds Multi-Dueling Bandits: Unified Algorithms for Stochastic and Adversarial Preferences under Condorcet and Borda Objectives

首次解决了 Multi-Dueling Bandits 的 Best-of-Both-Worlds 问题:单一算法能否在随机和对抗环境下同时最优?本文给出肯定答案。对 Condorcet 目标提出 MetaDueling(黑盒归约),对 Borda 目标提出 SA-MiDEX,两者均无需预知环境类型。Condorcet 设定下达到 O(√KT) 伪遗憾界并匹配下界,Borda 设定下接近最优(与下界差 K 倍)。

INSIGHTMulti-Dueling Bandits 直接建模了推荐系统中的多候选排序场景(每轮展示 m≥2 个选项,只观察获胜者)。该统一算法对生成式推荐的在线评估和探索策略设计有价值:无需预判用户偏好是平稳的还是变化的,算法自适应两种场景。特别适用于推荐系统冷启动和兴趣漂移场景中的在线学习。

S Akash, Pratik Gajane, Jawar Singh
arXiv·2026-03-19·Relevance 4 · Novelty 4 · Practical 3 · Evidence 3 · Timely 5
08 3.50

PolicySim: An LLM-Based Agent Social Simulation Sandbox for Proactive Policy Optimization

PolicySim 构建了基于 LLM Agent 的社交平台仿真沙盒,用于前置评估推荐策略和内容过滤策略的影响。通过 SFT 和偏好优化微调用户 Agent 模块,结合上下文 Bandit 和消息传递机制建模网络结构。相比传统的事后 A/B 测试,实现了推荐策略的前置风险评估,可在部署前识别回音室效应和极化风险。

INSIGHT用 LLM Agent 仿真推荐系统的用户生态,是评估生成式推荐策略的新范式。传统 A/B 测试代价高且风险后置,PolicySim 提供了一种低成本、可重复的策略评估方式。对于社区搜索平台的内容推荐策略调优(如反极化、兴趣多样性保障),这种仿真框架可作为 offline evaluation 的有力补充。

Renhong Huang, Ning Tang, Jiarong Xu, Yuxuan Cao, Qingqian Tu, Sheng Guo, Bo Zheng, Huiyuan Liu, Yan...
arXiv·2026-03-20·Relevance 4 · Novelty 3 · Practical 3 · Evidence 3 · Timely 5
09 3.50

Inducing Sustained Creativity and Diversity in Large Language Models

针对 LLM 在探索式搜索中的同质化输出问题,提出新的解码算法。标准解码方法(beam search、sampling)优化正确答案而非多样性,导致生成结果高度同质。新方法无需访问模型内部向量空间,即可生成概念独特的结果,帮助用户在长搜索过程中更快探索解空间。涵盖正统和非正统知识,超越模态解码路径。

INSIGHTLLM 输出多样性是生成式推荐的核心挑战。当 LLM 作为推荐器时,生成结果的多样性直接影响推荐的覆盖度和惊喜度。该解码算法可直接应用于对话式推荐场景——用户进行探索式搜索(如找特定类型内容)时,系统需要持续产生差异化建议而非重复相似选项。对社区搜索中的发现式浏览尤其有价值。

Queenie Luo, Gary King, Michael Puett, Michael D. Smith
arXiv·2026-03-19·Relevance 4 · Novelty 3 · Practical 3 · Evidence 3 · Timely 5
10 3.15

Warm-Start Flow Matching for Guaranteed Fast Text/Image Generation

提出 Warm-Start Flow Matching(WS-FM),通过使用轻量生成模型的草稿样本替代纯噪声作为初始分布,使 Flow Matching 从更接近目标的位置开始细化,实现生成速度的有保证加速且不牺牲质量。方法适用于自回归 LLM、扩散模型和 Flow Matching 算法,在合成数据和真实文本/图像生成任务上验证了效果。

INSIGHTWarm-Start 思想为生成式推荐模型的推理加速提供了新思路:用简单模型(如浅层网络或基于规则的快速召回)生成初始候选,再用复杂的生成模型精化。这种两阶段架构与推荐系统中的召回-精排范式天然契合,有望降低生成式推荐模型的在线推理延迟。

Minyoung Kim
arXiv·2026-03-19·Relevance 2 · Novelty 4 · Practical 3 · Evidence 3 · Timely 5

其他赛道今日

点击切换
Personalization
10
个性化推荐 · 篇入选
AI Search
10
AI 搜索 · 篇入选
Agentic
10
智能体搜索 · 篇入选
Infra
8
系统与索引 · 篇入选