2026-03-30 周一 · Infra

独立报告页 · 在站内浏览（含往期切换）→
Generative生成式推荐 · 2 篇Personalization个性化推荐 · 4 篇AI SearchAI 搜索 · 1 篇Agentic智能体搜索 · 5 篇Infra系统与索引 · 5 篇

今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 7 篇，入选 5 篇，分数 3.15 – 4.10

本期目录 · 5 篇
  1. 01KV Cache Optimization Strategies for Scalable and Efficient LLM Inference
  2. 02Demystifying When Pruning Works via Representation Hierarchies
  3. 03A Pipelined Collaborative Speculative Decoding Framework for Efficient Edge-Cloud LLM Inference
  4. 04ConFu: Contemplate the Future for Better Speculative Sampling
  5. 05Qwen3-Coder-Next Technical Report
LEAD STORY · 今日必读

KV Cache Optimization Strategies for Scalable and Efficient LLM Inference

本文系统性综述了 LLM 推理中 KV cache 优化的五大技术方向：缓存驱逐（eviction）、缓存压缩（compression）、混合内存（hybrid memory）、新型注意力机制（novel attention）和组合策略。随着上下文窗口从千级扩展到百万级 token，KV cache 成为 GPU 显存和推理吞吐的关键瓶颈。论文对比了各方案在内存降低、吞吐提升和模型精度方面的 trade-off，结论是最优策略高度依赖上下文长度、硬件约束和负载特征。

arXiv ↗
相关 4新颖 3实用 5证据 4时效 5
4.10
综合分 / 5
偏好调整 4.20
KEY INSIGHT · 对业务意味着什么KV cache 优化是 LLM serving 的核心工程问题。本综述的实践价值在于提供了清晰的技术选型框架：短上下文用缓存驱逐、长上下文用混合内存+压缩、高吞吐场景用组合策略。对搜索系统中 LLM 的部署，KV cache 管理直接影响能支持多大的并发量和上下文长度，是 serving 基建优化的必修课。
Yichun Xu, Navjot K. Khaira, Tejinder Singh · 2026-03-20 · arXiv

今日其余入选

4 篇 · 按综合排名
02 4.10

Demystifying When Pruning Works via Representation Hierarchies

Northeastern University

本文从表示层次结构（embedding / logit / probability 三层）视角解释了网络剪枝效果不一致的根因。核心发现：嵌入层和 logit 层对剪枝扰动具有鲁棒性，但从 logit 到概率的 softmax 转换会放大扰动，导致生成任务质量下降。而检索等非生成任务因主要依赖嵌入空间表示，对剪枝更为友好。这一理论分析为模型压缩的应用场景选择提供了清晰的指导。

INSIGHT这篇论文对搜索系统有直接指导意义：检索/排序模型（主要使用 embedding 表示）比生成模型更适合剪枝压缩。这意味着搜索场景下的 embedding 模型和 reranker 可以更激进地压缩以降低 serving 成本，而 LLM 生成式 query 理解模块则需要更保守的压缩策略。这为搜索系统中不同组件的差异化压缩策略提供了理论支撑。

Shwai He, Guoheng Sun, Haichao Zhang, Yun Fu, Ang Li
arXiv·2026-03-25·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
03 3.80

A Pipelined Collaborative Speculative Decoding Framework for Efficient Edge-Cloud LLM Inference

PicoSpec 提出了一种面向 LLM 边缘-云端协同推理的流水线化推测解码框架。核心创新在于异步流水线设计，解决了传统推测解码中边缘端和云端互等的效率瓶颈。框架在边缘端运行轻量 SLM 生成草稿 token，在云端用 LLM 验证，同时使用压缩技术减少词表分布的网络传输开销。无需额外训练即可部署，实验证明相比现有方案实现最高 2.9 倍推理加速。

INSIGHT边缘-云端协同推理是 LLM 部署的重要方向。PicoSpec 的异步流水线设计消除了推测解码中的同步等待瓶颈，对搜索服务的启示是：可将轻量 SLM 部署在靠近用户的边缘节点做初步推理，重量级 LLM 在云端做质量校验，在保证延迟 SLA 的同时降低云端计算成本。这种架构模式特别适合对延迟敏感的搜索排序场景。

Yida Zhang, Zhiyong Gao, Shuaibing Yue, Jie Li, Rui Wang
arXiv·2026-03-27·Relevance 3 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 3.80

ConFu: Contemplate the Future for Better Speculative Sampling

UCLA

ConFu 通过引入「未来注视」机制改进推测解码中的草稿模型。现有草稿模型仅基于当前前缀预测，多步推理时与目标模型产生漂移。ConFu 提出三个创新：(1) 从目标模型获取未来导向信号作为 contemplate tokens；(2) 基于 MoE 的动态 contemplate token 机制实现上下文感知预测；(3) 专门的训练方法。在 Llama 模型上比 EAGLE-3 提升 8-11% 的 token 接受率和生成速度。

INSIGHTConFu 的核心洞察是：草稿模型需要「看到未来」才能更好地逼近目标模型。这一思路对 LLM serving 基建的意义在于：推测解码的 token 接受率直接决定了加速比，8-11% 的提升意味着在相同硬件下可服务更多请求。对搜索系统中 LLM reranker 的在线推理，更高效的推测解码可显著降低 P99 延迟。

Zongyue Qin, Raghavv Goel, Mukul Gagrani, Risheek Garrepalli, Mingu Lee, Yizhou Sun
arXiv·2026-03-09·Relevance 3 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 3.15

Qwen3-Coder-Next Technical Report

Alibaba Cloud

Qwen3-Coder-Next 是阿里云开源的 80B 参数编程语言模型，推理时仅激活 3B 参数（MoE 架构），在保持强大编程能力的同时实现高效推理。训练采用以 Agent 为中心的方法，在合成编程任务和可执行环境中进行，并通过环境反馈的强化学习提升工具使用能力。模型在 SWE-Bench Verified 和 Terminal-Bench 上表现出色，基础版和指令微调版均已开源。

INSIGHTQwen3-Coder-Next 的 80B/3B 激活比例展示了 MoE 架构在专业领域的效率潜力。对搜索基建团队的启示：(1) MoE 使得大参数模型可以在适度计算预算下运行，为搜索系统中引入大参数模型提供了路径；(2) Agent-centric 训练方法可借鉴到搜索系统的自动化开发工具链中；(3) 开源模型可作为内部代码补全和搜索系统开发的辅助工具。

Ruisheng Cao, Mouxiang Chen, Jiawei Chen et al.
arXiv·2026-02-28·Relevance 2 · Novelty 4 · Practical 3 · Evidence 4 · Timely 4

其他赛道今日

点击切换
Generative
2
生成式推荐 · 篇入选Personalization
4
个性化推荐 · 篇入选AI Search
1
AI 搜索 · 篇入选Agentic
5
智能体搜索 · 篇入选