2026-04-10 周五 · Infra

独立报告页 · 在站内浏览（含往期切换）→
Generative生成式推荐 · 10 篇Personalization个性化推荐 · 7 篇AI SearchAI 搜索 · 10 篇Agentic智能体搜索 · 10 篇Infra系统与索引 · 10 篇

今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 796 篇，入选 10 篇，分数 3.80 – 4.45

本期目录 · 10 篇
  1. 01Dual-Pool Token-Budget Routing for Cost-Efficient and Reliable LLM Serving
  2. 02Fast Heterogeneous Serving: Scalable Mixed-Scale LLM Allocation for SLO-Constrained Inference
  3. 03MegaTrain: Full Precision Training of 100B+ Parameter Large Language Models on a Single GPU
  4. 04Robust Length Prediction: A Perspective from Heavy-Tailed Prompt-Conditioned Distributions
  5. 05Blink: CPU-Free LLM Inference by Delegating the Serving Stack to GPU and SmartNIC
  6. 06AsyncTLS: Efficient Generative LLM Inference with Asynchronous Two-level Sparse Attention
  7. 07Prune-Quantize-Distill: An Ordered Pipeline for Efficient Neural Network Compression
  8. 08Efficient Quantization of Mixture-of-Experts with Theoretical Generalization Guarantees
  9. 09DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification
  10. 10BTC-LLM: Efficient Sub-1-Bit LLM Quantization via Learnable Transformation and Binary Codebook
LEAD STORY · 今日必读 · Red Hat / McGill University

Dual-Pool Token-Budget Routing for Cost-Efficient and Reliable LLM Serving

针对生产环境中 vLLM 集群因按最长上下文配置导致的 KV-cache 过度分配和吞吐量浪费问题，提出双池 token 预算路由机制。该方法将同构 GPU 集群划分为高吞吐短上下文池和高容量长上下文池，基于在线学习的 bytes-to-token 比率进行请求路由。实验表明可消除 OOM 崩溃和请求拒绝，同时将短请求吞吐量提升 4-8 倍。

arXiv ↗
相关 4新颖 4实用 5证据 4时效 5
4.45
综合分 / 5
偏好调整 4.45
KEY INSIGHT · 对业务意味着什么核心创新在于识别了 vLLM 生产部署中「配置-流量不匹配」这一根本问题——80-95% 的请求是短文本但按长上下文配置服务。双池路由是一种轻量级、无需模型修改的调度优化，可直接应用于搜索场景中 LLM serving 的成本优化。对于使用 vLLM 部署搜索/排序模型的团队，这种池化策略可显著降低推理成本。
Xunzhuo Liu, Bowei He, Xue Liu, Andy Luo, Haichen Zhang, Huamin Chen · 2026-04-10 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.20

Fast Heterogeneous Serving: Scalable Mixed-Scale LLM Allocation for SLO-Constrained Inference

解决大规模 LLM 推理部署中异构 GPU 资源分配难题：需要同时选择基础模型、配置异构 GPU 并行策略和分配工作负载，且满足延迟、精度和预算约束。提出两种约束感知启发式算法（贪心和自适应贪心），包含 TP 感知可行性选择和 GPU 合并机制。在基于 Azure LLM Inference Trace (2025) 校准的工作负载上，两种算法均可在 1 秒内生成可行方案，AGH 接近最优成本。

INSIGHT该工作将 LLM serving 的资源分配建模为带约束的优化问题，提供了实用的启发式解法替代昂贵的 MILP 精确求解。对于需要在异构 GPU 集群上部署多种搜索/推荐模型的团队，这种方法可以自动化资源分配决策。基于 Azure 真实 trace 的校准增强了实用价值。

Jiaming Cheng, Duong Tung Nguyen
arXiv·2026-04-10·Relevance 4 · Novelty 3 · Practical 5 · Evidence 4 · Timely 5
03 4.20

MegaTrain: Full Precision Training of 100B+ Parameter Large Language Models on a Single GPU

提出 MegaTrain，一种以内存为中心的系统，能在单张 GPU 上完成 100B+ 参数 LLM 的全精度训练。核心设计将参数和优化器状态存储在主机内存中，GPU 仅作为瞬态计算引擎。通过流水线双缓冲执行引擎重叠参数预取、计算和梯度卸载，以及无状态层模板替代持久自动微分图。在单张 H200 GPU (1.5TB 主机内存) 上可训练 120B 参数模型，训练 14B 模型时吞吐量是 DeepSpeed ZeRO-3 CPU offloading 的 1.84 倍。

INSIGHTMegaTrain 颠覆了传统 GPU 中心的训练范式，将 GPU 视为「计算租户」而非存储中心。这对资源受限的搜索/推荐团队有重大意义——可以在单卡上微调大规模模型而无需 GPU 集群。双缓冲流水线和无状态层模板是可借鉴的系统设计模式，1.84 倍于 DeepSpeed 的吞吐量提升也验证了这种范式的实用性。

Zhengqing Yuan, Hanchi Sun, Lichao Sun, Yanfang Ye
arXiv·2026-04-07·Relevance 3 · Novelty 5 · Practical 4 · Evidence 4 · Timely 5
04 4.10

Robust Length Prediction: A Perspective from Heavy-Tailed Prompt-Conditioned Distributions

Nanjing University

揭示 LLM 输出长度预测的核心问题：同一 prompt 在固定模型和解码配置下产生的输出长度不是确定性标量，而是服从重尾分布。现有方法用单次采样长度作为标签是不可靠的。提出 ProD 方法，从同一 prompt 的多次独立生成中构建训练目标，开发了基于中位数的 ProD-M 变体，复用 LLM 隐层状态进行预测。

INSIGHT输出长度预测直接影响 LLM serving 的批处理、内存预留和调度效率。该工作首次从重尾分布视角分析这一问题，对搜索场景的 LLM serving 有直接启示——搜索查询的输出长度变化大，准确的长度预测可减少 GPU 内存浪费和调度延迟。ProD 方法复用隐层状态的设计避免了额外推理开销。

Jing Wang, Yu-Yang Qian, Ke Xue, Chao Qian, Peng Zhao, Zhi-Hua Zhou
arXiv·2026-04-10·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
05 3.90

Blink: CPU-Free LLM Inference by Delegating the Serving Stack to GPU and SmartNIC

KTH Royal Institute of Technology

提出 Blink，一种完全去除主机 CPU 参与的 LLM 推理架构。通过将请求处理卸载到 SmartNIC（通过 RDMA 直接将输入送入 GPU 内存），并用持久 GPU kernel 替代主机驱动的调度，实现批处理、调度和 KV-cache 管理全部在 GPU 上完成。对比 TensorRT-LLM、vLLM 和 SGLang，Blink 在预饱和区间降低了 P99 TTFT，同时支持 CPU 资源用于其他应用的混部。

INSIGHTBlink 从架构层面重新思考了 LLM serving 的计算资源分工。去 CPU 化的设计理念对高密度部署搜索/推荐推理服务有启发——释放 CPU 用于特征工程或前处理，GPU 端完成全部推理调度。SmartNIC + RDMA 的组合虽然对硬件有要求，但代表了数据中心 LLM 服务的未来方向。

Mohammad Siavashi, Mariano Scazzariello, Gerald Q. Maguire Jr., Dejan Kostić, Marco Chiesa
arXiv·2026-04-10·Relevance 3 · Novelty 5 · Practical 3 · Evidence 4 · Timely 5
06 3.90

AsyncTLS: Efficient Generative LLM Inference with Asynchronous Two-level Sparse Attention

Meituan

针对长上下文 LLM 推理中注意力复杂度和 KV cache 内存的双重挑战，提出 AsyncTLS 分层稀疏注意力系统。结合粗粒度 block 过滤和细粒度 token 选择，配合异步卸载引擎利用时间局部性重叠 KV cache 传输与计算。在 Qwen3 和 GLM-4.7-Flash 上（GQA 和 MLA 架构），实现与全注意力相当的精度，算子加速 1.2-10.0 倍，端到端吞吐量提升 1.3-4.7 倍（48k-96k 上下文）。

INSIGHTAsyncTLS 的分层设计巧妙平衡了稀疏注意力的精度与效率：block 级过滤降低计算量，token 级选择保持精度。异步卸载引擎利用时间局部性是关键工程创新。对搜索场景中使用长上下文 LLM（如文档级排序或多轮对话）的团队有直接参考价值，1.3-4.7 倍的吞吐量提升意味着显著的推理成本降低。

Yuxuan Hu, Jianchao Tan, Jiaqi Zhang, Wen Zan, Pingwei Sun, Yifan Lu, Yerui Sun, Yuchen Xie, Xunlian...
arXiv·2026-04-10·Relevance 3 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
07 3.85

Prune-Quantize-Distill: An Ordered Pipeline for Efficient Neural Network Compression

研究模型压缩技术的最优组合顺序，发现常用的参数量/FLOPs 等压缩代理指标并不能可靠预测实际推理延迟。提出有序压缩流水线：先非结构化剪枝、再 INT8 量化感知训练（QAT）、最后知识蒸馏。实验表明 INT8 QAT 提供主要的运行时加速，剪枝主要作为容量缩减的预处理，知识蒸馏在最后恢复精度。

INSIGHT该工作最大的实践价值在于澄清了模型压缩的常见误区：非结构化稀疏性虽然减少存储但可能并不加速 CPU 推理（由于不规则内存访问）。'先剪枝→再量化→后蒸馏'的有序流水线为搜索/推荐模型的线上压缩部署提供了经验证的最佳实践路径，优先选择 INT8 QAT 是最务实的首选方案。

Longsheng Zhou, Yu Shen
arXiv·2026-04-10·Relevance 3 · Novelty 3 · Practical 5 · Evidence 4 · Timely 5
08 3.90

Efficient Quantization of Mixture-of-Experts with Theoretical Generalization Guarantees

IBM Research

提出理论驱动的 MoE 模型混合精度量化策略，通过训练期间各专家 router l2 范数的变化量来分配比特宽度。l2 变化较小的专家捕获低频但关键的特征，对量化更敏感，因此分配更高精度。方法有理论泛化保证，无需大量计算搜索比特宽度分配方案。在视觉和语言 MoE 模型上验证，低比特宽度下显著优于均匀量化。

INSIGHT该工作为 MoE 模型量化提供了理论基础和实用指导：通过 router 范数变化这一简单信号即可判断专家量化敏感度，避免了暴力搜索。对于部署 MoE 架构搜索/推荐模型的团队，这种方法可以在保持模型质量的同时显著降低内存和计算开销。IBM Research 的背景增加了工业可信度。

Mohammed Nowaz Rabbani Chowdhury, Kaoutar El Maghraoui, Hsinyu Tsai, Naigang Wang, Geoffrey W. Burr,...
arXiv·2026-04-10·Relevance 3 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
09 3.80

DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification

AmazonPurdue University

提出 DIVERSED，一种放松验证约束的推测解码框架。传统推测解码的验证步骤严格要求接受的 token 分布完全匹配目标模型，导致大量合理 token 被拒绝，限制了加速效果。DIVERSED 学习一个基于集成的验证器，以任务依赖和上下文依赖的权重混合草稿模型和目标模型的分布，在保持生成质量的同时显著提升推理效率。

INSIGHT推测解码的验证瓶颈是一个关键但被忽视的问题。DIVERSED 的动态集成验证器通过自适应放松约束，在精度和速度之间找到更优的平衡点。对于搜索场景中需要低延迟 LLM 推理（如实时 query 改写或排序）的应用，推测解码的加速效果直接影响用户体验。Amazon 的参与暗示了工业应用潜力。

Ziyi Wang, Siva Rajesh Kasa, Ankith M S, Santhosh Kumar Kasa, Jiaru Zou, Sumit Negi, Ruqi Zhang, Nan...
arXiv·2026-04-10·Relevance 3 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
10 3.80

BTC-LLM: Efficient Sub-1-Bit LLM Quantization via Learnable Transformation and Binary Codebook

MicrosoftHKUST

提出 BTC-LLM，一种突破 1-bit 精度限制的 LLM 量化框架。通过二进制模式聚类（Binary Codebook）和可学习变换（Learnable Transformation）两项创新实现 sub-1-bit 压缩：Binary Codebook 用自定义距离度量和符号更新将重复向量聚类为紧凑索引；Learnable Transformation 减少离群值并促进二进制权重间的符号模式共享，消除稀疏掩码依赖。在 LLaMA、Qwen 和 FBI-LLM 上验证了有效性。

INSIGHTSub-1-bit 量化代表了模型压缩的极限探索。BTC-LLM 通过消除稀疏掩码使推理可以在标准硬件上高效运行，这是相比前序工作的关键实用性突破。虽然 sub-1-bit 精度对搜索/推荐核心排序模型可能过于激进，但对于需要在边缘设备部署的查询理解或意图分类等轻量模型有实际应用价值。Microsoft 和 HKUST 的联合研究增加了可信度。

Hao Gu, Lujun Li, Hao Wang, Lei Wang, Zheyu Wang, Bei Liu, Jiacheng Liu, Qiyuan Zhu, Sirui Han, Yike...
arXiv·2026-04-10·Relevance 3 · Novelty 5 · Practical 3 · Evidence 4 · Timely 4

其他赛道今日

点击切换
Generative
10
生成式推荐 · 篇入选Personalization
7
个性化推荐 · 篇入选AI Search
10
AI 搜索 · 篇入选Agentic
10
智能体搜索 · 篇入选