2026-04-17 周五 · Infra

独立报告页 · 在站内浏览(含往期切换)→
Generative生成式推荐 · 7 篇Personalization个性化推荐 · 10 篇AI SearchAI 搜索 · 10 篇Agentic智能体搜索 · 10 篇Infra系统与索引 · 10 篇

今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注:语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 22 篇,入选 10 篇,分数 3.70 – 4.30

本期目录 · 10 篇
  1. 01Sandwich: Joint Configuration Search and Hot-Switching for Efficient CPU LLM Serving
  2. 02Calibrated Speculative Decoding: Frequency-Guided Candidate Selection for Efficient Inference
  3. 03Robust Ultra Low-Bit Post-Training Quantization via Stable Diagonal Curvature Estimate
  4. 04SpecBranch: Speculative Decoding via Hybrid Drafting and Rollback-Aware Branch Parallelism
  5. 05YOCO++: Enhancing YOCO with KV Residual Connections for Efficient LLM Inference
  6. 06SparseBalance: Load-Balanced Long Context Training with Dynamic Sparse Attention
  7. 07Event Tensor: A Unified Abstraction for Compiling Dynamic Megakernel
  8. 08MOONSHOT: A Framework for Multi-Objective Pruning of Vision and Large Language Models
  9. 09A KL Lens on Quantization: Fast, Forward-Only Sensitivity for Mixed-Precision SSM-Transformer Models
  10. 10Vec-LUT: Vector Table Lookup for Parallel Ultra-Low-Bit LLM Inference on Edge Devices
LEAD STORY · 今日必读

Sandwich: Joint Configuration Search and Hot-Switching for Efficient CPU LLM Serving

CPU 在 LLM 推理中因成本低、可用性高而具有重要价值,但 prefill 和 decode 阶段资源需求冲突导致性能瓶颈。Sandwich 提出了一套全栈 CPU LLM 推理优化方案,通过联合配置搜索(考虑 sub-NUMA 硬件结构)和热切换机制消除跨阶段干扰。该方法在非拆分部署约束下,通过动态切换 prefill/decode 配置实现最优资源利用,显著提升 CPU 推理的吞吐量和延迟表现。

相关 4新颖 4实用 5证据 3时效 4
4.30
综合分 / 5
偏好调整 4.30
KEY INSIGHT · 对业务意味着什么Sandwich 的核心创新在于将 CPU LLM 推理建模为资源配置优化问题,并引入 sub-NUMA 感知的搜索空间和运行时热切换机制。对于搜索推荐系统而言,CPU 推理优化提供了一条低成本部署 LLM 的路径,特别适合边缘场景或成本敏感的在线推理服务。热切换思路可借鉴于 prefill/decode 分离部署中的资源动态分配。
Juntao Zhao, Jiuru Li, Chuan Wu · 2026-04-16 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.10

Calibrated Speculative Decoding: Frequency-Guided Candidate Selection for Efficient Inference

投机解码通过小模型草稿绕过全量验证来加速自回归生成,但传统框架因频繁误拒(语义正确但词汇不同的输出)而效率受限。本文提出 Calibrated Speculative Decoding (CSD),一种无需训练的框架,通过频率引导的候选选择机制恢复被标准验证丢弃的有效 token,显著提升推理加速比,同时保持输出质量。

INSIGHTCSD 的核心思路是在投机解码验证阶段引入频率校准,解决了 draft model 语义正确但词汇不匹配导致的误拒问题。对搜索推荐系统中 LLM 在线推理场景,这种免训练的加速方案可以直接应用于现有投机解码管线,降低部署复杂度的同时提升解码吞吐量。

Xuwen Zhou, Fangxin Liu, Chao Wang, Xiao Zheng, Hao Zheng, Min He, Li Jiang, Haibing Guan
arXiv·2026-04-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
03 4.10

Robust Ultra Low-Bit Post-Training Quantization via Stable Diagonal Curvature Estimate

大语言模型部署面临显存和算力瓶颈,训练后量化 (PTQ) 是关键压缩手段。现有基于 Hessian 的 PTQ 方法在低比特场景下因校准数据有限导致曲率估计噪声大而性能退化。本文提出 DASH-Q,通过稳定的对角曲率估计替代跨通道依赖的 Hessian 方法,在超低比特(W2/W3)量化下仍保持较高精度,无需重训练即可大幅压缩模型体积。

INSIGHTDASH-Q 的关键创新在于用稳定的对角曲率估计替代传统 Hessian 矩阵方法,解决了低比特量化中小样本校准导致的噪声问题。对搜索推荐系统,W2/W3 级别的量化可以将 LLM 推理显存需求压缩到原来的 1/4 甚至更低,适用于多模型并行部署或资源受限场景。

Jaemin Kim, Sungkyun Kim, Junyeol Lee, Jiwon Seo
arXiv·2026-04-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
04 4.00

SpecBranch: Speculative Decoding via Hybrid Drafting and Rollback-Aware Branch Parallelism

现有投机解码方法受限于草稿模型与目标模型的串行执行导致的互等气泡。SpecBranch 提出混合草稿策略结合回滚感知的分支并行机制,消除 draft/target 模型之间的串行等待。通过分支并行执行和回滚感知调度,实现了更高的推理并行度和加速比,是投机解码框架的架构级改进。

INSIGHTSpecBranch 通过分支并行执行打破了投机解码中 draft-verify 的串行瓶颈,配合回滚感知机制减少无效计算。对搜索推荐的 LLM 在线推理场景,这种架构级优化可与 CSD 等验证层优化互补,进一步压缩首 token 延迟和端到端推理时间。

Yuhao Shen, Junyi Shen, Quan Kong, Tianyu Liu, Yao Lu, Cong Wang
arXiv·2026-04-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 4
05 3.85

YOCO++: Enhancing YOCO with KV Residual Connections for Efficient LLM Inference

跨层 KV 压缩是降低 LLM 推理内存消耗的有效手段,但通常伴随非可忽略的性能退化。本文在 YOCO(将中间层 KV 共享给上半层)基础上提出 YOCO++,通过 KV 残差连接增强跨层 KV 共享的表达能力。实验表明在保持低内存占用的同时显著缩小了与全 KV cache 的性能差距。

INSIGHTYOCO++ 的核心思路简洁而有效:在跨层 KV 共享中引入残差连接,用极小的额外计算开销恢复因 KV 共享丢失的信息。这为搜索推荐场景中 LLM 长上下文推理的内存优化提供了即插即用的方案,特别适合需要处理较长 query 上下文或多轮对话的搜索场景。

You Wu, Ziheng Chen, Yizhen Zhang, Haoyi Wu, Chengting Yu, Yuchi Xu, Wenbo Su, Bo Zheng, Kewei Tu
arXiv·2026-04-16·Relevance 4 · Novelty 3 · Practical 4 · Evidence 3 · Timely 5
06 3.80

SparseBalance: Load-Balanced Long Context Training with Dynamic Sparse Attention

稀疏注意力可缓解长上下文 LLM 训练的计算瓶颈,但分布式训练中序列长度和稀疏敏感度的极端异构性导致严重的负载不均衡问题。SparseBalance 提出系统化协同优化方案,同时解决序列长度异构和稀疏敏感度异构两个问题,实现了动态稀疏注意力下的分布式训练负载均衡。

INSIGHTSparseBalance 首次系统性地将序列长度异构和稀疏敏感度异构纳入统一优化框架。对搜索推荐系统中长文档、变长序列的训练场景(如文档理解、长 query 建模),这种负载均衡方案可显著提升分布式训练效率,降低 GPU 空闲浪费。

Hongtao Xu, Jianchao Tan, Yuxuan Hu, Pengju Lu, Hongyu Wang, Pingwei Sun, Yerui Sun, Yuchen Xie, Xun...
arXiv·2026-04-16·Relevance 3 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
07 3.80

Event Tensor: A Unified Abstraction for Compiling Dynamic Megakernel

现代 GPU 工作负载(尤其是 LLM 推理)受限于 kernel 启动开销和粗粒度同步。Megakernel 技术将多个算子融合为单一持久化 kernel,但难以处理动态形状和数据依赖计算。本文提出 Event Tensor,一种统一的编译器抽象,用于编译支持动态形状的 megakernel,消除启动间隙并暴露 kernel 间并行性。

INSIGHTEvent Tensor 在编译器层面解决了 LLM 推理中动态 megakernel 的关键挑战,提供了统一抽象来处理动态形状和数据依赖。对于搜索推荐系统中的模型推理管线,这种底层编译优化可以自动提升整体推理性能,特别是在多算子组合的复杂模型中效果显著。

Hongyi Jin, Bohan Hou, Guanjie Wang, Ruihang Lai, Jinqi Chen, Zihao Ye, Yaxing Cai, Yixin Dong, Xinh...
arXiv·2026-04-16·Relevance 3 · Novelty 5 · Practical 3 · Evidence 3 · Timely 5
08 3.80

MOONSHOT: A Framework for Multi-Objective Pruning of Vision and Large Language Models

权重剪枝是压缩大型神经网络的常用技术。本文聚焦训练后一次性剪枝场景,指出现有方法通常优化单一目标(逐层重建损失或二阶 Taylor 近似),而这两种目标各有局限。MOONSHOT 提出多目标剪枝框架,联合优化多个目标函数以获得更稳健的剪枝结果,适用于视觉模型和 LLM。

INSIGHTMOONSHOT 的实用价值在于提供了一个统一的多目标剪枝框架,避免了单一目标剪枝在不同场景下的不稳定性。对搜索推荐系统中需要部署多种规模模型的场景,多目标剪枝可以更好地在模型大小、速度和精度之间权衡,实现更灵活的模型压缩策略。

Gabriel Afriat, Xiang Meng, Shibal Ibrahim, Hussein Hazimeh, Rahul Mazumder
arXiv·2026-04-16·Relevance 3 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
09 3.80

A KL Lens on Quantization: Fast, Forward-Only Sensitivity for Mixed-Precision SSM-Transformer Models

在边缘设备部署 LLM 面临算力和显存限制,混合架构(SSM + Transformer)提供了效率与性能的平衡,但激进量化对不同组件的影响不均匀。本文提出基于 KL 散度的前向-only 灵敏度分析方法,快速确定 SSM-Transformer 混合模型的混合精度配置,无需反向传播即可完成灵敏度估计。

INSIGHTKL 散度灵敏度分析的核心优势是仅需前向推理即可快速评估各层量化灵敏度,大幅降低混合精度搜索成本。对搜索推荐中新兴的 SSM-Transformer 混合架构(如 Mamba + Attention),这种快速量化方案可以在部署前高效确定最优精度配置。

Jason Kong, Nilesh Prasad Pandey, Flavio Ponzina, Tajana Rosing
arXiv·2026-04-16·Relevance 3 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
10 3.70

Vec-LUT: Vector Table Lookup for Parallel Ultra-Low-Bit LLM Inference on Edge Devices

随着 LLM 量化从 8-bit 推进到 4-bit、2-bit 甚至 1.58-bit,基于查表 (LUT) 的推理使得 CPU 在超低比特 LLM 上甚至快于 NPU。但本文发现 LUT 推理存在并行度不足的性能瓶颈。Vec-LUT 提出向量化查表方案,通过 SIMD 并行化将超低比特 LLM 在边缘设备上的推理性能大幅提升。

INSIGHTVec-LUT 揭示了 LUT 推理在超低比特场景下的并行瓶颈并给出了向量化解决方案。对搜索推荐系统中边缘推理和端侧部署场景,1-2 bit 量化 + 向量化 LUT 推理的组合提供了极低算力需求下的 LLM 部署路径,适合移动端搜索和嵌入式推荐。

Xiangyu Li, Chengyu Yin, Weijun Wang, Jianyu Wei, Ting Cao, Yunxin Liu
arXiv·2026-04-16·Relevance 3 · Novelty 4 · Practical 4 · Evidence 3 · Timely 4

其他赛道今日

点击切换
Generative
7
生成式推荐 · 篇入选
Personalization
10
个性化推荐 · 篇入选
AI Search
10
AI 搜索 · 篇入选
Agentic
10
智能体搜索 · 篇入选