2026-11-13 周五 · 系统与索引

今日场景今天基础设施赛道的主线是显存不够时,数据该放在哪、什么时候搬。推理侧,VerKV 把全量 KV cache 留在 CPU 内存,误差超标时才去取。SinkState 发现线性注意力的状态是低秩的,可以一直压着存。Ostinato 把最常被路由的专家常驻显存,让本地 agent 的短 prefill 用上 GPU。训练侧,OOM 在单机上同时规划专家执行和显存分配,TRANSIT 不改训练代码就让多机训练少用一半的卡。Evolving Infra 按 agent 的上下文状态决定保留哪些 KV。 — 评分 93 篇,入选 10 篇,分数 3.80 – 4.30

本期目录 · 10 篇
  1. 01Dynamic Graph Indexing for Label-Filtered Approximate Nearest Neighbor Search
  2. 02Multi-Future Drafting: Mixture Block Drafters for Tree-Verified Speculative Decoding
  3. 03SinkState: On-the-Fly SVD of Recurrent States for Efficient Hybrid LLM Serving
  4. 04Evolving Infra: Agent-Adaptive LLM Serving at Scale
  5. 05Verify Before You Fetch: Reliable KV Cache Compression for LLM Inference
  6. 06OOM: Offload-Optimized Full-Parameter MoE Training via Memory-Execution Co-Design
  7. 07Ostinato: Fast CPU-GPU MoE Inference for Local Agents via Resident Experts in Every Forward Pass
  8. 08Why Kubernetes Cannot Contain a Full Lazy-Pulling Cache: Two Impossibility Results and a Bounded, Honest Design for Model Serving
  9. 09OverlapAdvisor: Modeling and Adapting Computation-Communication Overlap for Distributed MoE Serving
  10. 10TRANSIT: Transparent Scale-in for Multi-Node LLM Training
LEAD STORY · 今日必读

Dynamic Graph Indexing for Label-Filtered Approximate Nearest Neighbor Search

向量召回常常要带过滤条件,比如只在某几个标签或类目下找最近邻。难点在于 HNSW 这类图索引一按标签过滤,大量边被剪掉,符合条件的点彼此连不上,搜索就困在局部。DYLAN 把物品按标签集合排进一棵前缀树,只在部分树节点上建共享的图索引,每个物品只进对数级个索引。查询横跨多个区域时,它借上层祖先节点的图当桥,在区域之间跳。

相关 5新颖 4实用 4证据 4时效 4
4.30
综合分 / 5
偏好调整 4.35
Mengxu Jiang, Zhi Yang, Fangyuan Zhang, Yin Yang, Sibo Wang · 2026-11-09 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.10

Multi-Future Drafting: Mixture Block Drafters for Tree-Verified Speculative Decoding

📖 深度解读 · 16 分钟 →

投机解码里,一次前向就起草一整块 token 的草稿模型很快,但它给每个位置单独一个分布。后文有两种同样合理的措辞时,按各位置概率连乘排出的草稿树会把两种说法拼成目标模型根本不会说的句子。作者证明,这类树想同时放下两种说法,就必须给它们的拼接也分预算,草稿模型训得再好也绕不开,因为连乘本身表达不了位置之间的关联。实测 64 个节点的树里约三成节点是这种拼接。

Haoyu Huang, Jialiang Kang, Linlin Yang, Xiao Yang, Baochang Zhang
arXiv·2026-11-09·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
03 4.10

SinkState: On-the-Fly SVD of Recurrent States for Efficient Hybrid LLM Serving

📖 深度解读 · 15 分钟 →

混合模型里的线性注意力层把历史压进一个固定大小的状态矩阵,解码时每一步都要把它整块读出再写回。batch 一大,这部分显存读写就占了解码时间的大头。作者发现这些状态其实是低秩的:线性层每一步写进和读出状态的向量集中在一个很小、而且不随内容变化的子空间里,少数几个分量就能还原 99% 的状态。

Haolin Jiang, Weihang Li, Zhongzhu Zhou, Jinwen Pan, Santosh Pandey, Hang Liu
arXiv·2026-11-10·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 4.00

Evolving Infra: Agent-Adaptive LLM Serving at Scale

📖 深度解读 · 17 分钟 →

Agent 负载给推理集群出了两道难题。有的 agent 偏 prefill,有的偏 decode,比例还随时间漂移,固定的 prefill 和 decode 节点配比总有时段吃亏。上下文压缩和子 agent 又改变了哪些 KV 值得留:子 agent 跑了几分钟回来,提示几乎全能复用之前的 KV,刚压缩完上下文的请求却大多用不上。按最近访问时间淘汰 KV,正好删错。

Hao Kang, Weili Xu, Ziyang Li, Zheng Du, Hanchen Li, Tian Xia, Song Bian, Tushar Krishna, Huizi Mao 等 11 人
arXiv·2026-11-09·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
05 4.00

Verify Before You Fetch: Reliable KV Cache Compression for LLM Inference

长上下文和 agent 场景里,KV cache 常常超出显存,只能放到 CPU 内存,每步把 KV 搬回 GPU 又拖慢推理。只在 GPU 上留一份压缩 KV 的做法省掉了搬运,却没有任何误差保证,压缩比一高效果就塌。VerKV 在 GPU 上放两样东西:一小份按重要性随机抽样的 token,和一份很省空间的全量 KV 概要,用来快速估算每个 token 和当前 query 的相关度。每步先用它们估算这次注意力计算的误差,在用户给定的容忍度内就直接算,超了才去 CPU 补取需要的 token。在 RULER 和 LOFT 上,GPU 只放八分之一的 KV 时,它平均保住 96% 的全量效果,每生成一个 token 只需取回 2% 到 23% 的 cache。随机抽样的好处是能估出误差,于是知道什么时候必须去 CPU 取。

Devanshu Jha, Gaurav Kumar, Agniva Chowdhury, Kumar Krishna Agrawal, Aditya Desai
arXiv·2026-11-08·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
06 4.00

OOM: Offload-Optimized Full-Parameter MoE Training via Memory-Execution Co-Design

把模型状态放在 CPU 内存、按层把权重流进 GPU,一台多卡机器也能全参数训练大 MoE。这时显存成了一笔要分配的预算,常驻的专家参数、保留的激活值和计算时的临时空间都在抢它,分法直接决定一步训练多快。OOM 把专家怎么执行和显存怎么分放在一起规划,用校准过的代价模型加短时试跑,在专家并行和每卡本地算全部专家这两条路径里选最快的配置。显存分法一变,哪条执行路径更快也可能反过来,所以两件事要一起定。在四张 H100 上,它能训练 1M token 的上下文,FSDP2 等基线在 512K 就耗尽显存。吞吐平均是 CPU 卸载版 FSDP2 的 1.58 倍,用的主存还最少。

Ruijia Yang, Shiyuan Lin, Chengxi Liao, Zeyi Wen
arXiv·2026-11-08·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
07 4.00

Ostinato: Fast CPU-GPU MoE Inference for Local Agents via Resident Experts in Every Forward Pass

在几张消费级显卡上本地跑大 MoE 模型做 agent,专家放不下,一部分只能留在 CPU 内存。现有引擎只能二选一:要么 decode 快,但每次工具返回后的短 prefill 用不上显存里的专家,agent 要干等两秒多;要么 prefill 快,decode 却慢一截。作者的观察是,短 prefill 用到的不同专家很多,但 token 实际被路由到的地方很集中:开发会话里最常用的 44% 专家,接住了新会话 84% 的路由。Ostinato 把这批专家常驻显存,不管 prefill 还是 decode,每次前向都在 GPU 上算它们,冷门专家交给 CPU,模型算出的结果不变。在 DeepSeek-V4-Flash 上,它跑完整个 agent 会话最多比现有引擎快 2.5 倍。按路由次数而不是按专家个数去数,短 prefill 也值得放在 GPU 上算。

Junning Zhu
arXiv·2026-11-08·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
08 4.00

Why Kubernetes Cannot Contain a Full Lazy-Pulling Cache: Two Impossibility Results and a Bounded, Honest Design for Model Serving

在 Kubernetes 上用懒加载拉取镜像,模型服务冷启动几乎不受模型大小影响,代价是模型文件都写进节点上一块不限额、平台也不记账的缓存。缓存写满后,已经在线的 Pod 开始读不出模型文件,健康检查却全是绿的。作者用实验说明运维手里的两条补救都不管用。读几个哨兵文件的就绪检查,在 280 个文件坏了 272 个时仍报正常。Kubernetes 看到磁盘压力后一个字节也没释放,反而驱逐了一批无关的 Pod,因为它的回收机制不知道这块缓存存在。问题只能在真正持有这些字节的组件里解决。作者给缓存加了按磁盘实际占用触发的硬性字节预算,缓存写失败时照样把数据交给读取方,只是不存。改完后所有模型文件都能读出,完成时间多 18.5%。

Georgii Kliukovkin
arXiv·2026-11-09·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
09 4.00

OverlapAdvisor: Modeling and Adapting Computation-Communication Overlap for Distributed MoE Serving

MoE 推理做专家并行时,token 要通过 All-to-All 发到各卡上的专家,通信和计算怎么重叠已经有 Comet、FlashMoE、DeepEP 等好几种做法。作者在 103 种线上 MoE 结构、从 decode 到长 prefill 的多种输入长度和四种 GPU 平台上统一测了一遍,发现没有哪种做法通吃,表现最好的那种也只在 80.6% 的配置里最快。OverlapAdvisor 用一个统一的性能模型估算每种做法在给定配置下的耗时,模型里考虑了实际带宽和算力达不到峰值的程度,服务启动时直接挑出最快的那种,不用现场跑测试。在 SGLang 和 vLLM 里,端到端吞吐最多提高 31.7%。重叠策略应该按模型结构、专家并行度和输入长度来挑,固定用一种总会在某些配置上吃亏。

Chutong Ding, Kaixuan Zhang, Luping Wang, Shiyou Qian, Jian Cao, Cheng Huang, Guodong Yang 等 8 人
arXiv·2026-11-09·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
10 3.80

TRANSIT: Transparent Scale-in for Multi-Node LLM Training

UIUCIBM

大模型训练常常只是为了凑显存才加机器,可机器一多,集合通信的参与方就多,网络更容易拥塞。TRANSIT 换个方向,用 CPU 内存给 GPU 显存扩容,让同一个训练任务用更少的卡跑完。它在用户态拦截所有显存分配,转到统一虚拟内存上,不用改训练代码、框架、调度器或驱动。光靠统一虚拟内存默认的按缺页搬数据会很慢,所以 TRANSIT 让经常复用的激活和半精度参数留在显存,优化器状态这类少用的数据由 GPU 直接从主存读,不搬进显存。在 H100 集群上,GPU 数量减半时仍保住 90% 以上的单卡吞吐,单卡吞吐最多比 ZeRO-Offload 高 59%。机器少了,通信的参与方也少了,网络拥塞的影响跟着变小。

Hyungyo Kim, Nicholas Satchanov, Hrishi Shah, Gaohan Ye, Jiaqi Lou, Robert Walkup, Shweta Salaria 等 12 人
arXiv·2026-10-06·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 2

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 5 个项目