Generative生成式推荐 · 10 篇Personalization个性化推荐 · 10 篇AI SearchAI 搜索 · 10 篇Infra系统与索引 · 10 篇Embodied AI具身智能 · 10 篇

今日场景今天推理系统这条线的主题，是把服务里写死的配置换成按负载实测和调整。TableTune 把投机解码每步猜几个 token 的表改成实测出来、上线后自己修正。FlatCake 让内存和 SSD 平级存 KV cache。ConfluxServe 让 prefill 和 decode 在同一批里各用各的并行方式，Rimuru 让专家权重和 KV cache 共用一池显存。训练侧有 TIDE 去掉 FSDP2 通信里的来回拷贝，另有一篇 SGLang 的安全复盘，讲分离部署下 KV cache 怎么串进了别人的请求。 — 评分 178 篇，入选 10 篇，分数 4.10 – 4.55

本期目录 · 10 篇
  1. 01TableTune: Measured, Self-Correcting Draft-Length Tables for Dynamic Speculative Decoding
  2. 02FlatCake: A Flat KVCache Storage Architecture for LLM Serving
  3. 03ConfluxServe: Reconciling Resource Utilization and Parallelism Efficiency across Prefill and Decode in LLM Serving
  4. 04Nemotron 3.5 Super and Lightning: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Models for Agentic AI
  5. 05The Endgame of FSDP Communication: Layout-Aware Collectives on Copy Engines, RDMA, and NVSwitch
  6. 06Rimuru: Unified Memory Management for Modern LLM Serving via Elastic Expert Offloading
  7. 07SGLang security update: improving request isolation
  8. 08DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
  9. 09A Unified Hessian-Guided Framework for Post-Training Quantization
  10. 10DWISE: Denoising Workload-Informed Scheduling Engine
LEAD STORY · 今日必读

TableTune: Measured, Self-Correcting Draft-Length Tables for Dynamic Speculative Decoding

投机解码只在 GPU 还有空闲算力时才划算：同一批里的请求越多，小模型每步该替大模型猜的 token 就该越少。vLLM 让运维按批大小手写一张猜几个的表，但没人去测这张表对不对，有用户报告开了投机反而比不开还慢。TableTune 在 vLLM 自己的服务路径上把每种批大小、每种猜测长度都实测一遍，几分钟算出吞吐最高的表。上线后，插件读取 vLLM 记录的猜中次数，结合测好的单步耗时，重算每种批大小下每秒能产出多少有效 token，挑最高的长度重写这张表。在一个 MoE 模型上，以每种负载下最快的固定猜测长度为基准，vLLM 文档里给的表最多慢 18%，实测出来的表最多慢 3%。这张表应该测出来，而不是照抄文档。

📖 深度解读 · 14 分钟arXiv ↗
相关 5新颖 4实用 5证据 4时效 4
4.55
综合分 / 5
偏好调整 4.60
Abhishek Malvankar, Paul Castro, Nick Mitchell, Lionel Villard · 2026-10-28 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.40

FlatCake: A Flat KVCache Storage Architecture for LLM Serving

📖 深度解读 · 13 分钟 →

大模型服务通常把内存当成 SSD 前面的一层 KV cache 缓存，可作者分析八份线上请求记录后发现，这层缓存几乎挡不住读请求。复用的块要么隔很久才再用，要么属于一个就有好几 GB 的 agent 会话，内存装不下，SSD 必然在读路径上。FlatCake 让内存和 SSD 平级，块一生成就定好去处。共享的系统提示和短回复的对话放内存，几 GB 的 agent 会话直接写 SSD。同一会话的块连续存放、不再搬动，读时从 SSD 大块直接读进 GPU。回放一份 Claude Code 线上请求记录，负载升高时，它读回、不用重算的前缀比例保持在 94%，Mooncake 降到 64%。长会话 agent 的 KV 存储应该按会话整体来规划。

Xin Huang, Teng Ma, Zhuoran Li, Yibo Zhao, Zhaoshi Li, Qianchao Zhu, Wei Yang, Chenxi Wang, Tao Xie 等 10 人
arXiv·2026-10-28·Relevance 5 · Novelty 4 · Practical 4 · Evidence 5 · Timely 4
03 4.30

ConfluxServe: Reconciling Resource Utilization and Parallelism Efficiency across Prefill and Decode in LLM Serving

📖 深度解读 · 13 分钟 →

大模型服务里，prefill 和 decode 放在一起跑能互补资源，前者吃算力，后者吃显存带宽，但两者想要的并行方式不一样。长 prompt 的 prefill 要铺到更多卡上才能按时出首 token，decode 几张卡就够。ConfluxServe 按算子分开处理。线性层里，两阶段的 token 拼成一个批，用同一份权重切分一起算。到注意力层再分开，decode 留在本组卡上算，prefill 通过两次 All-to-All 分到更多卡上并行算，两条路径同时跑，算完再拼回一个批。在线上负载上，它在延迟约束内能承受的请求量比最强基线高 1.26 到 1.62 倍。

Wenhao Chen, Hong Zhang
arXiv·2026-10-27·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
04 4.30

Nemotron 3.5 Super and Lightning: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Models for Agentic AI

NVIDIA

开源模型做 agent，能力和推理成本常常只能顾一头。NVIDIA 的 Nemotron 3.5 Super 把两头一起优化：它是 Mamba 和 Transformer 混合的 MoE 模型，每个 token 只激活约十分之一的参数，在 SWE-bench Pro 上拿到 51.78%，超过了激活参数多好几倍的上一代 Ultra。对做推理部署的人更有用的是它的部署设计：模型自带多 token 预测头来做投机解码，后训练里再专门练这个头，比不练时平均每步被接受的 token 数最多多出 21.8%；NVFP4 量化后，在交互式 agent 负载上吞吐是 BF16 的 2.43 倍。基座、后训练和量化后的权重连同训练数据一起开放。

NVIDIA, Aastha Jhunjhunwala, Aayushi Ashokkumar Srivastava, Abhibha Gupta, Abhinav Garg 等 558 人
arXiv·2026-10-28·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
05 4.30

The Endgame of FSDP Communication: Layout-Aware Collectives on Copy Engines, RDMA, and NVSwitch

用 FSDP2 训练时，参数和梯度按每个参数单独存放，通信却要一整块按 GPU 顺序排好的缓冲区，所以每一步都要来回拷贝：通信完把结果抄回参数，算完梯度再把它们打包成 fp32 大块。在一个 70B 模型的训练里，光这些拷贝就占了 6.4% 的单步时间；默认的 NCCL 通信还会抢 GPU 的计算单元，让同时在跑的矩阵乘最多慢 69%。TIDE 让通信直接按参数的存放位置收发数据，搬运交给拷贝引擎、RDMA 和 NVSwitch，几乎不占计算单元。在三种模型上，单步时间最多比原版 FSDP2 少 27.1%。通信快不快之外，数据摆放和抢不抢算力同样决定训练速度。

Zejian Wang, Yifan Zhao, Kaihui Ren, Xiaoling Zhou, Yubin Wang, Chenhao Guan, Lin Zhang, Yufeng Li 等 14 人
arXiv·2026-10-28·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
06 4.30

Rimuru: Unified Memory Management for Modern LLM Serving via Elastic Expert Offloading

在显存有限的机器上跑 MoE 大模型，常见做法是把一部分专家权重放在内存里、用到时再搬上 GPU，可显存仍被切成固定的两块：一块放专家，一块放 KV cache。请求多时 KV cache 不够，并发上不去；请求少时 KV cache 那块空着，却不能拿来多放几个专家，只能继续来回搬专家权重。Rimuru 把两者放进同一个页池，按负载随时调整：请求多就把更多专家挪出显存，给 KV cache 腾地方，请求少再把专家搬回来。为此它让每类数据按自己的页大小管理同一池显存，并改写 MoE 计算核，直接读取不连续存放的专家权重。在两张消费级显卡上，高负载时吞吐最多是 KTransformers 的 19.03 倍。

Zhiyuan Fang, Dingyang Li, Jianfeng Zhong, Bin Wang, Weixi Zhu, Cunshu Ni, Zicong Hong, Wuhui Chen 等 9 人
arXiv·2026-10-29·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
07 4.30

SGLang security update: improving request isolation

Cloudflare 的一个线上模型部署里，一个请求拿到了别的用户会话的内容。SGLang 团队复盘发现，问题出在 prefill 和 decode 分开部署的路径上：超出 prefill KV cache 容量的请求本该被拒绝，却仍走进了交接流程，decode 读到的是没为它填过的缓存页。他们还一并修了一个同类隐患：请求中途中断时，已经发出的 RDMA 写还在路上，decode 却已把目标位置还给了分配器，晚到的数据就会写进别人的 KV cache，而且不报任何错。修复办法是确认这些写入都落地后再释放。在两张 H100 上测，修复前后吞吐差别都在 2% 以内。做分离部署的团队应该升级，并核对上下文长度和缓存池容量是否匹配。

SGLang Team
技术博客·2026-10-26·Relevance 5 · Novelty 3 · Practical 5 · Evidence 4 · Timely 4
08 4.20

DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs

想在支持低比特计算的新 GPU 上拿到全部加速，权重和激活都得压到 4 bit。激活里少数通道数值特别大，常见做法是先拿一批校准数据做统计，再把这些通道缩小。DualQuant 发现不用校准数据也能做到：它只看权重，为了让量化后的权重尽量还原原权重，给每个输入通道求一个缩放系数，权重的这一列乘上它。激活的同一个通道再除以同一个系数，矩阵乘的结果不变，这组系数就顺手缩放了激活。它支持 INT4、MX、NVFP4 等多种格式，在大多数模型和格式上，精度追平或超过需要校准数据的 SmoothQuant。在 RTX 4090 上真正打包运行 4 bit 推理，吞吐最高是 BF16 的 2.46 倍。

Mahsa Salmani, Sayeh Sharify, Hesham Mostafa
arXiv·2026-10-09·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 3
09 4.20

A Unified Hessian-Guided Framework for Post-Training Quantization

训练后量化要定三件事：每层的取值范围、量化前对权重和激活做什么变换、每个权重往哪边取整。现有方法大多各管一件，各自让这一层的输出误差最小，可一层的误差小，不代表模型最终输出的变化也小。作者统计发现，单层误差几乎预测不了最终影响。要先估出这一层输出往各个方向偏一点、模型最终输出会变多少，再按这个敏感度给误差加权，才对得上。于是他们用一个近似的 Hessian 把三件事放到同一个目标下一起优化：量化让模型最终输出变了多少。在权重、激活和 KV cache 都压到 4 bit 的设置下，它在四个模型上的困惑度都是最低，最小的模型上从最好基线的 17.23 降到 16.05。

Mads Toftrup, Marco Federici, Boris van Breugel, Paul Whatmough, Markus Nagel
arXiv·2026-10-29·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 4
10 4.10

DWISE: Denoising Workload-Informed Scheduling Engine

扩散语言模型每一轮并行去噪很多个 token，本应比逐个生成快得多，但服务框架照搬了自回归模型的调度：先来先服务，prefill 优先。作者发现这两条都不适合它。一个请求要去噪多少轮差别很大，到达时又不知道，先来先服务让短请求排在长请求后面干等，只跑 prompt 的轮次又让批里大部分位置闲着。这类模型按固定长度的 token 块生成，读 prompt 和去噪每步都处理一块，代价相同。DWISE 把两者都按块的轮数算剩余工作量，剩得少的先跑，两者可同轮跑。剩余轮数先由一个小回归模型按 prompt 的字数、行数和 token 数粗估，第一轮去噪后，再把模型最后一层的隐藏状态取平均，交给一个两层小网络重估一次。在五个模型上，原版 SGLang 的平均端到端延迟是它的 5.4 倍。

Lie Li, Wen Li, Junxiao Shen, Jindong Gu, Guosheng Hu
arXiv·2026-10-29·Relevance 4 · Novelty 4 · Practical 4 · Evidence 5 · Timely 4

其他赛道今日

点击切换
Generative
10
生成式推荐 · 篇入选Personalization
10
个性化推荐 · 篇入选AI Search
10
AI 搜索 · 篇入选Embodied AI
10
具身智能 · 篇入选

开源雷达

GitHub / HuggingFace 热门 · 5 个项目
Alibaba-DAMO-Academy/RynnUnify-Agentic-Reasonerpipeline: image-text-to-text; tags: transformers, safetensors, qwen3_vl, image-text-to-text, rynnunify, embodied-ai, visual-reasoning, reinforcement-learningmodel · ★ 4 · 2026-10-22 · HuggingFaceAlibaba-DAMO-Academy/RynnUnify-GEU-BenchRynnUnify-GEU-Bench RynnUnify-GEU-Bench is the GEU (Generation Enhanced Understanding) benchmark used for the RynnUnify family. It contains 2000 multi-turn samples across 10 subsets and 3 task families, each paired with its source images and a stored rollout video. Each record wa; tags: task_categories:visual-question-answering, language:en, license:other, size_categories:1K<n<10K, region:us, embodied-ai, spatial-reasoning, video-understandingdataset · ★ 2 · 2026-10-29 · HuggingFaceTencentARC/WorldCrafter-Fastpipeline: image-to-video; tags: diffusers, safetensors, arxiv:2609.24984, worldcrafter, text-to-video, camera-control, image-to-video, diffusers:WorldCraftermodel · ★ 24 · 2026-09-21 · HuggingFaceAlibaba-DAMO-Academy/RynnUnify-Basepipeline: any-to-any; tags: safetensors, cosmos3_omni, rynnunify, embodied-ai, world-model, visual-planning, video-generation, any-to-anymodel · ★ 4 · 2026-10-22 · HuggingFaceAlibaba-DAMO-Academy/RynnUnify-WAM-RoboCasatags: safetensors, cosmos3_omni, custom_code, license:other, region:usmodel · ★ 3 · 2026-10-22 · HuggingFace