- 1. TableTune: Measured, Self-Correcting Draft-Length Tables for Dynamic Speculative Decoding · 📖 深度解读
投机解码只在 GPU 还有空闲算力时才划算：同一批里的请求越多，小模型每步该替大模型猜的 token 就该越少。vLLM 让运维按批大小手写一张猜几个的表，但没人去测这张表对不对，有用户报告开了投机反而比不开还慢。TableTune 在 vLLM 自己的服务路径上把每种批大小、每种猜测长度都实测一遍，几分钟算出吞吐最高的表。上线后，插件读取 vLLM 记录的猜中次数，结合测好的单步耗时，重算每种批大小下每秒能产出多少有效 token…
出现于日报：11-02
- 2. FlatCake: A Flat KVCache Storage Architecture for LLM Serving · 📖 深度解读
大模型服务通常把内存当成 SSD 前面的一层 KV cache 缓存，可作者分析八份线上请求记录后发现，这层缓存几乎挡不住读请求。复用的块要么隔很久才再用，要么属于一个就有好几 GB 的 agent 会话，内存装不下，SSD 必然在读路径上。FlatCake 让内存和 SSD 平级，块一生成就定好去处。共享的系统提示和短回复的对话放内存，几 GB 的 agent 会话直接写 SSD…
出现于日报：11-02
- 3. ConfluxServe: Reconciling Resource Utilization and Parallelism Efficiency across Prefill and Decode in LLM Serving · 📖 深度解读
大模型服务里，prefill 和 decode 放在一起跑能互补资源，前者吃算力，后者吃显存带宽，但两者想要的并行方式不一样。长 prompt 的 prefill 要铺到更多卡上才能按时出首 token，decode 几张卡就够。ConfluxServe 按算子分开处理。线性层里，两阶段的 token 拼成一个批，用同一份权重切分一起算。到注意力层再分开，decode 留在本组卡上算…
出现于日报：11-02
- 4. Nemotron 3.5 Super and Lightning: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Models for Agentic AI
开源模型做 agent，能力和推理成本常常只能顾一头。NVIDIA 的 Nemotron 3.5 Super 把两头一起优化：它是 Mamba 和 Transformer 混合的 MoE 模型，每个 token 只激活约十分之一的参数，在 SWE-bench Pro 上拿到 51.78%，超过了激活参数多好几倍的上一代 Ultra。对做推理部署的人更有用的是它的部署设计：模型自带多 token 预测头来做投机解码…
出现于日报：11-02
- 5. Rimuru: Unified Memory Management for Modern LLM Serving via Elastic Expert Offloading
在显存有限的机器上跑 MoE 大模型，常见做法是把一部分专家权重放在内存里、用到时再搬上 GPU，可显存仍被切成固定的两块：一块放专家，一块放 KV cache。请求多时 KV cache 不够，并发上不去；请求少时 KV cache 那块空着，却不能拿来多放几个专家，只能继续来回搬专家权重。Rimuru 把两者放进同一个页池，按负载随时调整：请求多就把更多专家挪出显存，给 KV cache 腾地方，请求少再把专家搬回来…
出现于日报：11-02
- 6. SGLang security update: improving request isolation
Cloudflare 的一个线上模型部署里，一个请求拿到了别的用户会话的内容。SGLang 团队复盘发现，问题出在 prefill 和 decode 分开部署的路径上：超出 prefill KV cache 容量的请求本该被拒绝，却仍走进了交接流程，decode 读到的是没为它填过的缓存页。他们还一并修了一个同类隐患：请求中途中断时，已经发出的 RDMA 写还在路上，decode 却已把目标位置还给了分配器…
出现于日报：11-02
- 7. The Endgame of FSDP Communication: Layout-Aware Collectives on Copy Engines, RDMA, and NVSwitch
用 FSDP2 训练时，参数和梯度按每个参数单独存放，通信却要一整块按 GPU 顺序排好的缓冲区，所以每一步都要来回拷贝：通信完把结果抄回参数，算完梯度再把它们打包成 fp32 大块。在一个 70B 模型的训练里，光这些拷贝就占了 6.4% 的单步时间；默认的 NCCL 通信还会抢 GPU 的计算单元，让同时在跑的矩阵乘最多慢 69%。TIDE 让通信直接按参数的存放位置收发数据，搬运交给拷贝引擎、RDMA 和 NVSwitch…
出现于日报：11-02
- 8. A Unified Hessian-Guided Framework for Post-Training Quantization
训练后量化要定三件事：每层的取值范围、量化前对权重和激活做什么变换、每个权重往哪边取整。现有方法大多各管一件，各自让这一层的输出误差最小，可一层的误差小，不代表模型最终输出的变化也小。作者统计发现，单层误差几乎预测不了最终影响。要先估出这一层输出往各个方向偏一点、模型最终输出会变多少，再按这个敏感度给误差加权，才对得上。于是他们用一个近似的 Hessian 把三件事放到同一个目标下一起优化：量化让模型最终输出变了多少…
出现于日报：11-02
- 9. DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
想在支持低比特计算的新 GPU 上拿到全部加速，权重和激活都得压到 4 bit。激活里少数通道数值特别大，常见做法是先拿一批校准数据做统计，再把这些通道缩小。DualQuant 发现不用校准数据也能做到：它只看权重，为了让量化后的权重尽量还原原权重，给每个输入通道求一个缩放系数，权重的这一列乘上它。激活的同一个通道再除以同一个系数，矩阵乘的结果不变，这组系数就顺手缩放了激活…
出现于日报：11-02
- 10. DWISE: Denoising Workload-Informed Scheduling Engine
扩散语言模型每一轮并行去噪很多个 token，本应比逐个生成快得多，但服务框架照搬了自回归模型的调度：先来先服务，prefill 优先。作者发现这两条都不适合它。一个请求要去噪多少轮差别很大，到达时又不知道，先来先服务让短请求排在长请求后面干等，只跑 prompt 的轮次又让批里大部分位置闲着。这类模型按固定长度的 token 块生成，读 prompt 和去噪每步都处理一块，代价相同…
出现于日报：11-02