2026-11-18 周三 · 系统与索引

今日场景今天的基础设施赛道围着两类成本。一类是变长的 KV cache,另一类是变大的稀疏和多模态训练。训练侧有人重做混合专家的并行和精度栈,也有人按冻结状态和注意力工作量来切多模态流水线,还有人把模型和数据、检查点一并公开。推理侧则把四比特潜在注意力、离线检索的证据顺序、按内存对齐打包的缓存压缩,以及被抢占请求的快照,写成同一类问题。中断和重复计算不该把已经做过的功丢掉。新机柜上的服务数字也说明,拆分内存和四比特张量核心不会自动变成吞吐,kernel 和机柜级缓存还得一起改。长视频生成则要分层留下自己写下的历史,画面才能滚出训练长度还不崩。 — 评分 188 篇,入选 10 篇,分数 3.85 – 4.75

本期目录 · 10 篇
  1. 01Supercharging Olmo-core for Efficient and Scalable MoE Training
  2. 02Efficient Distributed MLLM Training with Cornstarch
  3. 03NVFP4-MLA: Unified FP4 KV-Cache Storage and Attention Computation for Multi-Head Latent Attention
  4. 04KaleidoKV: Rearranging Evidence for Efficient KV Cache Reuse in Offline RAG Inference
  5. 05K2-Horizon: A Frontier Fleet of Open Source Language Models
  6. 06MeltKV: Memory-Aligned KV Cache Compression via Variable-Bit Packed Vector Quantization for Long-Context LLMs
  7. 07Making Preemption Productive in Long-Output LLM Serving
  8. 08JointQ: Joint Scale-and-Integer Quantization for Large Language Models
  9. 09DeepSeek-V4.1-Flash on Vera Rubin NVL72: 58x Throughput vs. GB300 NVL72 at 387 tokens/s
  10. 10MovieRoll: A Systematic Framework for Rolling Out Long-Form Videos
LEAD STORY · 今日必读 · Ai2

Supercharging Olmo-core for Efficient and Scalable MoE Training

混合专家模型虽然加了总参数,每个 token 真正用到的计算却几乎不变。如果训练系统还按稠密模型来搬参数和占显存,吞吐会随着专家参数变多而下降。Olmo-core 把全分片数据并行换成分布式数据并行,并加上专家并行、流水线并行、分布式优化器和激活重计算。在 B300 八卡节点、最多 512 张 GPU 上,总参数达到 1.2 万亿、使用 MXFP8(微缩放八位浮点)并做逐层重计算时,每卡每秒可以做到 858 个有用模型 TFLOPS。论文还发现,重叠通信有时会把被重叠的 kernel 拖得更慢。专家变多以后,该先优化的是参数搬运和通信,而不只是每步算力。对要训练超大规模 MoE 的人来说,并行方式、精度和重计算必须一起设计,否则有用算力会先被搬运吃掉。

相关 5新颖 4实用 5证据 5时效 5
4.75
综合分 / 5
偏好调整 4.85
Tianhua Tao, Akshita Bhagia, Dirk Groeneveld, Pete Walsh, Tyler Romero, Yashas Samaga 等 11 人 · 2026-11-17 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.65

Efficient Distributed MLLM Training with Cornstarch

已录用 ICML 2026

多模态大模型把视觉、语音等编码器和语言模型拼在一起,结构和数据都更杂,直接套大语言模型的分布式训练框架,流水线和上下文并行很容易忙闲不均。编码器一旦冻结,原先按全部可训练切好的流水线就会失衡;不同类型 token 的注意力范围也不同。Cornstarch 按各段是否冻结来切流水线,并按注意力工作量来分配上下文并行里的 token。在 24 张 A40 GPU 上,端到端训练吞吐平均提高到现有方案的 2.26 倍;把冻结状态算进切分后,迭代时间最多可以加快 2.46 倍。多模态训练的瓶颈,往往出在不同模块和不同数据之间的忙闲不均。对要训练视觉语言模型的人来说,并行切分必须看见冻结状态和注意力掩码,而不是沿用纯文本那一套切法。

Insu Jang, Runyu Lu, Nikhil Bansal, Ang Chen, Mosharaf Chowdhury
ICML 2026·2026-04-30·Relevance 5 · Novelty 4 · Practical 5 · Evidence 4 · Timely 5
03 4.50

NVFP4-MLA: Unified FP4 KV-Cache Storage and Attention Computation for Multi-Head Latent Attention

长上下文推理和智能体任务里,多头潜在注意力已经用低秩潜在状态缩小了 KV cache,但缓存仍随长度和并发变大,注意力计算也会先打满。把存储和注意力都压到 FP4 并不能直接用:敏感通道要补残差,还得让一份潜在缓存同时适配两次矩阵乘法的归约方向。在 DeepSeek-R1 上,这种方法相对 BF16 把 MLA 的 KV cache 压缩了 3.20 倍,注意力 kernel 比 FP8 最多加快 2.82 倍,分离式推理时每卡吞吐最多提高到 2.30 倍,九项评测的平均精度仍与 BF16 对齐。MLA 要吃到四比特的好处,存储、kernel 和缓存布局得一起改。对要在长会话里提高并发的人来说,先把这份共享潜在缓存真正改成四比特计算,比只压缩存储更划算。

Chao Ni, Qi Zhang, Xiao Wang, Zongfei Jing, Mingyang Hao, Binghan Chen, Kefeng Duan, Yu-Jung Chen 等 11 人
arXiv·2026-11-17·Relevance 5 · Novelty 4 · Practical 4 · Evidence 5 · Timely 5
04 4.50

KaleidoKV: Rearranging Evidence for Efficient KV Cache Reuse in Offline RAG Inference

离线批量问答里,相关问题常常检索到重叠的证据,但前缀缓存只有 token 前缀完全一致才能复用,证据排列不同就得重算。现有重排方法过早定组,规划本身也可能把省下的 prefill 吃掉。KaleidoKV 在整批请求上一起规划证据顺序,只保留能降低计划 prefill 的调整,并等共享前缀算完再放行依赖请求。在全部十六组设置里,它都拿到最高吞吐和最低平均首 token 时延,吞吐大约是最强基线的 1.24 倍到 1.75 倍,而且已经计入规划时间。证据顺序不是小优化,它决定前缀缓存到底能不能被共用。对做离线 RAG 批推理的人来说,先把共享前缀规划好,再控制请求进引擎的时机,比单条请求里调缓存更有效。

Peiting Xie, Xingyu Tan, Xiangjun Zai, Chen Chen, Xiaoyang Wang, Wenjie Zhang
arXiv·2026-11-17·Relevance 5 · Novelty 4 · Practical 4 · Evidence 5 · Timely 5
05 4.45

K2-Horizon: A Frontier Fleet of Open Source Language Models

开源模型要在推理和智能体任务上接近同规模的强模型,同时还把数据、训练过程和中间检查点一并公开,并不容易。K2-Horizon 给出从稠密小模型到大混合专家模型的一组完全公开模型,训练日志和基础设施代码也一并放出。其中 36B-A4B 使用混合价值注意力,激活参数大约只有同数据训练的 32B 稠密模型的七分之一,表现却几乎追上。解码侧的无损扩散适配器 Uno,在 batch 为 1 时可以把 7B 模型的速度大约提高到 2.2 倍,而且不必另训草稿模型。开放权重还不够,数据和训练过程同样需要被看见。对要复现或继续训练开源模型的人来说,同一套数据和配方下的稠密与稀疏对照,比只看最终基准分数更有用。

K2 Team, Zhengzhong Liu, Haonan Li, Xuezhe Ma, Alexander Moreno, Subham Sekhar Sahoo 等 95 人
arXiv·2026-11-17·Relevance 4 · Novelty 4 · Practical 5 · Evidence 5 · Timely 5
06 4.40

MeltKV: Memory-Aligned KV Cache Compression via Variable-Bit Packed Vector Quantization for Long-Context LLMs

长上下文推理里,KV cache 会迅速占满显存并拖慢解码。现有向量量化可以把缓存压到四比特以下,但索引对不齐标准位宽、码本又太大时,省下的空间和速度会被浪费。有的方法靠全局共享码本把解码做快,却在更低比特时明显掉点;有的精度更好,解码却更慢。MeltKV 按组给键通道分配可变比特,并把索引紧凑打进标准数据类型,同时让同一注意力头共享码本,去掉对齐时多出来的空位。在相近困惑度下,它比 MILLION 方法少用 48.05% 的显存,比 CQ 这一向量量化方法的解码时延低 52.91%,并且可以把表示压到 1 比特。压缩到更低比特还不够,索引必须按内存对齐来打包。对要在长上下文下提高并发的人来说,显存和解码时延要一起看,不能只报压缩比。

Jiyun Han, Seongjoon Cho, Seungkyu Choi
arXiv·2026-11-17·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
07 4.40

Making Preemption Productive in Long-Output LLM Serving

推理模型会生成很长的输出,KV cache 可能在 GPU 上占好几分钟。显存一满就要抢占,被赶下去的请求会反复丢失状态、恢复后再写出很少新 token,也就是缓存颠簸。现有系统在回放里会让超过五分之一的请求卡住一分钟以上。Stint 把固定长度的 KV 快照放到 CPU 内存,按等待时间接回请求,并保证回来后先稳定解码一段时间。在 H200 上用 Qwen3-32B 重放奥林匹克数学题时,没有请求暂停超过 50 秒,相对同一引擎里的重计算,P99 每输出 token 时延降低 50.7%,整段回放也提前 10.7% 结束。抢占没法取消,但被打断的请求不该把已做的功丢掉。对要服务长输出请求的人来说,先保住快照并给它一段不受打扰的解码时间,比反复重算更划算。

Ziji Shi, Xinyi Wan, Chaoyi Ruan, Guangxing Huang, Min Lin, Jialin Li
arXiv·2026-11-17·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
08 4.40

JointQ: Joint Scale-and-Integer Quantization for Large Language Models

大模型训练后量化里,GPTQ 已经是常用的逐层求解器,但它把连续的分组缩放和离散整数赋值分开优化,两者其实是耦合的。JointQ 在分组量化里,每改一个整数就按闭式解重算该组的最优缩放,并定期联合重解所有缩放;搜索从包含 GPTQ 解在内的候选出发,未加正则时的逐层校准误差不会差于 GPTQ,权重格式也可以直接替换。六任务平均零样本准确率的增益,从较宽分组的四比特设置的 0.0044,升到逐通道三比特的 0.1559,十六组对比里有十四组好于原版 GPTQ。低比特时,缩放和整数不能分开贪心求解。对要把模型压到三比特或更大分组的人来说,先改求解器本身,可能比只做权重预处理更有效。

Keiji Kimura, Yuma Ichikawa
arXiv·2026-11-17·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
09 4.30

DeepSeek-V4.1-Flash on Vera Rubin NVL72: 58x Throughput vs. GB300 NVL72 at 387 tokens/s

Inferact

把 DeepSeek-V4.1-Flash 从 GB300 机柜迁到新的 Vera Rubin NVL72 时,如果还按旧架构的内存和计算方式来写 kernel,新硬件上的拆分内存和 FP4 张量核心就用不满。vLLM 针对 Rubin 的双内存域和更宽的矩阵指令重做了专家、注意力和通信路径,还为最低时延做了专门的张量并行解码,并用机柜共享的 KV cache 和路由来撑住更高并发。在 SemiAnalysis AgentX 上,一块 Rubin 机柜里每张 GPU 的吞吐达到每秒 170 万 token,同时每位用户仍有每秒 387 个 token,吞吐是 GB300 NVL72 的 58 倍。这些数字来自机柜级的 AgentX 测量,不是单卡微基准。新芯片的吞吐,取决于软件有没有按它的内存和指令来改。对要在新机柜上部署大模型服务的人来说,只把旧 kernel 搬过去是不够的,共享缓存和路由也得一起改。

Inferact, the vLLM Team
技术博客·2026-11-12·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
10 3.85

MovieRoll: A Systematic Framework for Rolling Out Long-Form Videos

Tencent

流式生成长视频时,模型必须在训练长度之外继续保持画面质量,同时还要处理自己刚生成的历史,并控制不断变长的缓存开销。MovieRoll 先用窗口式教师强制训练多步基座,再按层压缩历史 KV cache:浅层保留完整历史,深层只留起始和最近片段,缓存占用最多降低 78%,生成质量反而更好。在此基础上做长程蒸馏后,基座模型在最长 15 秒的视频上训练,到 30 秒仍有竞争力;蒸馏版在更长的单事件和多事件评测里拿到对比方法中的最高总分。长视频生成要先管住自己写下的历史,而不是只加长训练片段。对要做分钟级视频生成的人来说,缓存分层和训练时的长程自回归,决定了画面能不能滚动出去还不崩。

Yunyang Ge, Weijie Kong, Ryan Xu, Yue Wu, Qi Tian
HuggingFace·2026-11-15·Relevance 4 · Novelty 4 · Practical 3 · Evidence 4 · Timely 5

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 8 个项目
LucianLuu/WestPlay-CN-Vision基于 DeepSeek Harness 改造的 WestPlay,UI 全汉化,替换海外流媒体为网页版 B 站、网易云、QQ 音乐,支持原生媒体控件与歌词显示。Rust · ★ 12 · 2026-11-17 · GitHubyangzhenghaniirs-code/blue-whaleblue whale: Live2D desktop pet + DeepSeek Harness pluginJavaScript · ★ 12 · 2026-11-14 · GitHubDiscoveryH2/wallpaper-engine-nativeUnofficial native macOS live wallpaper compatibility researchSwift · ★ 32 · 2026-11-12 · GitHubinternlm/WildClawBench-TrajectoriesWildClawBench Trajectories What 12 frontier models did on 60 real-world agent tasks, step by step, with the score of every run 720 graded trajectories. 12 models. 15,678 model steps. 17,206 tool calls. 90 hours of agent time. Every model on this list ran the full WildClawBench su; tags: task_categories:text-generation, language:en, language:zh, license:mit, size_categories:n<1K, format:json, modality:tabular, modality:textdataset · ★ 8 · 2026-07-30 · HuggingFaceinternlm/Sage-S2.1-Flashtags: safetensors, glm5_next, region:usmodel · ★ 90 · 2026-11-15 · HuggingFaceinternlm/WildClawBenchWildClawBench Hard, practical, end-to-end evaluation for AI agents — in the wild. WildClawBench is an agent benchmark that tests what actually matters: can an AI agent do real work, end-to-end, without hand-holding? We drop agents into a live OpenClaw environment — the same open-; tags: benchmark:official, task_categories:visual-question-answering, task_categories:image-text-to-text, task_categories:question-answering, language:en, language:zh, license:mit, size_categories:n<1Kdataset · ★ 73 · 2026-03-24 · HuggingFaceinternlm/Sage-S2.1-Flash-FP8tags: safetensors, glm5_next, fp8, region:usmodel · ★ 14 · 2026-11-13 · HuggingFaceinternlm/WildClawBench-HarborWildClawBench-Harbor All 60 WildClawBench tasks as Harbor task directories. Point harbor run at this folder and any Harbor agent (Claude Code, Codex CLI, OpenHands, Gemini CLI or your own) takes the benchmark with the official graders, in the official Docker image, with no WildCl; tags: language:en, language:zh, license:mit, size_categories:n<1K, library:harbor, arxiv:2605.10912, region:us, agentdataset · ★ 3 · 2026-08-12 · HuggingFace