02 4.65
多模态大模型把视觉、语音等编码器和语言模型拼在一起,结构和数据都更杂,直接套大语言模型的分布式训练框架,流水线和上下文并行很容易忙闲不均。编码器一旦冻结,原先按全部可训练切好的流水线就会失衡;不同类型 token 的注意力范围也不同。Cornstarch 按各段是否冻结来切流水线,并按注意力工作量来分配上下文并行里的 token。在 24 张 A40 GPU 上,端到端训练吞吐平均提高到现有方案的 2.26 倍;把冻结状态算进切分后,迭代时间最多可以加快 2.46 倍。多模态训练的瓶颈,往往出在不同模块和不同数据之间的忙闲不均。对要训练视觉语言模型的人来说,并行切分必须看见冻结状态和注意力掩码,而不是沿用纯文本那一套切法。
03 4.50
长上下文推理和智能体任务里,多头潜在注意力已经用低秩潜在状态缩小了 KV cache,但缓存仍随长度和并发变大,注意力计算也会先打满。把存储和注意力都压到 FP4 并不能直接用:敏感通道要补残差,还得让一份潜在缓存同时适配两次矩阵乘法的归约方向。在 DeepSeek-R1 上,这种方法相对 BF16 把 MLA 的 KV cache 压缩了 3.20 倍,注意力 kernel 比 FP8 最多加快 2.82 倍,分离式推理时每卡吞吐最多提高到 2.30 倍,九项评测的平均精度仍与 BF16 对齐。MLA 要吃到四比特的好处,存储、kernel 和缓存布局得一起改。对要在长会话里提高并发的人来说,先把这份共享潜在缓存真正改成四比特计算,比只压缩存储更划算。
04 4.50
离线批量问答里,相关问题常常检索到重叠的证据,但前缀缓存只有 token 前缀完全一致才能复用,证据排列不同就得重算。现有重排方法过早定组,规划本身也可能把省下的 prefill 吃掉。KaleidoKV 在整批请求上一起规划证据顺序,只保留能降低计划 prefill 的调整,并等共享前缀算完再放行依赖请求。在全部十六组设置里,它都拿到最高吞吐和最低平均首 token 时延,吞吐大约是最强基线的 1.24 倍到 1.75 倍,而且已经计入规划时间。证据顺序不是小优化,它决定前缀缓存到底能不能被共用。对做离线 RAG 批推理的人来说,先把共享前缀规划好,再控制请求进引擎的时机,比单条请求里调缓存更有效。
05 4.45
开源模型要在推理和智能体任务上接近同规模的强模型,同时还把数据、训练过程和中间检查点一并公开,并不容易。K2-Horizon 给出从稠密小模型到大混合专家模型的一组完全公开模型,训练日志和基础设施代码也一并放出。其中 36B-A4B 使用混合价值注意力,激活参数大约只有同数据训练的 32B 稠密模型的七分之一,表现却几乎追上。解码侧的无损扩散适配器 Uno,在 batch 为 1 时可以把 7B 模型的速度大约提高到 2.2 倍,而且不必另训草稿模型。开放权重还不够,数据和训练过程同样需要被看见。对要复现或继续训练开源模型的人来说,同一套数据和配方下的稠密与稀疏对照,比只看最终基准分数更有用。
06 4.40
长上下文推理里,KV cache 会迅速占满显存并拖慢解码。现有向量量化可以把缓存压到四比特以下,但索引对不齐标准位宽、码本又太大时,省下的空间和速度会被浪费。有的方法靠全局共享码本把解码做快,却在更低比特时明显掉点;有的精度更好,解码却更慢。MeltKV 按组给键通道分配可变比特,并把索引紧凑打进标准数据类型,同时让同一注意力头共享码本,去掉对齐时多出来的空位。在相近困惑度下,它比 MILLION 方法少用 48.05% 的显存,比 CQ 这一向量量化方法的解码时延低 52.91%,并且可以把表示压到 1 比特。压缩到更低比特还不够,索引必须按内存对齐来打包。对要在长上下文下提高并发的人来说,显存和解码时延要一起看,不能只报压缩比。
07 4.40
推理模型会生成很长的输出,KV cache 可能在 GPU 上占好几分钟。显存一满就要抢占,被赶下去的请求会反复丢失状态、恢复后再写出很少新 token,也就是缓存颠簸。现有系统在回放里会让超过五分之一的请求卡住一分钟以上。Stint 把固定长度的 KV 快照放到 CPU 内存,按等待时间接回请求,并保证回来后先稳定解码一段时间。在 H200 上用 Qwen3-32B 重放奥林匹克数学题时,没有请求暂停超过 50 秒,相对同一引擎里的重计算,P99 每输出 token 时延降低 50.7%,整段回放也提前 10.7% 结束。抢占没法取消,但被打断的请求不该把已做的功丢掉。对要服务长输出请求的人来说,先保住快照并给它一段不受打扰的解码时间,比反复重算更划算。
08 4.40
大模型训练后量化里,GPTQ 已经是常用的逐层求解器,但它把连续的分组缩放和离散整数赋值分开优化,两者其实是耦合的。JointQ 在分组量化里,每改一个整数就按闭式解重算该组的最优缩放,并定期联合重解所有缩放;搜索从包含 GPTQ 解在内的候选出发,未加正则时的逐层校准误差不会差于 GPTQ,权重格式也可以直接替换。六任务平均零样本准确率的增益,从较宽分组的四比特设置的 0.0044,升到逐通道三比特的 0.1559,十六组对比里有十四组好于原版 GPTQ。低比特时,缩放和整数不能分开贪心求解。对要把模型压到三比特或更大分组的人来说,先改求解器本身,可能比只做权重预处理更有效。
09 4.30
IInferact
把 DeepSeek-V4.1-Flash 从 GB300 机柜迁到新的 Vera Rubin NVL72 时,如果还按旧架构的内存和计算方式来写 kernel,新硬件上的拆分内存和 FP4 张量核心就用不满。vLLM 针对 Rubin 的双内存域和更宽的矩阵指令重做了专家、注意力和通信路径,还为最低时延做了专门的张量并行解码,并用机柜共享的 KV cache 和路由来撑住更高并发。在 SemiAnalysis AgentX 上,一块 Rubin 机柜里每张 GPU 的吞吐达到每秒 170 万 token,同时每位用户仍有每秒 387 个 token,吞吐是 GB300 NVL72 的 58 倍。这些数字来自机柜级的 AgentX 测量,不是单卡微基准。新芯片的吞吐,取决于软件有没有按它的内存和指令来改。对要在新机柜上部署大模型服务的人来说,只把旧 kernel 搬过去是不够的,共享缓存和路由也得一起改。
10 3.85
Tencent
流式生成长视频时,模型必须在训练长度之外继续保持画面质量,同时还要处理自己刚生成的历史,并控制不断变长的缓存开销。MovieRoll 先用窗口式教师强制训练多步基座,再按层压缩历史 KV cache:浅层保留完整历史,深层只留起始和最近片段,缓存占用最多降低 78%,生成质量反而更好。在此基础上做长程蒸馏后,基座模型在最长 15 秒的视频上训练,到 30 秒仍有竞争力;蒸馏版在更长的单事件和多事件评测里拿到对比方法中的最高总分。长视频生成要先管住自己写下的历史,而不是只加长训练片段。对要做分钟级视频生成的人来说,缓存分层和训练时的长程自回归,决定了画面能不能滚动出去还不崩。