02 4.25
混合模型的循环层会把整段前缀压成一个固定大小的快照，没法截短回更早的位置。所以 KV 明明还在，只要匹配位置的快照没存过或已被淘汰，就要从更早的快照甚至从头重算一大段。HiState 抓住一个不对称：一次缓存命中要读所有匹配的 KV，却只读一个快照，而且快照大小和上下文长度无关。所以它把大量历史快照放到 SSD，把内存留给 KV，并把快照和 KV 放进同一个淘汰队列。队列里每一项的分数是最近访问时间，加上删掉它后要多重算的 token 数除以它能腾出的空间，分数最低的先删。在两份公开的编程 agent 请求记录上，p99 TTFT 相对基于 vLLM 的 Marconi 最多加速 5.73 倍。快照多存不占快内存，每次命中也只从慢存储读一个。
03 4.00
在多家厂商 GPU 混在一起的集群上训练大模型，MemX 把各卡显存均不均衡也写进搜索目标，并且允许显存小的卡多做重算、显存大的卡不做，从而找到既不 OOM、各卡显存又均匀的并行配置。它给每个候选配置估迭代耗时、峰值显存和各卡显存方差，按权重合成一个分数，分数最小的胜出。在三厂商集群上，按耗时和按显存均衡两种排序，只有它都把真实第一名排在第一；在线搜索 31,240 个配置只要 26.5 秒。它换来的是显存余量，不是更快：实际部署时它挑的配置比最快配置慢 9.3%。混合集群里显存和算力不成比例，搜索目标里必须有显存。
04 4.00
B300 是 B200 的升级款，显存更大，但它不是在所有任务上都更快。芝加哥大学研究计算中心在两个八卡集群上实测，卷积网络推理时 B300 最多慢 5.6 倍。看每张卡的功耗能找到原因：在这些任务上 B300 只用到功耗上限的 36% 到 53%，时间花在每个 kernel 自身的开销上；在它赢的 ViT-Large 上，两张卡都接近满功耗。另外，两台芯片完全相同的 B300 节点，只因 vLLM 版本不同，首 token 延迟就差 2.1 倍。买新卡前要用自己的负载和软件版本实测。
05 4.00
为生成设计的推理引擎，跑 agent 系统里的决策模型时很吃亏。这类模型不生成长文本，而是在同一段共享上下文后面接很多个短问题，每个问题只输出一个类别。现有引擎要么为每个问题把共享上下文重算一遍，要么把问题拼在一起算，结果问题之间互相干扰，输出概率失真。Flide 把共享上下文和所有问题拼成一条 token 序列一次算完。GPU 上存着每个问题对应哪段共享上下文的索引，注意力层据此只让问题看到共享上下文和它自己，Gated DeltaNet 这类循环层则让每个问题都从共享上下文结束时的状态重新开始。这样结果和单独计算完全一致，回答问题比 vLLM 和 SGLang 最多快 9.5 倍。
06 4.00
向量量化能把大模型压到每个权重约 2 比特，但压得越狠掉点越多。它把权重几个一组，每组换成码本（一张共享的代表向量表）里最接近的那个向量。选哪个向量是离散的选择，没法直接用梯度修正，所以现有方法只能一层一层地让量化后的输出贴近原输出。TVQ 在量化权重背后保留一份可训练的连续权重：前向时每组连续权重去码本里找最接近的向量，用这个向量计算；反向时梯度直接传给连续权重。每一步更新后重新找最近的向量，连续权重挪得够远，选中的码本向量就换成另一个。这样就能按任意训练目标优化量化模型，论文用的是逐块知识蒸馏。LLaMA2-70B 压到 2 比特，常用问答基准上准确率只掉 1%。
07 4.00
同一个系列里大小不同的模型混着用时，换一个模型就要把同一段上下文重新 prefill 一遍。ACCT 让目标模型直接使用另一个模型算好的 KV cache，比如小模型读完长上下文，大模型直接回答。它先用一个小打分模块读源模型的隐藏状态，给每个注意力头下的上下文 token 打分，训练目标是删掉这个 token 会让答案变差多少。每个注意力头能保留几个 token 是训练学出来的参数，所有头加起来不超过一个总上限，各头按分数从高到低留够自己的名额。最后它用一个训练好的转换模块，把选中 token 的表示换算成目标模型对应层和注意力头能直接读取的 KV。KV 缩减 75% 时，目标模型效果持平甚至更好；约 19K token 的上下文上，转换比目标模型自己 prefill 快 6.5 到 21.2 倍。
08 4.00
把大模型剪到 90% 的权重为零时，一次性剪枝效果会大幅下滑，效果最好的 ELSA 又要存一份和模型一样大的优化器状态。ETAPS 分几轮逐步收紧稀疏度，每轮只多剪一小部分，同时训练一组权重增量来弥补损失。增量只放在总数固定的少数位置上，某个位置被剪掉后，空出的名额分给还留着、累积梯度最大的权重。每轮补完后，它用补好的权重绝对值乘上该位置累积的梯度大小打分，下一轮剪掉分数最低的。在六个模型上，它在每个稀疏度的困惑度都比 ELSA 低。90% 稀疏剪 LLaMA2-7B 只用一张 H200，ELSA 要四张。
09 3.90
prefill 和 decode 分开部署时，KV cache 要从一组 GPU 传到另一组，每次传输持续几百毫秒到几秒，是网络里的超大流量。交换机用 ECMP 按包头哈希选路，两条这样的大流撞到同一条上行链路，就会挤在一起好几秒，旁边的链路却空着。ARK 利用这些流持续时间长的特点，让各发送端事先互相通报，挑选合适的源端口，使同时进行的大流哈希到不同的核心交换机上，不用改交换机，接收端也不用处理乱序。在包级 RDMA 仿真里，中等负载下平均传输完成时间最多降 27.3%，平均 TTFT 最多降 12.9%。
已录用 SC 2026 Workshop
NVIDIA