02 4.40
KV 不必两份都完整存:同一注意力头里,V 的不少信息可从 K 预测。LowRAM 为当前上下文的每个头训练小网络,用 K 重建 V,只给误差最大的 token 另存修正量;K 则用跨层低秩分解压缩。Mistral 的 LongBench 测试中,KV 存储压到原来的四分之一,保留97.9%的基线分数。这是以拟合开销换存储,是否划算还取决于长上下文会被复用多少次。
03 4.40
低比特量化省显存,却会损失精度。StrataFlux 用校准数据拟合补偿矩阵,目标是补回投影的量化误差。先把较早层的状态向量归一化,按分量绝对值从大到小挑编号,预取补偿矩阵同编号的列。每列乘当前输入同编号的分量,乘积相加后补到低比特投影。RTX 5090 的 Llama-3.1-8B-Instruct 在 YAQA 两比特量化实验中,WikiText-2 困惑度从9.46降至8.40,空上下文解码保留95.4%的原量化吞吐。这是小幅牺牲速度换回部分精度,不是无损恢复。
04 4.40
同一条提示,换掉同批其他请求,也可能改变贪心解码的答案。BlockLock-Rows 固定批量大小和行宽,让目标请求保持同一行与位置,其他请求仍一起 prefill 和解码。单卡实验比较同一提示搭配不同请求的两次输出,普通填充批处理的完全一致率为52.59%,该方案为100%。前提是底层算子在固定形状下本身能重复得到相同结果。它用调度和填充换复现性,不保证换批量大小或换 GPU 后仍相同;提示长度差太多时,填充也会变贵。
05 4.40
把专家拆到另一组 GPU,注意力卡能装更多 KV,也能让一批的专家计算与另一批的注意力交叠。但专家卡同样要算成本。FastAFD 在 GB200 NVL72 上重算这笔账:对照是按负载调优专家并行宽度的 vLLM,将专家卡也计入每卡吞吐后,普通解码仅达到对照的0.99–1.17倍。拆分是否划算,要看多装请求与交叠计算的收益,能否抵掉专家池占用的 GPU;不能拿没调好的小规模并行作对照,就宣布拆分普遍更快。
06 4.40
多卡训练里,预先分好哪些计算单元搬数据、哪些做矩阵乘,容易让一边忙、一边等。KOSMOS 把两类工作放进同一常驻核函数,工作组依队列和数据就绪标记协作;搬完数据的组可转去计算,专家输出回传时还能来回换工。AMD 单机实验的 MoE 代理训练吞吐达到 DeepEP 对照的1.29–1.83倍。它改变的是通信与计算在执行中如何分工,目前依赖机内互连,不能直接外推多机收益。
07 4.40
多卡解码中,等待所有 GPU 确认就绪的同步,可能比小包传输本身还贵。Flash-Comm 主要路径先在接收区放标记值,数据写入后覆盖标记;接收方看到所需块已写好,就继续处理,不先等全组同步。各卡独立求和时仍按固定 GPU 顺序累加,避免算出不同结果。八卡 B300 的 DeepSeek 解码测试中,TPOT 下降1.7–6.8%。它优化通信,不改其余模型计算;微基准里的降幅不能等比例当成整步加速。
08 4.35
把 KV 放进主机内存,能多装请求,却可能被来回搬运拖慢。FlashOffloading 在 prefill 把历史 KV 从主机内存按层搬回设备,在解码时只取模型稀疏索引选中的 KV;选 token 时同时拿到缓存位置,再让搬运与计算交叠。昇腾平台的 GLM 测试中,128K 输入下放大运行批量,输出吞吐达到对照的1.91倍,平均 TPOT 为26毫秒。收益来自容量换并发和压低搬运开销,不代表单请求更快;解码路径也依赖模型原生稀疏选择。
09 4.30
向量放到 SSD 后,精排读回多少原始向量,会直接影响检索吞吐。Recast 把倒排索引和量化码留在内存,先估距离及误差范围,只把仍可能进入前列的候选读回精算,而不是每个查询固定读同样多候选。静态实验在给定内存预算、召回率0.99时,查询吞吐达到最强对照的1.56–2.01倍。它把读盘预算随查询难度调整,但区间筛选补不回倒排列表阶段漏掉的近邻。
10 3.90
NVIDIA
节点健康检查全绿,分布式训练仍可能被一张慢卡拖住。NVIDIA DSX OS 把版本配置、负载认证和修复后的再验证接起来。NVCRE 跑训练和 NCCL 测试,但默认不设性能阈值,测试能启动不代表带宽达标;示例的300 GB/s 是配置门槛,不是实测提速。启用生命周期管理后,NVSentinel 协调验证,修复节点通过测试才解除调度隔离。重点是先定验收标准,再把修复后重验接进恢复流程。