02 4.10
同步且同机部署的强化学习训练里,推理引擎常常在等特别长的那几次生成,或者在很小的批次上低效解码,GPU 会因此空转。空等和低效解码会吃掉本来可以用来训练或解码的时间。作者在长尾还没跑完时,把一部分原来做生成的 GPU 临时改去训练,并在推理引擎之间迁移未完成的生成来提高解码吞吐,同时保持同策略训练的语义。迁移时机由自适应策略决定,不必为每个任务和每套硬件手工配置。
03 4.10
GPU 通信库常用计算单元来搬数据和做同步,互联带宽越高,挤占计算的代价越大。作者改用拷贝引擎和由 CPU 代理发起的网络传输来完成集合通信,不再为此启动计算核。在新一代高带宽互联系统上,重叠的矩阵乘法被拖慢的中位数从约 33% 降到 3.9%,AllGather 带宽最高可提高 1.36 倍,但单次操作延迟会更高。用到训练里,全分片数据并行和流水线并行都见到过加速,但作者强调这不是处处都赢。
04 4.10
机器学习系统常把计算专门化到任务和硬件上,通信却还留在通用库里,设备代码和传输路径高层编译器看不到。作者把由 GPU 发起的通信写进 kernel 的中间表示,和计算一起规划完成时机、同步和批处理,再降到专用的传输代码。它会围绕缓冲区的生命周期来安排完成事件,并在不同 GPU 上优化访存顺序。在 H100 上,小消息发送可比 NVSHMEM 快 3.3 倍。
05 4.00
量化让语言模型能在端侧跑,可每个权重格式都要和每种激活、每种指令集配一套核,库要维护的实现会迅速膨胀。以 llama.cpp 所用的 GGML 为例,在作者测试的 Arm CPU 上,54 种权重与激活组合里只有 8 种有优化过的分块矩阵乘,其余只能逐块做点积。作者把值的近似表示也写进编译器:指定算法、选编码和解码方式,再调度计算,用同一套矩阵乘算法和调度库生成了数百个核。应用代码量大约只有 GGML 和 KleidiAI 的三分之一不到,在已有手写专用核的情形里,多数也能跟上它们的速度。格式不该写死在手写核里,它也可以是编译器能调度的程序。对要在端侧维护大量量化核的人来说,与其每个格式都手写一遍,不如让编码解码和计算走同一套调度。
06 4.00
参数高效微调想少改参数又保住效果,可现有方法的可训练参数往往还是偏多,优化器状态也占显存。作者给每层只学一组标量系数:输入方向的基从任务激活里固定下来,输出字典随机指定,计算时先把输出原子聚起来再作用到 token 上,兼容的层还可以共用字典,以减小固定基的存储。在常识推理上,它用大约只有 LoRA 百分之四的可训练参数,就能达到相近的准确率。在 Qwen2.5-7B 上,训练峰值显存比 LoRA 低 20%,吞吐高 6%,在数学和代码生成任务上仍然有竞争力。可训练的不必是整块低秩矩阵,按方向学标量就够用。对显存紧张的微调来说,这把适配质量、可训练状态和训练效率放在一起看,而不是只比最终分数。
07 4.00
训练推理系统在关键路径上把状态在 NVMe 和 GPU 显存之间搬运时,直连存储并不总是尾延迟最好的路径。哪条路更快会随操作、请求大小、并发和资源争用而变,带宽最好和尾延迟最好的选择还可能不一致。作者按应用阶段挑选语义等价的搬运方案,用实测尾延迟做决策,条件变了再改。接到 PyTorch FSDP 后,相对最强的固定路径,一步训练的 p95 降低 18.4%,GPU 空闲的 p95 降低 25.3%。在多套八卡 ZeRO 任务上,相对固定走主机中转或固定走直连,一步训练的尾延迟也都下来了。搬数据不能只看平均带宽,还要看这一阶段真正怕的是尾延迟。对有存储换入换出的大模型训练来说,固定走直连或固定走主机中转,都可能在某些阶段把尾延迟做差。
08 4.00
交互式大模型服务既要管首 token 时间,也要管相邻 token 之间的间隔。一次解码抖动会拖慢当前批次里的所有请求,长回复又要走很多步,偶发超时也会造成大量违约。现有按服务目标排程的方法,常把每一步的预填充预算顶到刚好够用,预测稍偏或主机一顿就晚。作者用迭代延迟自己的尾部来标定每一步能带多少预填充,留出余量,并优先服务最短的等待提示。在聚合服务里,相对最强基线,服务达标吞吐达到 2.4 到 2.9 倍。预填充和解码分开部署时,达标的请求也明显更多。解码要稳,每一步都不能把预填充排到刚好压线。对要保证流式间隔的推理服务来说,按尾延迟留余量,比只把平均间隔压下去更贴近真实体验。
09 4.00
Agent 会话常会改上下文,缓存里的 KV 状态随之失效,请求就得先重新预填充再解码,等待会变长。作者在分离式部署里,用已经失效的 KV 先做推测草稿,等精确 KV 算完再核对,通过才提交。推测被安排在解码资源空闲的时候,草稿不太可能被接受时就让路,让解码资源仍能先处理更有把握的请求。在两卡试验台上,用编程智能体会话、跨三个模型家族测试,中等负载下全部请求相对 vLLM 加快 1.05 到 1.19 倍。用真实轨迹做的集群仿真也显示,这一收益可以放到更大规模上。失效的缓存不必只能丢掉重算,还可以先用来推测。对上下文频繁被改写的 agent 服务来说,缓存未命中不必完全空等预填充结束。
10 3.75
昇腾上的 kernel 基准多半在考能不能从零写出实现,更少过问:对着真实训练推理里的输入形状,已有实现还能不能再加快。作者做了一个面向真实负载的优化基准,把来自大模型训练和推理的 kernel 按难度分成三批,这次评了其中较基础的一批任务。大约七成模型与工具组合的几何平均加速不到 1.2 倍。同一个模型换一套工具,任务都能做对时,加速仍可能从 1.05 倍变到 1.69 倍。他们还把加速和优化过程消耗的 token 合在一起打分,用来衡量在预算内到底挤出了多少。只看最终加速,既看不出优化花了多少,也看不出过程对不对。对在昇腾上做训练推理的人来说,这把优化从写出正确核,变成在预算内还能挤多少,而且结果要过正确性检查。