2026-11-17 周二 · 系统与索引

今日场景今天的基础设施赛道在问,怎样把算力用到真正卡住吞吐或尾延迟的地方,同时不要把质量和时限砸掉。广告排序把量化压到六位,却仍守住极严的误差门槛。集合通信尝试不再占用计算核,编译器则把 GPU 发起的通信和计算放进同一套中间表示。存储搬运按阶段选尾延迟更好的路径,解码调度按迭代尾部留余量,缓存失效后的请求用旧 KV 先做推测。训练侧还有人把等长尾时闲着的 GPU 临时改去训练,以及把微调可训练状态收成按方向学习的标量。端侧量化和昇腾 kernel 优化则把格式维护、已有实现还能不能再快,变成可以测量的问题。 — 评分 83 篇,入选 10 篇,分数 3.75 – 4.40

本期目录 · 10 篇
  1. 01Advancing Quantization for R&R Models with Microscaling Formats
  2. 02TIDE: Reclaiming Lost Performance In On-Policy Reinforcement Learning
  3. 03Zero-SM NCCL: A Systematic Guide to Designing and Deploying SM-Free GPU Communication
  4. 04Compiling Specialized GPU-Initiated Networking
  5. 05User-Schedulable Approximations for Quantized Tensor Programs
  6. 06Direction or Magnitude? Learning Scalars over Task-Calibrated Directions
  7. 07TailGuard-GDS: Tail-Safe Control of GPU Storage Data Movement
  8. 08VelServe: Taming Decode Jitters in LLM Inference with Tail-Calibrated Scheduling
  9. 09Callo: Serving Cache-Miss Requests with Speculative Decoding on Invalidated KV under Prefill-Decode Disaggregation
  10. 10AscendGYM: A Cost-Aware Kernel Optimization Benchmark for Real-World Workloads on Ascend NPUs
LEAD STORY · 今日必读

Advancing Quantization for R&R Models with Microscaling Formats

广告排序模型对量化误差极严,上线往往要求归一化熵相对基准的偏差不超过 0.01%,比大模型常见能容忍的精度损失紧得多,所以更低比特很难进生产。作者在 AMD MI350X 上给两套生产广告排序模型试了微缩放的八位和六位格式,并且只在过关的层上启用六位计算。相对已有的 FP8 配置,选择性地使用六位后,模型 B 的端到端吞吐提高 7.6% 到 14.3%,所有被测预测任务仍落在这道上线门槛内。

相关 5新颖 4实用 4证据 4时效 5
4.40
综合分 / 5
偏好调整 4.45
Yavuz Yetim, Bor-Yiing Su, Zhe Wang, Arthur Liu, Pranav Sharma, Ying Wang, Randy Shuai 等 19 人 · 2026-11-16 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.10

TIDE: Reclaiming Lost Performance In On-Policy Reinforcement Learning

📖 深度解读 · 13 分钟 →

同步且同机部署的强化学习训练里,推理引擎常常在等特别长的那几次生成,或者在很小的批次上低效解码,GPU 会因此空转。空等和低效解码会吃掉本来可以用来训练或解码的时间。作者在长尾还没跑完时,把一部分原来做生成的 GPU 临时改去训练,并在推理引擎之间迁移未完成的生成来提高解码吞吐,同时保持同策略训练的语义。迁移时机由自适应策略决定,不必为每个任务和每套硬件手工配置。

Mathew Jacob, Morgan Borjigin-Wang, Kan Zhu, Po Hao Chen, Yi Pan, Andy Ruan, Nayani Modugula 等 13 人
arXiv·2026-11-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
03 4.10

Zero-SM NCCL: A Systematic Guide to Designing and Deploying SM-Free GPU Communication

📖 深度解读 · 20 分钟 →

GPU 通信库常用计算单元来搬数据和做同步,互联带宽越高,挤占计算的代价越大。作者改用拷贝引擎和由 CPU 代理发起的网络传输来完成集合通信,不再为此启动计算核。在新一代高带宽互联系统上,重叠的矩阵乘法被拖慢的中位数从约 33% 降到 3.9%,AllGather 带宽最高可提高 1.36 倍,但单次操作延迟会更高。用到训练里,全分片数据并行和流水线并行都见到过加速,但作者强调这不是处处都赢。

Zhenhao He, Siyuan Shen, Ke Wen, Prajwal Singhania, Shiqing Fan, Youngeun Kwon, Sangkug Lym 等 13 人
arXiv·2026-11-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 4.10

Compiling Specialized GPU-Initiated Networking

📖 深度解读 · 13 分钟 →

机器学习系统常把计算专门化到任务和硬件上,通信却还留在通用库里,设备代码和传输路径高层编译器看不到。作者把由 GPU 发起的通信写进 kernel 的中间表示,和计算一起规划完成时机、同步和批处理,再降到专用的传输代码。它会围绕缓冲区的生命周期来安排完成事件,并在不同 GPU 上优化访存顺序。在 H100 上,小消息发送可比 NVSHMEM 快 3.3 倍。

Javid Baydamirli, Ismayil Ismayilov, Kaan Oktay, Didem Unat
arXiv·2026-11-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 4.00

User-Schedulable Approximations for Quantized Tensor Programs

量化让语言模型能在端侧跑,可每个权重格式都要和每种激活、每种指令集配一套核,库要维护的实现会迅速膨胀。以 llama.cpp 所用的 GGML 为例,在作者测试的 Arm CPU 上,54 种权重与激活组合里只有 8 种有优化过的分块矩阵乘,其余只能逐块做点积。作者把值的近似表示也写进编译器:指定算法、选编码和解码方式,再调度计算,用同一套矩阵乘算法和调度库生成了数百个核。应用代码量大约只有 GGML 和 KleidiAI 的三分之一不到,在已有手写专用核的情形里,多数也能跟上它们的速度。格式不该写死在手写核里,它也可以是编译器能调度的程序。对要在端侧维护大量量化核的人来说,与其每个格式都手写一遍,不如让编码解码和计算走同一套调度。

Alex Reinking
arXiv·2026-11-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
06 4.00

Direction or Magnitude? Learning Scalars over Task-Calibrated Directions

参数高效微调想少改参数又保住效果,可现有方法的可训练参数往往还是偏多,优化器状态也占显存。作者给每层只学一组标量系数:输入方向的基从任务激活里固定下来,输出字典随机指定,计算时先把输出原子聚起来再作用到 token 上,兼容的层还可以共用字典,以减小固定基的存储。在常识推理上,它用大约只有 LoRA 百分之四的可训练参数,就能达到相近的准确率。在 Qwen2.5-7B 上,训练峰值显存比 LoRA 低 20%,吞吐高 6%,在数学和代码生成任务上仍然有竞争力。可训练的不必是整块低秩矩阵,按方向学标量就够用。对显存紧张的微调来说,这把适配质量、可训练状态和训练效率放在一起看,而不是只比最终分数。

Ziqing Wen, Xiaohui Song, Jiahuan Wang, Ping Luo, Junlin Zeng, Dongsheng Li, Kele Xu, Tao Sun
arXiv·2026-11-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
07 4.00

TailGuard-GDS: Tail-Safe Control of GPU Storage Data Movement

训练推理系统在关键路径上把状态在 NVMe 和 GPU 显存之间搬运时,直连存储并不总是尾延迟最好的路径。哪条路更快会随操作、请求大小、并发和资源争用而变,带宽最好和尾延迟最好的选择还可能不一致。作者按应用阶段挑选语义等价的搬运方案,用实测尾延迟做决策,条件变了再改。接到 PyTorch FSDP 后,相对最强的固定路径,一步训练的 p95 降低 18.4%,GPU 空闲的 p95 降低 25.3%。在多套八卡 ZeRO 任务上,相对固定走主机中转或固定走直连,一步训练的尾延迟也都下来了。搬数据不能只看平均带宽,还要看这一阶段真正怕的是尾延迟。对有存储换入换出的大模型训练来说,固定走直连或固定走主机中转,都可能在某些阶段把尾延迟做差。

Jiaqi Liu, Fan Yang, Xiaohang Shi, Xianzhe Zhang, Tao Jiang, Guojun Yuan, Zhan Wang, Guangming Tan
arXiv·2026-11-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
08 4.00

VelServe: Taming Decode Jitters in LLM Inference with Tail-Calibrated Scheduling

交互式大模型服务既要管首 token 时间,也要管相邻 token 之间的间隔。一次解码抖动会拖慢当前批次里的所有请求,长回复又要走很多步,偶发超时也会造成大量违约。现有按服务目标排程的方法,常把每一步的预填充预算顶到刚好够用,预测稍偏或主机一顿就晚。作者用迭代延迟自己的尾部来标定每一步能带多少预填充,留出余量,并优先服务最短的等待提示。在聚合服务里,相对最强基线,服务达标吞吐达到 2.4 到 2.9 倍。预填充和解码分开部署时,达标的请求也明显更多。解码要稳,每一步都不能把预填充排到刚好压线。对要保证流式间隔的推理服务来说,按尾延迟留余量,比只把平均间隔压下去更贴近真实体验。

Ishaan Datta, Alind Khare, Koushik Kumar Dey, Ratnesh Jamidar, Anand Kumar Singh
arXiv·2026-11-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
09 4.00

Callo: Serving Cache-Miss Requests with Speculative Decoding on Invalidated KV under Prefill-Decode Disaggregation

Agent 会话常会改上下文,缓存里的 KV 状态随之失效,请求就得先重新预填充再解码,等待会变长。作者在分离式部署里,用已经失效的 KV 先做推测草稿,等精确 KV 算完再核对,通过才提交。推测被安排在解码资源空闲的时候,草稿不太可能被接受时就让路,让解码资源仍能先处理更有把握的请求。在两卡试验台上,用编程智能体会话、跨三个模型家族测试,中等负载下全部请求相对 vLLM 加快 1.05 到 1.19 倍。用真实轨迹做的集群仿真也显示,这一收益可以放到更大规模上。失效的缓存不必只能丢掉重算,还可以先用来推测。对上下文频繁被改写的 agent 服务来说,缓存未命中不必完全空等预填充结束。

Jianjun Ou, Matthew Lentz
arXiv·2026-11-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
10 3.75

AscendGYM: A Cost-Aware Kernel Optimization Benchmark for Real-World Workloads on Ascend NPUs

昇腾上的 kernel 基准多半在考能不能从零写出实现,更少过问:对着真实训练推理里的输入形状,已有实现还能不能再加快。作者做了一个面向真实负载的优化基准,把来自大模型训练和推理的 kernel 按难度分成三批,这次评了其中较基础的一批任务。大约七成模型与工具组合的几何平均加速不到 1.2 倍。同一个模型换一套工具,任务都能做对时,加速仍可能从 1.05 倍变到 1.69 倍。他们还把加速和优化过程消耗的 token 合在一起打分,用来衡量在预算内到底挤出了多少。只看最终加速,既看不出优化花了多少,也看不出过程对不对。对在昇腾上做训练推理的人来说,这把优化从写出正确核,变成在预算内还能挤多少,而且结果要过正确性检查。

AI Training Platform Team, Bingwei Zhang, Jing Li, Amir Abdullin, Sihang Chen, Xin Chen 等 27 人
arXiv·2026-11-16·Relevance 4 · Novelty 3 · Practical 4 · Evidence 3 · Timely 5

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 8 个项目
drdon1234/Hentai-Park跨平台成人内容聚合客户端:以站点插件整合漫画、图集、视频、小说与游戏资源,支持聚合搜索、排行榜、阅读播放、订阅追更、离线下载与隐私保护。 | Cross-platform adult content client with source plugins for comics, galleries, videos, novels and game resources; unified search, rankings, reading, playback, subscriptions, offline downloads and privacy controls.Dart · ★ 74 · 2026-10-11 · GitHubvintagedon/steam-dataset-2025A modernized version of the 2019 Kaggle Steam Store Games dataset, built using current Steam APIs and multi-modal database architecture. Features complete catalog collection, vector embeddings for semantic search, and graph analysis of gaming industry relationships.Jupyter Notebook · ★ 62 · 2025-08-31 · GitHubispras/blackboard-swarm-automlA research harness for studying whether a lightweight swarm of parallel LLM coding agents — communicating only through a shared markdown blackboard — can solve autonomous machine-learning engineering tasks competitively, evaluated on MLE-Bench.HTML · ★ 15 · 2026-11-12 · GitHubinternlm/WildClawBench-TrajectoriesWildClawBench Trajectories What 12 frontier models did on 60 real-world agent tasks, step by step, with the score of every run 720 graded trajectories. 12 models. 15,678 model steps. 17,206 tool calls. 90 hours of agent time. Every model on this list ran the full WildClawBench su; tags: task_categories:text-generation, language:en, language:zh, license:mit, size_categories:n<1K, format:json, modality:tabular, modality:textdataset · ★ 8 · 2026-07-30 · HuggingFacedeepseek-ai/DeepSeek-V4.1-Flash-1017pipeline: image-text-to-text; tags: transformers, safetensors, deepseek_v41, text-generation, image-text-to-text, conversational, license:mit, eval-resultsmodel · ★ 5785 · 2026-10-17 · HuggingFaceinternlm/WildClawBenchWildClawBench Hard, practical, end-to-end evaluation for AI agents — in the wild. WildClawBench is an agent benchmark that tests what actually matters: can an AI agent do real work, end-to-end, without hand-holding? We drop agents into a live OpenClaw environment — the same open-; tags: benchmark:official, task_categories:visual-question-answering, task_categories:image-text-to-text, task_categories:question-answering, language:en, language:zh, license:mit, size_categories:n<1Kdataset · ★ 73 · 2026-03-24 · HuggingFaceinternlm/Sage-S2.1-Flashtags: safetensors, glm5_next, region:usmodel · ★ 46 · 2026-11-15 · HuggingFaceinternlm/Sage-S2.1-Flash-FP8tags: safetensors, glm5_next, fp8, region:usmodel · ★ 5 · 2026-11-13 · HuggingFace