2026-11-11 周三 · 系统与索引

今日场景今天的主线是按真实负载的形状重新算推理的账。RecoGEM 发现生成式推荐的开销集中在短序列和大候选集上,需要专门的推理服务,Meta 的 TLX 则让算法工程师自己写贴近硬件的 kernel。PACE 指出长会话 agent 光留住 token 还不够,还要让它们离 query 够近。Firepool 和 NVIDIA Snapshot 都在缩短 GPU 启动的等待,AdaOffload 和 Hibana 在内存受限的机器上调度专家权重,Detent 让同批的其他请求不再影响输出比特。 — 评分 215 篇,入选 10 篇,分数 3.65 – 4.75

本期目录 · 10 篇
  1. 01RecoGEM: A Serving System for Production-Scale Generative Recommendation
  2. 02Firepool: Brokering Warm GPU Capacity for Agentic and RL Workloads at LinkedIn
  3. 03How We Built TLX: A Hardware-Native GPU Compiler for Production ML at Scale
  4. 04Detent: Batch-Invariant LLM Serving and RL Rollouts at Near-Stock Speed
  5. 05Multi-GPU MoE Inference with Adaptive Expert Offloading
  6. 06PACE: Keeping the Right Tokens in the KV Cache Is Not Enough for Long-Horizon LLM Agents
  7. 07Hibana: Fast Agentic Inference on Unified-Memory Devices
  8. 08MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations
  9. 09美团 LongCat-2.5 正式开源:从看见,到抵达
  10. 10Start and Restore GPU Workloads in Seconds with NVIDIA Snapshot
LEAD STORY · 今日必读

RecoGEM: A Serving System for Production-Scale Generative Recommendation

生成式推荐让模型像大模型一样逐个生成物品的 SID,按理说 LLM 的推理服务栈可以直接拿来用,实际却跑不好,因为那套系统默认每一步形状相同、注意力开销压在长序列上。快手这篇 RecoGEM 讲清了差别:每条候选只看几个 SID,beam 展开后却有海量独立短序列,长序列 kernel 的固定开销摊不下去。每一步的词表和张量形状也不同,top-k 要选出大批幸存候选,成了关键路径上的重活。

相关 5新颖 4实用 5证据 5时效 5
4.75
综合分 / 5
偏好调整 4.90
Xiangrui Yang, Yunfeng Zhao, Jiawei Yang, Fangyu Zhang, Enrui Zhao, Liang Zeng, Cheng Peng 等 11 人 · 2026-11-10 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.45

Firepool: Brokering Warm GPU Capacity for Agentic and RL Workloads at LinkedIn

LinkedIn📖 深度解读 · 24 分钟 →

agent 和 RL 训练会连续发出几千个只跑几秒的 GPU 任务,可是起一个 Pod 即使镜像已缓存也要等二三十秒,等待压过了干活。常见解法各缺一块:缓存镜像省不掉调度和初始化,常驻的 Ray 集群在两步之间白占 GPU,备好的空闲 Pod(热池)又常因环境对不上而用不上。

Ankit Goyal, Santosh Jha, Zhuo Zhi, Youmin Han, Cong Gu, Chen Xie, Animesh Singh
arXiv·2026-11-10·Relevance 4 · Novelty 4 · Practical 5 · Evidence 5 · Timely 5
03 4.30

How We Built TLX: A Hardware-Native GPU Compiler for Production ML at Scale

Meta

新一代 GPU 的性能越来越取决于几组线程怎么分工,比如一组搬数据、一组算矩阵。CUDA 能写这种分工,但要写大量和架构绑定的调度代码。Triton 写起来快,却把分工藏进了编译器,每出一代新硬件常要等编译器跟上。Meta 在 Triton 上加了一层 TLX,工程师继续写 Python,只在关键处显式写线程组的分工和同步。对做推荐的人,最实在的例子是打分时的用户特征:同一份特征通常要按候选数复制几十次,白白占用内存带宽和算力,开销随候选数线性增长。Meta 把这次复制挪进 kernel 内部,配合模型和推理运行时一起改,计算密集部分的净时延最多降了三分之二。kernel 优化正在变成算法工程师的日常手段,候选数越多,这类改动越值得优先排查。

技术博客·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
04 4.10

Detent: Batch-Invariant LLM Serving and RL Rollouts at Near-Stock Speed

📖 深度解读 · 27 分钟 →

同一个请求,只因为同批的其他请求变了,大模型输出的比特就可能不同,评测复现不了,RL 训练端重算 rollout 也对不上。引擎自带的确定性模式每个算子只留一个保守的 kernel,时延最慢到标准设置的 10.3 倍。根源在挑选环节:引擎按批次的 token 数等情况挑 kernel 和参数,两个 kernel 算同一个和,舍入可能不一样,而很多快 kernel 本身并不受批次影响。

Peixu Xin, Runchuan Feng, Jiazhen Guo, Kan Wu, Ming Yin
arXiv·2026-11-10·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 4.10

Multi-GPU MoE Inference with Adaptive Expert Offloading

MoE 模型每个 token 只激活少数专家,所以大部分专家权重可以放在 CPU 内存里,GPU 只缓存一部分,没命中的专家要么把权重拉到 GPU,要么直接在 CPU 上算。这种做法叫专家卸载,已有系统大多针对单 GPU 或离线大批量,CPU 和 GPU 的分工一写死,加卡后吞吐甚至下降。AdaOffload 把每个专家均匀切到所有 GPU 上,CPU 这边按 NUMA 结构单独切,再结合离线测出的硬件开销和线上观察到的专家负载,实时决定多大比例的未命中专家拉到 GPU 上算。在三个开源模型和五种机器上,推理题负载的平均 decode 吞吐是最强基线的 1.9 到 15.5 倍。最优的 CPU 和 GPU 分工随硬件和负载变化,固定策略跟不上。搜索和推荐团队自建大模型服务时,显存不够可以少租几张卡。

William X. Zheng, Zhongjie Chen, Shuo Yang, Ziming Mao, Xiaoze Fan, Yi Pan, Kunjun Li, Hanfei Yu 等 12 人
arXiv·2026-11-10·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
06 4.10

PACE: Keeping the Right Tokens in the KV Cache Is Not Enough for Long-Horizon LLM Agents

长会话 agent 的 KV cache 一张卡放不下,系统只能留一小部分 token,其余的淘汰掉。各种淘汰算法比的都是谁留得准,大家默认需要的 token 都留住就够了。这篇发现这还不够:在长编码会话里,需要的 token 几乎全留住了,可定义离使用点越来越远时,通过率仍从 93% 掉到 64%。token 还在,只是它到 query 的旋转位置距离太远,模型用不好了。PACE 让 agent 的规划器提前告诉 cache 后面的步骤要读什么,再给留下的 token 重新编号,让它们离 query 始终够近。预注册实验里,它通过 97% 的隐藏单元测试,两部分单独用都差一大截。这个结果用的是真实依赖图和合成的编码会话。KV cache 除了留住 token,还要让它们离 query 够近。搜索或推荐 agent 已有任务规划的话,可以直接交给 cache。

Suman Chatterjee
arXiv·2026-11-10·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
07 4.10

Hibana: Fast Agentic Inference on Unified-Memory Devices

DGX Spark 这类统一内存设备让 CPU 和 GPU 共用一块内存,放得下大模型,但内存带宽有限,decode 常卡在读权重上,agent 的会话状态又和权重抢内存。vLLM 和 SGLang 主要面向数据中心 GPU,本地引擎又没用好这种结构。Hibana 为此改了三处:同一批请求共享一组专家,减少权重读取;不活跃会话的状态存到 SSD;投机解码每步多生成几个 token,长度按接受率调整。在一台 DGX Spark 上回放录制的 agent 会话,每小时完成的任务数最多是其他框架的 3.4 倍,各自最佳并发下的峰值 decode 吞吐最多是 3.9 倍。快速档有损,三比特权重和放宽校验会让部分任务的准确率掉几个点。本地推理要省的是每个被接受的 token 背后的内存流量。端侧跑多 agent 时,选引擎要同时看并发和缓存命中。

Yahya Emara, Chi-Chih Chang, Anthony Fei, Ahmed F. AbouElhamayed, Chong-Yan Chen, Hung-Yueh Chiang 等 8 人
arXiv·2026-11-10·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
08 4.10

MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations

把权重和激活都压到 4 bit 能省内存和算力,常靠基变换让输入和权重变得更好量化。推理时输入侧也要做这次变换,过去的做法是把它吸收进前面的层来省掉这笔开销,代价是层与层耦合,换个架构就要重新适配,量化过程也慢。MACaQ 反过来,把每层的缩放和小块旋转留在推理时在线执行,每层独立量化,一次只需把一层放在内存里。这笔在线开销很小,在 Qwen3-32B 上端到端只多 2.3%。再用一个贪心的微调步骤把单个 FP4 编码挪到相邻取值,困惑度比 DuQuant++ 和 MR-GPTQ 更低,达到它们最好的质量时量化时间少 11 倍。在线变换的开销随层变大而摊薄,用它换层间解耦很划算。要部署新架构模型的团队,量化流程不用再为每个架构单独适配。

Lorenz K. Muller, Philippe Bich, Chiara Boretti, Hyun-Min Chang, Jiawei Zhuang, Lukas Cavigelli
arXiv·2026-11-10·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
09 3.65

美团 LongCat-2.5 正式开源:从看见,到抵达

Meituan

万亿参数的 MoE 模型要做长序列训练和微调,在国产卡上最现实的约束是单卡显存不足 80GB,带宽也紧,架构和并行方式都要反复取舍。美团开源的 LongCat-2.5 总参数 1.6 万亿,这篇博客讲了他们怎么应对。训练时用 FSDP 双重分片和扁平化缓冲区压低显存,把参数、专家 token 和 KV 的交换尽量留在超节点内部的高带宽互联里,并让通信和计算重叠执行。推理时把专家权重和激活一起量化到 4 比特,专家间通信和计算全程用同一份 INT4 表示,减少数据搬运和转换。长序列 SFT 任务上,这套 FSDP 配置的单卡吞吐比 DDP 基线高 86%。显存和带宽的边界改不了,能改的只有架构、算子和并行策略。搜索和推荐团队要在国产卡上训练大模型,可以拿这套配置当起点。

技术博客·Relevance 4 · Novelty 3 · Practical 4 · Evidence 2 · Timely 5
10 3.65

Start and Restore GPU Workloads in Seconds with NVIDIA Snapshot

NVIDIA

推理流量突增或副本故障时,空闲的 GPU 也接不上活,因为大模型的冷启动往往要好几分钟,扩容和故障恢复都被拖住。NVIDIA 开源的 Snapshot 把初始化好的工作负载连同 CPU 和 GPU 内存一起存成 checkpoint,在同型号 GPU、同驱动的节点上直接恢复,跳过权重加载、编译和图捕获。在 vLLM、SGLang 和 TensorRT LLM 上,恢复比冷启动快 8 到 36 倍,所有配置都在 43 秒内回来,大型 MoE 模型恢复时最耗时的一段是把 GPU 状态写回显存。在每个测试配置里,做一次 checkpoint 加一次恢复的总时间都短于一次冷启动。这些时间都不含拉镜像和设置容器运行时。第一个恢复的副本就能把 checkpoint 的成本赚回来。线上用大模型做搜索或推荐的团队,扩容等待可以从几分钟压到几十秒以内。

技术博客·2026-11-10·Relevance 4 · Novelty 3 · Practical 4 · Evidence 2 · Timely 5

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 5 个项目