Weekly Top 10 · 第47周

2026-11-16 ~ 11-22 · 系统与索引

生成式推荐 · 个性化推荐 · AI 搜索 · 系统与索引 · 具身智能

  1. 1. Advancing Quantization for R&R Models with Microscaling Formats · 📖 深度解读

    广告排序模型对量化误差极严,上线往往要求归一化熵相对基准的偏差不超过 0.01%,比大模型常见能容忍的精度损失紧得多,所以更低比特很难进生产。作者在 AMD MI350X 上给两套生产广告排序模型试了微缩放的八位和六位格式,并且只在过关的层上启用六位计算。相对已有的 FP8 配置,选择性地使用六位后,模型 B 的端到端吞吐提高 7.6% 到 14.3%,所有被测预测任务仍落在这道上线门槛内…

    出现于日报:11-17

  2. 2. Authenticated Approximate Nearest Neighbor Search in Outsourced Vector Databases · 📖 深度解读

    向量库托管到第三方云上后,云服务可能为了省算力少搜几个邻居,甚至篡改结果,客户端得能验证返回的近邻搜索是不是真的。现有做法让云把图索引上的遍历路径和沿途访问过的全部原始向量一起发回,客户端自己重算距离。embedding 动辄上千维,这份证明就大得离谱。VIDA 改发向量承诺,它的大小和维度无关,再用一个聚合的内积证明一次验证多次距离计算。配套的认证结构让证明路径贴着图遍历走,量化给出的距离上下界又能先剪掉一批点…

    出现于日报:11-16

  3. 3. Benchmarking tiered KV cache offloading on H100 GPUs in OpenShift AI 3.5

    长上下文的 agent 请求会一遍遍带着同样的前缀,KV cache 本可以复用,可显存一满就只能丢掉,下次重算。Red Hat 在 OpenShift AI 3.5 上把 KV cache 卸到 CPU 内存、本地 NVMe 或共享的 CephFS,并给出一个判断方法:某层存储的 p99 恢复延迟低于命中缓存省下的预填充时间,这层才值得用…

    出现于日报:11-16

  4. 4. SoScale: Second-Order Scale Search for FP4 Quantization · 📖 深度解读

    FP4 量化每个数只有 16 个可选值,每块数据配一个缩放系数,决定这些格点落在哪。默认按块内最大绝对值缩放,离群值会把格子撑开。作者在 Qwen3-8B 的一个真实权重块里看到,最外面两个格点一个值都没分到,零附近密集的大多数值反而分辨率不够。已有的缩放搜索按逐元素重建误差挑系数,看的是权重本身像不像,而不是这一层的输出像不像。SoScale 只在硬件允许的缩放码里搜索,用 Hessian 加权的层输出误差来挑…

    出现于日报:11-16

  5. 5. VecDBLens: An Evaluatology-Based Framework for Vector Database Diagnosis · 📖 深度解读

    向量库召回不好时,大家第一反应是调索引,但索引能找回的上限是 embedding 定的。作者在 VisualNews 上用 SigLIP2 做精确的暴力搜索,按距离找出的最近图片里,只有 2.04% 是标注里配对的那张。相比之下,HNSW 和 CAGRA 这类图索引几乎能保住精确搜索的全部召回。候选池扩大时,Qwen3-VL 平均还保住 72.3% 的召回,SigLIP2 只剩 33.2%…

    出现于日报:11-16

  6. 6. TIDE: Reclaiming Lost Performance In On-Policy Reinforcement Learning · 📖 深度解读

    同步且同机部署的强化学习训练里,推理引擎常常在等特别长的那几次生成,或者在很小的批次上低效解码,GPU 会因此空转。空等和低效解码会吃掉本来可以用来训练或解码的时间。作者在长尾还没跑完时,把一部分原来做生成的 GPU 临时改去训练,并在推理引擎之间迁移未完成的生成来提高解码吞吐,同时保持同策略训练的语义。迁移时机由自适应策略决定,不必为每个任务和每套硬件手工配置…

    出现于日报:11-17

  7. 7. Compiling Specialized GPU-Initiated Networking · 📖 深度解读

    机器学习系统常把计算专门化到任务和硬件上,通信却还留在通用库里,设备代码和传输路径高层编译器看不到。作者把由 GPU 发起的通信写进 kernel 的中间表示,和计算一起规划完成时机、同步和批处理,再降到专用的传输代码。它会围绕缓冲区的生命周期来安排完成事件,并在不同 GPU 上优化访存顺序。在 H100 上,小消息发送可比 NVSHMEM 快 3.3 倍…

    出现于日报:11-17

  8. 8. Zero-SM NCCL: A Systematic Guide to Designing and Deploying SM-Free GPU Communication · 📖 深度解读

    GPU 通信库常用计算单元来搬数据和做同步,互联带宽越高,挤占计算的代价越大。作者改用拷贝引擎和由 CPU 代理发起的网络传输来完成集合通信,不再为此启动计算核。在新一代高带宽互联系统上,重叠的矩阵乘法被拖慢的中位数从约 33% 降到 3.9%,AllGather 带宽最高可提高 1.36 倍,但单次操作延迟会更高。用到训练里,全分片数据并行和流水线并行都见到过加速,但作者强调这不是处处都赢。不是所有通信量都适合从计算单元上拿下来…

    出现于日报:11-17

  9. 9. GC-MoE on SM120: Overlapping Expert-Parallel Token Dispatch with Warp-Level FP8xFP4 Block-Scaled MMA on Consumer Blackwell

    专家并行的 MoE 解码受延迟限制:每层都要先把 token 分发到各卡、再做专家的分组矩阵乘、最后合并回来,三步串行,每张卡上同时在算的 token 又很少。此前的 GC-MoE 把三步融合成一个常驻的 CUDA Graph,在 Hopper 和数据中心 Blackwell 上运行。这篇把它搬到走 PCIe 的消费级 Blackwell 显卡上,比如 RTX PRO 5000…

    出现于日报:11-16

  10. 10. Snoopie: A Multi-GPU Communication Profiler and Visualizer

    多 GPU 程序扩展不上去,常常卡在数据搬运上,可现有工具看不清谁在搬什么。NVIDIA 的 Nsight Systems 只能提示 NVLink 上有流量,看不出是哪块卡发起的直接显存访问、访问的是哪个对象,NCCL 和 NVSHMEM 调用底下实际传了什么也看不到。Snoopie 基于 NVBit 做二进制插桩,跟踪点对点传输和通信库调用,把每次搬运对应到源码行和数据对象,并能从全系统一路放大到单条指令和地址…

    出现于日报:11-16

‹ 上一周