2026-11-16 周一 · 系统与索引

今日场景今天的基础设施赛道围绕一个问题:瓶颈到底在哪,先量清楚再动手。Red Hat 先看 KV cache 的工作集放不放得进 CPU 内存,再决定要不要加第二层存储。VecDBLens 发现向量库召回的上限常常卡在 embedding,而不在索引。SubGPU Pipelining 和 GC-MoE 在单卡和消费级显卡上把解码时闲时忙的资源错开用满。SoScale 按层输出挑 FP4 的缩放系数。Olifant 让投机解码的草稿几乎免费。美团则用单元测试和运行时日志给 AI 评审的结论判真假。 — 评分 59 篇,入选 10 篇,分数 2.70 – 4.35

本期目录 · 10 篇
  1. 01Authenticated Approximate Nearest Neighbor Search in Outsourced Vector Databases
  2. 02Benchmarking tiered KV cache offloading on H100 GPUs in OpenShift AI 3.5
  3. 03SoScale: Second-Order Scale Search for FP4 Quantization
  4. 04VecDBLens: An Evaluatology-Based Framework for Vector Database Diagnosis
  5. 05Snoopie: A Multi-GPU Communication Profiler and Visualizer
  6. 06SubGPU Pipelining: Intra-GPU Fine-Grained Spatial Parallelism for LLM Inference
  7. 07GC-MoE on SM120: Overlapping Expert-Parallel Token Dispatch with Warp-Level FP8xFP4 Block-Scaled MMA on Consumer Blackwell
  8. 08Towards Green Text Generation: Memory-Based Speculative Decoding
  9. 09When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM
  10. 10如何在“不能出错”的系统里使用 AI Coding?分布式存储实践与边界
LEAD STORY · 今日必读

Authenticated Approximate Nearest Neighbor Search in Outsourced Vector Databases

向量库托管到第三方云上后,云服务可能为了省算力少搜几个邻居,甚至篡改结果,客户端得能验证返回的近邻搜索是不是真的。现有做法让云把图索引上的遍历路径和沿途访问过的全部原始向量一起发回,客户端自己重算距离。embedding 动辄上千维,这份证明就大得离谱。VIDA 改发向量承诺,它的大小和维度无关,再用一个聚合的内积证明一次验证多次距离计算。

相关 5新颖 4实用 4证据 4时效 4
4.35
综合分 / 5
偏好调整 4.35
Yuanhang Zhou, Xinyi Zhang, Cheng Xu, Jianliang Xu · 2026-11-12 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.25

Benchmarking tiered KV cache offloading on H100 GPUs in OpenShift AI 3.5

Red Hat

长上下文的 agent 请求会一遍遍带着同样的前缀,KV cache 本可以复用,可显存一满就只能丢掉,下次重算。Red Hat 在 OpenShift AI 3.5 上把 KV cache 卸到 CPU 内存、本地 NVMe 或共享的 CephFS,并给出一个判断方法:某层存储的 p99 恢复延迟低于命中缓存省下的预填充时间,这层才值得用。在平均约 5 万输入 token 的 agent 负载上,Nemotron-Ultra-253B 的吞吐最多提高 5.8 倍。差别取决于工作集放不放得进 CPU 这一层。放不下时,只卸到 CPU 内存只有 3.3 倍,加上 NVMe 或 CephFS 几乎翻倍。放得下时,CPU 一层就拿到了大部分收益。多副本、高并发时,共享的 CephFS 能让各副本复用同一份缓存。先看工作集有多大,再决定要不要第二层存储。

Ramesh Doddaiah, Alberto Perdomo, Nathan Scott, Ashish Kamra, Michey Mehta, Yuchen Fama, Naina Singh
网页来源·2026-11-02·Relevance 5 · Novelty 3 · Practical 5 · Evidence 4 · Timely 3
03 4.20

SoScale: Second-Order Scale Search for FP4 Quantization

📖 深度解读 · 10 分钟 →

FP4 量化每个数只有 16 个可选值,每块数据配一个缩放系数,决定这些格点落在哪。默认按块内最大绝对值缩放,离群值会把格子撑开。作者在 Qwen3-8B 的一个真实权重块里看到,最外面两个格点一个值都没分到,零附近密集的大多数值反而分辨率不够。已有的缩放搜索按逐元素重建误差挑系数,看的是权重本身像不像,而不是这一层的输出像不像。

Pengxiang Zhao, Xing Li, Hui-Ling Zhen, Weizhe Lin, Xianzhi Yu, Zhenhua Dong
arXiv·2026-11-12·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 4
04 4.20

VecDBLens: An Evaluatology-Based Framework for Vector Database Diagnosis

📖 深度解读 · 13 分钟 →

向量库召回不好时,大家第一反应是调索引,但索引能找回的上限是 embedding 定的。作者在 VisualNews 上用 SigLIP2 做精确的暴力搜索,按距离找出的最近图片里,只有 2.04% 是标注里配对的那张。相比之下,HNSW 和 CAGRA 这类图索引几乎能保住精确搜索的全部召回。候选池扩大时,Qwen3-VL 平均还保住 72.3% 的召回,SigLIP2 只剩 33.2%。

Yutong Zhou, Guoxin Kang, Wenxin Zhou, Haoyu He, Yuedong Zhu, Lei Wang, Wanling Gao, Fanda Fan 等 9 人
arXiv·2026-11-11·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 4
05 4.05

Snoopie: A Multi-GPU Communication Profiler and Visualizer

多 GPU 程序扩展不上去,常常卡在数据搬运上,可现有工具看不清谁在搬什么。NVIDIA 的 Nsight Systems 只能提示 NVLink 上有流量,看不出是哪块卡发起的直接显存访问、访问的是哪个对象,NCCL 和 NVSHMEM 调用底下实际传了什么也看不到。Snoopie 基于 NVBit 做二进制插桩,跟踪点对点传输和通信库调用,把每次搬运对应到源码行和数据对象,并能从全系统一路放大到单条指令和地址。案例里,一个环形通信的 BFS 程序出现了本不该有的 1 号卡和 3 号卡之间的流量,对象视图指向一个只分配在 3 号卡上的标志指针数组,改正分配后多余传输就消失了。代价是插桩开销不小,在 NCCL 用例上尤其高。它适合定位通信问题,不适合常驻生产。

Mohammad Kefah Taha Issa, Muhammad Aditya Sasongko, Ilyas Turimbetov, Javid Baydamirli 等 6 人
arXiv·2026-11-12·Relevance 4 · Novelty 3 · Practical 5 · Evidence 4 · Timely 4
06 4.05

SubGPU Pipelining: Intra-GPU Fine-Grained Spatial Parallelism for LLM Inference

大模型 decode 由一串很短的 kernel 组成,大多受显存带宽限制。它们一个接一个独占整张卡执行,算力和带宽就时闲时忙,带宽打满时还有很多 SM 空着。SubGPU Pipelining 在一张卡内部做流水线:把算子图切成几段连续的子图,每段绑一组互不重叠的 SM,再把一批请求拆成小批次依次流过,让需求互补的工作同时进行。怎么切、每段给多少 SM、小批次多大,彼此牵动,作者用一个模拟共享资源争用的模拟器来搜。在 GPT-OSS 120B、32 张 B200 部署的模拟里,每卡吞吐相同时,每个用户的吞吐最多高 2.2 倍。实测只在一张 B200 上验证了一个两段配置,解码一轮时间缩短 10.33%。一张卡内部也能做流水线,把时闲时忙的资源错开用满。

Muralidhar Andoorveedu, Marius Juston, Tingkai Liu, Sanjay Patel
arXiv·2026-11-11·Relevance 5 · Novelty 4 · Practical 3 · Evidence 4 · Timely 4
07 4.05

GC-MoE on SM120: Overlapping Expert-Parallel Token Dispatch with Warp-Level FP8xFP4 Block-Scaled MMA on Consumer Blackwell

专家并行的 MoE 解码受延迟限制:每层都要先把 token 分发到各卡、再做专家的分组矩阵乘、最后合并回来,三步串行,每张卡上同时在算的 token 又很少。此前的 GC-MoE 把三步融合成一个常驻的 CUDA Graph,在 Hopper 和数据中心 Blackwell 上运行。这篇把它搬到走 PCIe 的消费级 Blackwell 显卡上,比如 RTX PRO 5000。这代卡的块缩放矩阵乘只能用线程束级别的指令,数据中心卡上的几项硬件特性都没有,原来的 kernel 无法直接用。作者围绕 FP4 权重乘 FP8 激活的线程束级矩阵乘重写了整个算子,并重做了按专家流式分发和结果回传。在 8 张 RTX PRO 5000 上,它平均比 FlashInfer 的同类算子快 1.522 倍,18 个解码测试点全胜,数值检查全部通过。同一个融合思路换到消费级卡上,几乎要按新硬件重写一遍。

Yong Li, Haoyu Wang, Kan Liu, Tao Lan
arXiv·2026-11-12·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
08 4.05

Towards Green Text Generation: Memory-Based Speculative Decoding

投机解码让便宜的草稿模型先猜几个 token,再由大模型一次前向验证。验证器用上 KV cache 以后自己就快了很多,草稿模型的开销就不能再忽略。作者在消费级硬件上测到,用 TinyLlama 当草稿,接受率很高,吞吐却减半、能耗翻了三倍。他们的 Olifant 草稿根本不是神经网络,而是一棵基于记忆的分类树,只看前面四个 token 预测下一个,在 CPU 上不到 0.3 毫秒出结果,不用 GPU,也不用反向传播。在带 KV cache 的验证器上,它仍能带来 1.25 倍吞吐,能耗是整项研究里最低的。作者还发现 KV cache 让速度和能耗不再同步:草稿越长,验证时功耗越高,所以最省电的草稿长度比最快的那个短。验证器越快,草稿就越要接近免费。

Antal van den Bosch
arXiv·2026-11-12·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
09 3.90

When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM

NVIDIA

GLM-5.3 的 NVFP4 版本是一个 MoE 大模型,每个 token 只激活一小部分参数,但每个 token 可能被路由到不同专家,所以全部权重都得留在显存里。整份权重约 464 GB,单张 GB300 只有 252 GB 显存,放不下。NVIDIA 的这篇教程用两台 DGX Station 经 RDMA 直连,用张量并行把权重和计算一分为二,由 vLLM 对外提供一个兼容 OpenAI 的接口,同时打开多 token 预测、FP8 的 KV cache 和前缀缓存。压测编程类请求时,总吞吐在并发 16 时达到顶峰,到并发 32 反而下降,平均请求延迟拉到七分半钟,每个用户分到的速度也越来越慢。本地跑超大模型时,并发不是越高越好,要先压测找到拐点。

Fatima Fall
技术博客·2026-11-13·Relevance 4 · Novelty 2 · Practical 5 · Evidence 4 · Timely 5
10 2.70

如何在“不能出错”的系统里使用 AI Coding?分布式存储实践与边界

Meituan

美团做分布式存储的团队分享了在不能出错的系统里用 AI 写代码的经验。他们先算了一笔账:就算 AI 代码的千行缺陷率和人写的持平,交付量一涨,缺陷的绝对数也会涨。AI 评审擅长发现跨文件的不一致,还会自己构造畸形输入把崩溃复现出来,但它看不到代码之外的东西,比如人工运维流程,或者宁可让进程直接退出也不写脏数据这类有意的设计。团队把一次全仓评审的 117 个疑似问题逐条写成单元测试,在主干上失败才算确认:36 条确认,3 条被推翻,其余只能靠读源码确认或暂时验证不了。把运行时日志交给 AI 对回源码,找出的缺陷经人工确认全部属实。AI 评审只负责找候选,测试和日志才负责判真假。

技术博客·2026-10-29·Relevance 3 · Novelty 2 · Practical 4 · Evidence 3 · Timely 3

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 2 个项目