今日场景今天的基础设施赛道围绕一件事：让低比特和稀疏的大模型真正跑得快、部署得便宜。Humming 用一套共享部件现场编译出各种量化格式的 kernel，Mistral Large 4 和 MiniMax-M3.1-Flash 的首日支持则展示了 NVFP4、稀疏注意力和投机解码在大 MoE 模型上的实际收益。vLLM TorchTPU 把同一套服务栈搬到 TPU 上，另有一篇论文提醒，存在第三方向量库里的图片 embedding 可以被还原成原图。 — 评分 32 篇，入选 5 篇，分数 3.35 – 4.15
本期目录 · 5 篇
- 01Announcing Humming: Fast, Flexible Kernels for Quantized Inference
- 02Day 0 support for Mistral Large 4 on vLLM
- 03vLLM Delivers Day-0 Support for MiniMax-M3.1-Flash
- 04Introducing vLLM TorchTPU
- 05Black-Box Embedding Inversion Attack on Vector Databases
LEAD STORY · 今日必读 · AAnt Group
做大模型推理的团队值得读这篇，它处理的是量化里更基础的麻烦：难的往往不是把权重压到低比特，而是每多一种格式、每换一代 GPU，就要多写并维护一套 kernel。蚂蚁集团和 vLLM 社区开源的 Humming 把量化格式的描述和在某张 GPU 上的执行方式分开，再用一套共享的 CUDA 部件现场编译出需要的 kernel。部件做得轻，编译也快：在 H200 上编译单个 W4A16 kernel，CUTLASS 要 23.35 秒，Humming 只要 1.82 秒。维护成本从按格式组合算，变成了按部件算，适合要同时支持多种量化格式和多代硬件的推理团队。
今日其余入选
4 篇 · 按综合排名
02 3.75
Mistral万亿参数的多模态 MoE 模型 Mistral Large 4 换成 NVFP4 精度后几乎不掉效果，这是 vLLM 首日支持它时给出的最实用结论。在多模态、长上下文、编程 agent 等评测上，它和 FP8 版本每项相差不超过 2.1 分，平均只差 0.3 分，同时更快、能放下更多 KV cache。模型还自带一个 DSpark 草稿模型做投机解码，每步平均被接受约 2.9 个 token，把输出吞吐提高到约 2 倍。NVFP4 加自带的草稿模型，是部署这类大 MoE 时最值得先试的组合，因为两者都不需要额外训练。
03 3.75
IInferact
长上下文 decode 慢，主要卡在每一步都要把整段 KV cache 从显存读一遍。MiniMax-M3.1-Flash 的注意力只读一小部分：一个轻量的索引器先把上下文按每 128 个 token 切成块并给每块打分，主注意力只在得分最高的 16 个块上精确计算。每个 token 都存一个小的索引向量，索引器用当前 query 给它打分，一块里最高的那个分就是这块的分。每步虽然要把整段上下文的索引向量读一遍，但它只有完整 KV 数据的八分之一大，完整的 KV 数据只读选中的那几块。所以上下文很长时，算上索引器，每步读显存的量也只有稠密注意力的约 12.5%。vLLM 首日支持这款模型，还把 KV cache 和 MoE 权重都放到 NVFP4。对长上下文 agent 服务，省钱的关键是少读显存，稀疏注意力和低比特 KV cache 都在做这件事。
04 3.55
IInferact
Google
新发布的 vLLM TorchTPU 让 vLLM 里现有的大多数模型不改模型代码就能跑在 Google Cloud TPU 上。它是一个 vLLM 平台插件：调度器、KV cache 管理和 OpenAI 兼容服务都直接用上游 vLLM，模型经 torch.compile 编译到 XLA，TPU 专门的工作集中在一组手调的 Pallas kernel 上，覆盖注意力、MoE 和量化矩阵乘。vLLM 的 6 种并行方式都能在 TPU 上组合使用；跑大 MoE 时，作者通常让每张卡各算各的注意力、把专家分散到整组 TPU 上，吞吐最高。它还能把 KV cache 零拷贝卸到主机内存。对已经在用 vLLM 的团队，换到 TPU 的成本主要只剩装插件和等首次编译。
05 3.35
很多团队把向量数据库交给第三方托管，理由是 embedding 不是原始数据，泄露了也问题不大。这篇论文表明图片 embedding 并不安全：攻击者不需要知道 embedding 模型的结构和参数，只要能调用模型或 API，就能从 embedding 还原出高保真的原图。做法是先用一批和受害方数据同类的图片训练一个条件扩散模型，再把图片 embedding 通过交叉注意力送进去引导生成。以往的图片 embedding 反演攻击大多要求拿到模型参数，在外包场景里并不成立，这个只靠调用接口的设定更接近真实威胁。存在第三方向量库里的图片 embedding，应当按原图同等级别保护。
其他赛道今日
点击切换
开源雷达
GitHub / HuggingFace 热门 · 6 个项目nguyenquanicd/Aes128_ECB_CBC_CFB_OFB_CTRAES128 IP core supports ECB, CBC, CFB, OFB and CTR modeAlibaba-DAMO-Academy/RynnUnify-Agentic-Reasonerpipeline: image-text-to-text; tags: transformers, safetensors, qwen3_vl, image-text-to-text, rynnunify, embodied-ai, visual-reasoning, reinforcement-learningAlibaba-DAMO-Academy/Rynn-VPRynn-VP: Long-Horizon Visual Planning Benchmark Rynn-VP evaluates visual plans for everyday manipulation in real indoor scenes. Given a natural-language task and an initial image, a system produces a candidate video or an ordered sequence of step images. Evaluation examines the a; tags: language:en, license:cc-by-nc-4.0, size_categories:n<1K, region:us, visual-planning, embodied-ai, video-generation, multimodalAlibaba-DAMO-Academy/RynnUnify-GEU-BenchRynnUnify-GEU-Bench RynnUnify-GEU-Bench is the GEU (Generation Enhanced Understanding) benchmark used for the RynnUnify family. It contains 2000 multi-turn samples across 10 subsets and 3 task families, each paired with its source images and a stored rollout video. Each record wa; tags: task_categories:visual-question-answering, language:en, license:other, size_categories:1K<n<10K, region:us, embodied-ai, spatial-reasoning, video-understandingTencentARC/WorldCrafter-Fastpipeline: image-to-video; tags: diffusers, safetensors, arxiv:2609.24984, worldcrafter, text-to-video, camera-control, image-to-video, diffusers:WorldCrafterinternlm/Atria-Dawntags: safetensors, glm_moe_dsa, arxiv:2609.15818, region:us
已录用 KDD 2026