- 1. BitNet Text Embeddings
针对 LLM 文本 embedding 部署贵的两个痛点——大 backbone 拖慢 embedding 推理、全精度高维向量给大规模索引带来存储与带宽压力——提出 BITEMBED 极低比特框架。做法是把预训练 LLM backbone 转成 BitNet 式编码器：三值 (ternary) 权重、量化激活、轻量归一化修正，再经过持续对比预训练，最后用相似度分布蒸馏 + 注意力关系蒸馏从全精度 teacher 上做有监督对比微调…
出现于日报：06-26
- 2. Boost Inference Performance up to 15x on NVIDIA Blackwell Using DFlash Speculative Decoding
DFlash 是一个开源 block-diffusion 草稿模型：草稿器用一次前向就生成一整块候选 token（而非逐 token），target 模型并行验证。三个关键技术——并行 block-diffusion 草稿、来自大模型的 target hidden-state 条件、KV 注入维持接受率。在 8 卡 NVIDIA DGX B300 上跑 gpt-oss-120b、高交互场景 (每用户 500–600…
出现于日报：06-26
- 3. Not All Prefills Are Equal: PPD Disaggregation for Multi-turn LLM Serving
当前 Prefill-Decode (PD) 分离架构在多轮对话推理中存在低效：每轮都把整段历史重新 prefill。论文观察到多轮场景下并非所有 prefill 同等代价——只有本轮新增 token 需在 prefill 节点计算，历史轮次的 KV 可在 decode 节点本地复用，据此提出 PPD（Partial-Prefill Disaggregation）…
出现于日报：06-22
- 4. Dustin: Draft-Augmented Sparse Verification for Efficient Long-Context Generation with Speculative Decoding
投机解码在多 batch 长上下文 LLM 上常被验证阶段卡住——KV cache 加载主导了延迟。已有压缩方法在这个场景都失效：静态驱逐因 saliency shift 掉精度，动态选择又在验证路径上引入过高计算开销。Dustin 是面向长上下文投机解码的稀疏验证框架：融合 draft 模型的 lookahead 信号与 target 模型的历史注意力，在多步验证窗口内高保真地定位关键 token…
出现于日报：06-26
- 5. Run DiffusionGemma on NVIDIA for Developer-Ready, High-Throughput Text Generation
DiffusionGemma 是 Google DeepMind 的 25.2B 文本扩散模型，基于 Gemma 4 26B A4B MoE（激活 3.8B），支持 256K 上下文。与自回归逐 token 不同，它用扩散去噪每步并行生成 256 个 token，从根本上拉高吞吐：单张 H100 上最高 1,000 tokens/sec、DGX Spark 上 150 tokens/sec、DGX Station 上 2,000…
出现于日报：06-26
- 6. Scaling AI Inference Across Multiple GPUs Using NVIDIA TensorRT with Multi-Device Inference Support
TensorRT 11.0 引入原生多设备推理：基于 NVIDIA NCCL，通过 IDistCollectiveLayer 原语支持 AllReduce、AllGather、AlltoAll 等分布式集合操作，把单模型推理切到多卡。测试聚焦生成式媒体——Cosmos 3 视频生成、FLUX.1-dev 文生图，两者注意力都要处理每 block 数万 token…
出现于日报：06-26
- 7. Lodestar: An Online-Learning LLM Inference Router
Lodestar 针对大模型推理在 GPU 集群上的请求路由问题：输入长度不定、batching 相互耦合、异构加速器延迟非线性，传统启发式路由难以兼顾。它用一个在线 reward predictor 持续从集群快照（实例状态、请求特征、实测性能）中学习，预测每个候选实例的收益来指导路由，并可直接接入 vLLM。实验中平均 TTFT 降低 1.41x、P99 TTFT 降低 1.47x…
出现于日报：06-23
- 8. When More Cores Hurts: The Vector Database Scaling Paradox in HPC
在 64 节点超算环境上系统压测 Qdrant、Milvus、Weaviate 三款向量数据库，发现违反直觉的扩展悖论：给实例增加 CPU 核数反而最多让查询吞吐下降 30.67%；把 worker 从 16 扩到 256（16x）只换来 5.46x 吞吐。作者将根因归为这些系统的云原生设计假设（多租户、网络拓扑、线程模型）与 HPC 紧耦合硬件错配，并给出大规模并行环境下的部署配置建议。
出现于日报：06-22
- 9. Maximize AI Factory Energy Efficiency Through Full-Stack Inference and Training Optimizations
把 AI factory 的能效当成可优化目标（电力可占运营开支 40%）。全栈手段横跨硬件（GB200 NVL72 + 液冷）、精度（NVFP4 比 FP8 吞吐更高）、软件（TensorRT-LLM、Dynamo）。训练侧提出协同 GPU 调频——非关键路径 GPU 主动降频、关键路径 GPU 满速跑，配合 ML.ENERGY、落到 Megatron-LM，借细粒度 kernel 级 profiling 削减 GPU 空转…
出现于日报：06-26
- 10. Optimizing cloud economics with linear elastic caching
把缓存驱逐建模成 ski-rental 问题：每个数据项在'继续租内存（持续成本）'与'买下 miss 代价（被驱逐后重取）'之间权衡。用轻量 ML（浅层决策树）按访问模式与 miss 成本给缓存页分配 TTL，从而动态调缓存大小，而不是按峰值静态配。在 Google Spanner 生产环境实测：内存降 15.5%、miss 多 5.5%、总成本省 5%，且多出来的 miss 集中在'重取便宜'的数据上…
出现于日报：06-26