- 1. Fast Embeddings on GPUs
Perplexity 将 embedding 服务拆为 Rust 网关 Ivy、调度层 Tulip 和推理引擎 ROSE，复用 LLM 内核并用整模型 CUDA Graph 与 LazyTensor 重叠主机和设备工作。原文观察到十亿参数以下模型约 512 token 即可饱和 GPU，并在 BF16、vLLM 0.22.0 对照中验证余弦相似度偏差不超过 0.1%。
出现于日报：09-07
- 2. Miles v0.1: Production-Level Post-Training
Miles 将后训练拆为 SGLang 采样、Megatron-LM 或 FSDP 训练，以及适配不同拓扑的三种权重同步通道，并支持 LoRA RL 与在策略蒸馏。报告在 64 张 GB300 上运行 GLM-5.2 744B-A40B 的异步智能体强化学习，前 30 个测量步骤的中位耗时为 263 秒。该数字是特定配置的运行记录，并非相对基线的加速比。
出现于日报：09-10
- 3. Sample-Guided Exact Top-K Selection for Long-Context Sparse Attention
长上下文稀疏注意力虽然只保留少量 token，精确 Top-K 仍需扫描完整分数行。HPC-Ops 先用固定步长采样提出粗边界，再在全行扫描中验证候选充足性，并以 FP32 精确细化和恢复路径保证正确性。20 组算子配置相对最快已验证精确基线达到 1.29–1.75 倍加速，几何均值为 1.55 倍。
出现于日报：09-10
- 4. Elasticsearch Vector Database: Ship in minutes, scale affordably to hundreds of billions
Elastic 发布面向向量应用的无服务器数据库，将 embedding 生成、索引配置、混合召回和过滤检索放入统一服务。默认 bfloat16 存储相较 float32 约减半，BBQ 宣称向量内存最高压缩 32 倍；文中引用 18 个数据集的自动校准测试，平均 QPS 提升 16.7%。这些是厂商报告的功能及测试结果，尚非社区业务线上实验。
出现于日报：09-10
- 5. AInfer-PD: Communication-Safe In-Place Prefill-Decode Multiplexing for Distributed MoE Rollouts
AInfer-PD 面向分布式 MoE 强化学习 rollout，把预填充与解码留在同一设备并共享权重和 KV。系统协调跨 rank 集体通信顺序，隔离 DeepEP 两条路径的协议状态；相对 SGLang，固定负载完成时间在单节点降低 24.8%–32.9%，双节点降低 18.3%–31.8%。
出现于日报：09-07
- 6. Advanced CUDA Graph Techniques in SGLang
SGLang用分段CUDA Graph保留稳定计算区域，把不适合捕获的动态操作留在即时执行路径，并通过请求填充支持完整预填充捕获。在4张GB300、gpt-oss-120b的预填充实验中，分段方案和完整捕获分别达到即时执行的1.70倍、1.93倍速度；分段图构建较编译式后端快3.8–5.2倍。
出现于日报：09-08
- 7. Fast Engine Recovery: Sub-Second Engine Restart for SGLang via Weight Cache Daemon
针对大模型服务重启时反复读取权重、量化和分片的开销，团队让独立守护进程持有处理后的GPU权重，并通过CUDA IPC供新引擎零拷贝映射。Ling-2.6-1T FP8实验中，权重加载由约495秒降至0.63秒，完整启动由约8.8分钟降至0.528分钟；标题中的亚秒恢复不等于所有启动阶段都已达到亚秒。
出现于日报：09-08
- 8. Analytical Resource Management for Fine-grained MoE Computation-Communication Overlap
MoE 推理中计算与通信 CTA 竞争 SM 驻留资源，固定划分易造成通信积压或计算并行度不足。论文基于路由 tile、占用率和依赖就绪时刻建立波次模型，在启动前选择资源配置。四张 A100、三种 MoE 模型上，完整模型 prefill 几何均值加速 1.185 倍；15 个负载上相对实测最优配置的平均损失为 3.22%。
出现于日报：09-10
- 9. When to Use Encode-Prefill-Decode Disaggregation to Accelerate Multimodal Model Serving
NVIDIA Dynamo 将视觉编码与 LLM prefill、decode 拆成独立工作单元，并通过 NIXL 传递视觉 embedding，以减少多模态请求阻塞纯文本请求。四张 GB200 上的 Qwen3.5 122B-A10B NVFP4 实验中，50:50 图文混合流量的文本和图像平均 TTFT 分别下降 42.2% 与 30.8%；收益随图片负载和输出长度变化。
出现于日报：09-10
- 10. HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan
腾讯HPC-Ops把动态注意力调度、Router GEMM和融合MoE算子接入SGLang，以缓解混合上下文批次负载不均及小矩阵运算开销。8张H20运行Hy3-FP8时，联合启用注意力和MoE算子在批量4–64下降低TPOT 15.1%–48.8%，在批量4–16下降低TTFT 3.3%–6.0%。
出现于日报：09-08