- 1. SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化
美团针对搜推中约0.5～1B的小模型有界生成负载，采用静态DAG、AOTInductor、Packed Prefill、请求内KV共享及选择性FP8，压缩通用生成框架的调度开销。Prefill-only约100请求/秒、1500样本/秒，平均端到端延迟低于20毫秒，P99约70毫秒；该负载吞吐约为所比较SGLang路径的10倍。
出现于日报：10-16
- 2. CacheSmith: Accurate RAG Serving under Latency SLOs with Adaptive KV Reuse
CacheSmith解决RAG复用文档块KV时跨块注意力缺失、固定重算配置难以适配请求差异的问题。系统将重算拆为WarmUp、Probe和Patch，结合SLO感知组批与预算规划，动态选择成本和质量折中；在4个基准及不同到达率、突发程度下，相对4种先进基线的质量门控SLO达成率最高提高27.5%。
出现于日报：10-16
- 3. ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding
ReplaySSM 将混合模型的 SSM 状态表示为高精度检查点与近期输入缓冲区，降低反复读写和投机验证快照的成本。在 B300、批量 256 下，状态核加速 1.46–1.80 倍，完整解码步加速 1.20–1.47 倍；两个 120B 级模型的投机吞吐提升至 1.85–2.10 倍。
出现于日报：10-13
- 4. FlashVector: Agent for Hierarchical Model Serving Stack Optimization
推荐系统的服务成本来自内核、计算图、模型服务器和在线特征处理多个层级，单点调优难以覆盖整体瓶颈。FlashVector 用可扩展智能体框架统一优化异构技术栈。在 Unity 广告平台部署后，模型服务器吞吐最高提升至 2 倍、延迟加速最高 1.98 倍，特征存储吞吐最高提升至 1.6 倍。
出现于日报：10-15
- 5. KV-Repurpose: A Testbed for Evaluating Non-Prefix KV-Cache Reuse
KV-Repurpose 针对检索文档在不同提示位置出现时无法复用前缀缓存的问题，基于 vLLM 构建分段调度、缓存管理和监控测试平台。在仅20%请求共享固定前缀的负载下，同为30 GB缓存时命中率为63.9%，前缀缓存仅3.3%；前缀缓存扩至1 TB仍仅17.9%。单文档任务质量较稳定，跨文档推理仍有明显限制。
出现于日报：10-14
- 6. Deploying RDMA for Distributed Inference and Training At Scale
ByteExpress 针对字节跳动参数服务器式训练与推理，将 RDMA 缓冲分配、零拷贝、连接复用、接收信用和软件发送窗口结合，并在传输层之上实现故障恢复。生产推理中，参数拉取平均延迟及 P99 分别下降 35.7% 和 43.7%，CPU 总使用下降 10.69%；训练参数推送 P99 最高下降 74.0%。
出现于日报：10-15
- 7. RadixFlow: Filling Execution Bubbles in Prefix-Cached Hybrid LLM Serving
混合注意力模型中，命中共享前缀并不代表循环状态已经就绪，队首阻塞会留下无法执行的批处理空槽。RadixFlow 将前缀匹配与状态就绪解耦，只局部等待受阻分支，让独立请求继续填充批次。在 5 个混合模型上，平均延迟降低 3%—24%，执行轮次减少 11%—44%，前缀复用率基本不变。
出现于日报：10-15
- 8. Delta Tokenizer: Reference-Identical Tokenization of Session Deltas and Segment-Parallelism for Long Prompts on Multicore CPUs
Delta Tokenizer针对多轮会话重复分词的CPU开销，仅重编码新增文本及可能受边界影响的短尾部，并在安全切分点进行多核并行。增量分词约快40倍，16核处理400万字符请求快8.2倍；接入SGLang后，100K上下文的中位首字延迟下降59%，负载下会话P99首字延迟改善9.5倍。
出现于日报：10-16
- 9. Your Transformer Is Secretly Elastic
该方法把预训练Transformer转换为可随计算预算变化的弹性模型，通过跨多个稀疏率的软剪枝联合排序MLP神经元和注意力头，无需重新训练模型权重。在27个、2200万至80亿参数的视觉与文本编码器上评估；DINOv3剪去50%参数时线性探测准确率下降0.8%，另一视觉模型吞吐最高提高1.80倍。
出现于日报：10-16
- 10. NVIDIA Run:ai Is Now Open Source as Part of NVIDIA DSX AI Factory Platform
NVIDIA将完整Run:ai平台开源，提供KAI Scheduler、GPU Fractioning Operator、KAI Resource Management及Workload Map四个可独立采用的组件。平台覆盖GPU感知调度、CUDA原生显存分片、组织配额和工作负载管理，8家DSX生态伙伴宣布集成。文章提供源码与Helm部署入口，但未给出统一吞吐提升基准。
出现于日报：10-14