- 1. DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation
该论文面向高并发大模型推理中的 speculative decoding 浪费问题，提出 DSpark：用半自回归草稿结构保持块内 token 依赖，再用置信度调度按请求动态决定验证长度。论文报告在 DeepSeek-V4 真实服务流量中，相比生产基线 MTP-1，在吞吐匹配条件下单用户生成速度提升 60% 到 85%，并把原本不可达的交互式延迟档位推到可用区间。
出现于日报：07-10
- 2. Prism: Cost-Efficient Multi-LLM Serving via GPU Memory Ballooning
Prism 面向多模型推理服务商的资源浪费问题：大量低频但必须在线的模型会占住 GPU 显存，传统空分/时分共享很难同时保证 SLO 和利用率。论文基于生产 trace 发现模型请求呈动态 bursty-group 模式，提出以 GPU memory ballooning 统一回收和再分配跨模型显存；其 kvcached balloon driver 已开源，并在 10K+ GPU 的生产环境部署，证据强度明显高于普通离线系统论文。
出现于日报：07-07
- 3. Benchmarking KV-Cache Optimizations across Task Quality and System Performance for Long-Context Serving
这篇论文把长上下文 LLM serving 中最棘手的 KV-cache 膨胀问题做成统一基准，覆盖 KIVI、TurboQuant、SnapKV、CaM 四类量化、剪枝和合并方案。实验使用 Llama-3.1-8B-Instruct 与 Mistral-7B-Instruct-v0.3，在多文档 QA、单文档 QA、few-shot 与摘要任务上同时度量质量、吞吐、TTFT 和实际压缩率…
出现于日报：07-09
- 4. Towards Load-Aware Prefill Deflection for Disaggregated LLM Serving
这篇论文针对分离式 LLM serving 中 prefill 节点排队、decode 节点空闲的结构性浪费，提出在 decode 节点上按块执行部分 prefill 的 load-aware deflection 调度器。作者在 2P2D A100 生产式集群和 DeepSeek-V2-Lite trace 上发现，prefill 执行本身只占 P95 TTFT 的 2%–23%，瓶颈主要来自排队和跨节点 KV 传输…
出现于日报：07-08
- 5. Lynx: Progressive Speculative Quantization for accelerating KV Transfer in Long-Context Inference
Lynx 解决分离式长上下文推理中 KV cache 跨网络传输阻塞 decode 的问题。它把 KV cache 拆成高优先级 Anchor 流和低优先级 Residual 流，先传最重要的高位信息让 decode 投机开始，同时并发传输剩余精度并做验证；在多模型与 serving workload 上，TTFT 接近激进 4-bit KV 量化，同时保持 BF16 级精度…
出现于日报：07-08
- 6. KVpop -- Key-Value Cache Compression with Predictive Online Pruning
KVpop 面向自回归解码中 KV cache 随上下文线性增长导致的显存和带宽瓶颈，学习一个固定预算的在线 KV 淘汰策略，而不是依赖静态 heuristic 或 proxy score。它用 future-attention target 直接监督 keep/drop 决策，并加入延迟记忆 scorer 利用近未来上下文；在 AIME 和 HMMT 数学推理上…
出现于日报：07-08
- 7. GIFT: Geometry-Informed Low-precision Gradient Communication for LLM Pretraining
GIFT 针对 LLM 预训练中的梯度通信瓶颈，提出 geometry-informed 的低精度通信方法：先把高度各向异性的梯度变换到近似各向同性坐标，再用 FP8/NVFP4 等低精度格式通信。论文在 Llama-300M 和 Llama-600M 上验证收敛，在 64 张 NVIDIA GH200 Superchips 上让 Llama-600M 端到端预训练时间减少 7.6%，同时比直接欧氏 FP8 更好地保持下游任务表现。
出现于日报：07-10
- 8. WarmServe: Enabling One-for-Many GPU Prewarming for Multi-LLM Serving
WarmServe 解决共享 GPU 集群中多 LLM 服务的冷启动和 TTFT 抖动问题。它利用真实工作负载的周期性和可预测性做 one-for-many GPU prewarming，并结合模型放置、空闲 KV cache 预留和 GPU tensor memory switching 三个机制提前装载多模型权重。真实数据集评测显示，相比 autoscaling 系统，尾部 TTFT 最高降低 50.8x…
出现于日报：07-07
- 9. Observation, Not Prediction: Conversation-Level Disaggregated Scheduling for Agentic Serving
这篇论文研究 Agent 服务中的多轮推理调度：现有系统以单轮 turn 为调度单位，必须预测 decode 长度、工具行为和 KV 增长，导致调度误差。作者提出 ConServe，把调度单位提升到 conversation，利用可观测的一轮输入长度和 decoder KV 占用来完成 placement：首轮 prefill 送到高吞吐 prefiller，KV cache 只迁移一次，后续长尾固定在同一 decoder…
出现于日报：07-06
- 10. The Silent Hyperparameter: Quantifying the Impact of Inference Backends on LLM Reproducibility
这篇论文把推理后端本身定义为影响 LLM 评测和线上行为的“隐性超参”。作者先梳理 200 个推理引擎，并分析 35,000 篇机器学习论文，发现具体 inference stack 很少被报告；随后在固定模型权重、解码参数和硬件的条件下比较 vLLM、SGLang、llama.cpp 等 5 个常用后端。结果显示，仅更换后端就可能让基准分数移动最高 16.6 个百分点，并引入高比例输出分歧。
出现于日报：07-09