- 1. MiniPIC: Flexible Position-Independent Caching in <100LOC
检索增强与 Agent 工作负载会反复对文档、代码文件等"span"做 prefill，但 vLLM 的 prefix caching 只有在前缀完全相同时才能复用 KV，已有的位置无关缓存（PIC）方案又要么大改服务端、要么把 KV 放在服务外导致主机到设备搬运开销。MiniPIC 用不到 100 行代码在 vLLM 上实现 PIC：KV cache 里存未旋转的 K 向量…
出现于日报：06-15
- 2. Boosting MoE Training Throughput with Advanced Fusion Kernels
NVIDIA 针对 MoE 训练的三个瓶颈——激活函数访存受限、路由专家带来的 CPU 同步开销、以及量化未打满 Tensor Core——提出用 CuTe DSL 编写的融合算子，把 GroupGEMM 与 SwiGLU/GeGLU/sReLU 激活、以及 MXFP8/NVFP4 量化折叠进单个 kernel，实现 sync-free 的 MoE 执行并配合整轮 CUDA Graph…
出现于日报：06-16
- 3. MiniMax Sparse Attention
面向 Agent 工作流、仓库级代码推理、长期记忆等需要在数十万到百万 token 上做注意力的场景，softmax 注意力的平方级开销在部署规模下难以承受。MiniMax 提出 MSA：构建在 GQA 之上的分块稀疏注意力，用轻量 Index Branch 给 KV block 打分并为每个 GQA group 独立选 Top-k 子集，Main Branch 只在选中的 block 上做精确块稀疏注意力…
出现于日报：06-15
- 4. Multi-Segment Attention: Enabling Efficient KV-Cache Management for Faster Large Language Model Serving
现代 LLM serving 中前缀共享、部分复用与 agent 工作流会产生大量非连续的 KV 上下文，而现有引擎要求 KV 物理连续、需重排或重算。论文提出 AsymCache，核心是 Multi-Segment Attention：让 attention 直接在多段非连续 KV 上计算，无需把分散的 KV 物化成连续缓存。相比基线，TTFT 降低最多 1.90–2.03 倍，TPOT 提升 1.62–1.71 倍…
出现于日报：06-16
- 5. Can I Buy Your KV Cache?
论文指出当前大量 AI agent 在读同一份文档时各自从头 prefill、重复重建完全相同的 KV cache，浪费了最耗算力的步骤。作者提出由发布方预计算文档 KV、其他 agent 付费加载并跳过 prefill 的方案，并验证其 token 精确：贪心解码 24/24 token 与从头 prefill 完全一致，logits 层面也一致…
出现于日报：06-15
- 6. TWLA: Achieving Ternary Weights and Low-Bit Activations for LLMs via Post-Training Quantization
LLM 部署受限于显存与算力，三值化虽能大幅压缩模型，但已有方法因激活分布重尾只能保持激活高精度，从根本上限制了端到端加速。TWLA 是一个后训练量化（PTQ）框架，实现 1.58-bit 权重压缩 + 4-bit 激活量化并保持精度，包含 E2M-ATQ（从欧氏初始化到流形重定位的两阶段三值量化器，最小化层输出误差）、KOTMS（Kronecker 结构正交旋转重塑激活分布）等组件。
出现于日报：06-15
- 7. The Hidden Power of Scaling Factor in LoRA Optimization
LoRA 中的缩放因子 α 常被当作学习率的附属，其优化作用一直未被充分理解。论文揭示 α 与学习率的作用机制不同，是有效优化的主导因素，其收益无法靠调学习率替代。通过实证分析与 Signal-Drift 理论框架给出三点发现：LoRA 的谱抑制平滑了优化曲面、使常规超参过于保守；α 通过放大任务信号而不增大 drift ratio 来加速收敛；最优 α 与 rank 呈次线性（近似平方根）关系。
出现于日报：06-15
- 8. Maestro: Workload-Aware Cross-Cluster Scheduling for LLM-Based Multi-Agent Systems
LLM 多智能体系统（LLM-MAS）把任务拆成多个专用 agent 协作，但每个查询会触发迭代式 LLM 调用，资源消耗远超单轮，且 decode 阶段成本不确定、多模型需求重尾导致显存碎片与过度预留。Maestro 是面向严格 GPU 预算下 LLM-MAS 服务的负载感知调度系统：利用 agent 语义与角色预测各阶段的输出长度与显存占用，以此驱动分层调度器，并在节点级支持动态调度。
出现于日报：06-15
- 9. Multi-Bitwidth Quantization for LLMs Using Additive Codebooks
面向在异构硬件上部署 LLM、需在不重训前提下自适应权衡性能与效率的需求，论文提出 Drop-by-Drop 多比特宽后训练量化框架：训练一个模型即可在推理时控制权重精度。方法以信息论与逐次精化（successive refinement）为基础，论证服从高斯分布的 LLM 权重可随比特增加被最优重建；通过 Matryoshka 式监督与加性码本（additive codebooks），码本的有序子集即可给出不同精度的近似。
出现于日报：06-15
- 10. SPEAR: A System for Post-Quantization Error-Adaptive Recovery Enabling Efficient Low-Bit LLM Serving
论文发现低比特量化的误差高度依赖输入、在不同 token 间差异很大，而现有后量化补偿方法是静态的、对所有输入施加相同修正。SPEAR 在诊断分析定位出的“误差敏感层”上插入轻量级 Error Compensator，用 per-token 门控按 token 自适应补偿，再配合 kernel 融合与调度优化落地。结果在仅增加不到 1% 模型显存的前提下，恢复了 W4 与 FP16 之间 56–75% 的困惑度差距…
出现于日报：06-16