- 1. VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs
针对长上下文推理中 KV Cache 的内存瓶颈，VarRate 按查询显著性为每个 token 分配不同低秩预算，并保证所有 token 都保留非零秩，无需训练。在 LongBench 16 项任务、20% 缓存预算下，Llama-3.1-8B 与 Qwen2.5-7B 距未压缩模型均不足 0.8 分，预填充开销约为 KVzip 的八分之一。
出现于日报：07-21
- 2. Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
论文发现权重共享的循环 Transformer 在不同循环步上的 KV 向量形成低秩轨迹，提出 LLA 在读取注意力时才重建循环特定 KV。在单张 H200、4K 上下文下，21.3 倍压缩把 Ouro-1.4B 批容量从 32 提升到 768；Huginn-3.5B 的 SVD 编码在 32 倍压缩下仍接近无损。
出现于日报：07-21
- 3. C$^2$KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference · 📖 深度解读
针对长上下文推理中非前缀 KV 复用仍受存储与传输成本制约的问题，C²KV 联合学习位置无关、可拼接的压缩缓存表示。其侧挂 Extractor 以可学习压缩 token 和结构化注意力抽取缓存，并用压缩—拼接协同训练对齐复用行为；在多种长上下文基准与模型上最高实现 17 倍推理加速，同时保持生成质量。
出现于日报：07-22
- 4. An MLIR-Based Compilation Method for Large Language Models
论文用 MLIR 的 TopOp 与 TpuOp 两级方言打通模型语义和芯片相关的量化、层分组及内存布局，并把每个 Transformer 层静态拆成 prefill、带历史 KV 的 prefill_kv 和 decode 三阶段。实现已进入 TPU-MLIR 与 LLM-TPU，覆盖 Qwen、Llama、InternVL、MiniCPM-V 及 GPTQ、AWQ、AutoRound。
出现于日报：07-21
- 5. Akashic: A Low-Overhead LLM Inference Service with MemAttention
面向 Agent 长时会话中历史持续增长、重复 Prefill 成本高的问题，Akashic 用 MemAttention 将上下文切成有界块，并联合优化跨块语义关系与内存放置。四类负载、三种模型规模的实验显示，任务准确率最高提升 10.2 个点，吞吐提升 1.21 倍，可持续请求率提升 1.88 倍。
出现于日报：07-24
- 6. A Classifier That Teaches Itself: Self-Improving, Frozen-gate Training (SIFT) for Dynamic Document Classification
SIFT 面向企业文档分类中标注成本高、模型不敢自更新的问题，以 CPU 上的 SPLADE 稀疏编码器和 LightGBM 作为低成本主路径，仅把低置信样本升级给 LLM 裁决。LLM 标签持续回写训练集，使升级率随生产流量下降，并通过冻结门控约束自训练风险。
出现于日报：07-23
- 7. SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD
论文给出在昇腾 SuperPOD 上对 DeepSeek-V4 系列进行万亿参数 MoE 全参数后训练的完整实践，优化覆盖模型并行、计算通信编排与底层算子。系统达到 34.22% MFU，较开源基线提升 2.93 倍；配套 1 万条 OR 指令数据后，零样本 Pass@1 达 71.81%。
出现于日报：07-24
- 8. Where Should Optimizer State Live? Tiered State Allocation for Memory-Efficient Mixture-of-Experts Training
SkewAdam 按 MoE 参数角色分层配置优化器状态：骨干保留 FP32 动量和分解二阶矩，专家仅保留分解二阶矩，路由器使用精确二阶矩。6.78B 模型的状态从 AdamW 的 50.6GB 降至 1.29GB，峰值训练显存由 81.4GB 降至 31.3GB；训练 8200 万 token 后验证困惑度为 108.4，优于 AdamW 的 126.8。
出现于日报：07-23
- 9. Making LLMs faster without sacrificing accuracy
Amazon 将隐藏维度、MLP 与注意力参数比及 GQA 纳入 Scaling Law，使模型设计同时预测精度和推理效率。实验发现，同参数量、同精度模型的吞吐可相差 40%；Surefire 架构在 A100、H200 及多种推理框架上保持或超过 LLaMA 3.2 精度，吞吐提高 12%–47%。
出现于日报：07-24
- 10. SpecLA: Efficient Speculative Decoding for Linear-Attention Models
SpecLA 面向具有循环状态的线性注意力模型重做投机解码运行时，解决 Transformer KV 缓存方案无法正确处理链式依赖、分支验证与接受路径状态更新的问题。系统采用拓扑感知核函数、紧凑因子状态恢复、置信度剪枝和目标对齐的 EAGLE 式草稿器；在 H100 与公开 GDN-1.3B 模型上端到端最高加速 1.70 倍。
出现于日报：07-22