推理模型的长输出序列是当前 LLM serving 的核心瓶颈之一，LongFlow 提供了一条零训练成本的解决路径。其关键设计是将重要性评估嵌入注意力计算流程本身，避免了额外的 profiling 开销。对于部署 DeepSeek-R1 等推理模型的团队，该方法可直接集成到现有 serving 框架中，以极低成本换取数倍吞吐提升，尤其适合搜索场景中需要 LLM 做复杂推理的环节。
问题与动机
推理模型（如 OpenAI-o1、DeepSeek-R1）生成极长输出序列（16000+ token），造成巨大内存瓶颈。长输出需要大量 KV 缓存，导致高内存消耗和严重的带宽压力。现有压缩方法针对长输入短输出场景设计，在长输出场景下无效——它们要么需要大量计算开销，要么需要大量辅助存储。
方法概述
LongFlow 仅从当前查询和注意力计算中间值估计 token 重要性，消除对历史数据的依赖。通过定制 Triton 核函数将 FlashAttention、重要性估计和 token 逐出融合为单一算子。
核心技术贡献
- 轻量级压缩算法：重要性估计仅需当前查询信息，无辅助存储，成为注意力计算的「几乎免费的副产品」
- 融合高性能核函数：集成注意力、评分和逐出的定制核函数将注意力延迟从 47ms 降至 8ms
- 理论保证：严格误差界证明当 token 注意力权重趋近零且查询相似度增大时，近似误差消失
- 静态内存管理：预分配 KV 缓存消除碎片化，为分布式系统提供一致的逐步工作负载
实验结果分析
- 模型：DeepSeek-R1-Distill-Llama-8B、Qwen3（0.6B/1.7B/4B/8B）
- 吞吐量：80% KV 缓存压缩下实现 11.8× 吞吐量提升（Qwen3-1.7B，单 A100-40GB）
- 精度：DeepSeek-R1 在 3200 token 预算下平均仅 ~0.08% 精度下降；Qwen3-8B 约 1.3%
- 对比：H2O 吞吐量约为 LongFlow 的 1/4；VATP、R-KV 计算开销显著更高
- 数据集：MATH-500、AMC-23、AIME-24/25、GPQA、Minerva、OlympiadBench、GSM8K
局限与未来方向
依赖连续查询相似性假设——在主题切换或工具调用交错时性能可能下降；仅针对长输出优化，不适用于长输入预填充或非自回归生成。
工业实践意义
对于部署推理型 LLM（如用于搜索排序解释的 Rank1）具有直接价值——KV 缓存压缩可显著降低长推理链的内存成本。11.8× 吞吐量提升使得在有限 GPU 上部署推理型模型变得经济可行。来自苏州大学和字节跳动的合作研究。