Paper Daily · 系统与索引 Infra

Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels

Thu, 29 Oct 2026 08:00:00 +0800

KV cache 压缩已能把长文档的缓存砍到十分之一，但效果最好的 Attention Matching 给每个保留的键向量加了一个偏置，vLLM 没有地方放它。这篇论文用读文档时产生的 query 为每个注意力头算出一个方向，让这些 query 在它上面的投影平均正好是 1，再把每个键向量沿它挪动一段与偏置成正比的距离，投影接近 1 的 query 看到的分数变化就约等于偏置。不改源码的 vLLM 在一张 T4 上同时装下的请求从 4 个变成 31 个。

系统与索引 · 评分 4.40 · 深度解读 13 分钟 · Utkarsh Kanwat · 原文

WAKMan: Workload Aware KVCache Manager

Thu, 29 Oct 2026 08:00:00 +0800

vLLM 的前缀缓存该用哪种淘汰策略，取决于此刻的流量。agent 请求几秒后就带着同样的历史回来，默认的 LRU 正合适；热门系统提示和多轮对话的历史隔很久才回来，要靠优先保护反复被用的块的 S3FIFO 才留得住。作者在 20 种请求混合上实测，两种策略各有输赢。WAKMan 每 15 分钟把刚过去的流量在两套模拟缓存上各重放一遍，下一段时间用命中率更高的那套，平均比只用 LRU 多 5 个点的命中率。

系统与索引 · 评分 4.40 · 深度解读 11 分钟 · Suhas Kumar Morisetty, Vaibhavi Lokegaonkar, Sachin Mathew Varghese, Wesley Harris · 原文

Let the Gate Decide: Per-Lookup Precision for Quantized Conditional Memory in LLMs

Thu, 29 Oct 2026 08:00:00 +0800

给大模型的 n-gram 记忆表做低比特量化时，把精度留给访问最多的行反而比随机挑还差。原因在门控：DeepSeek 的 Engram 这类条件记忆层查出的向量要乘一个门控，常见虚词的门控很小，罕见实体名的门控很大，量化误差按门控放大。GateRQ 把每行存成几级单比特残差码，每次查表先读第一级算出门控，再在同一个 batch 里按门控估出的重要度排序，排在最前的一小部分读到第三级，其次的读到第二级，其余停在第一级；各级的比例由事先定好的平均读取比特数预算决定。不重训模型，DeepSeek 最新的 Flash 模型每张 GPU 上的表从 23.6 GiB 降到 3.0 GiB，省下的显存让长上下文吞吐比 FP8 表明显更高。

系统与索引 · 评分 4.40 · 深度解读 16 分钟 · Tianqi Chen, Xunchao Li, Linchuan Xie, Guanghua Yu, Jianchen Zhu, Peisong Wang, Jian Cheng · 原文

Lossless Compression of Proximity Graph Indexes for Efficient Approximate Nearest Neighbors Search

Thu, 29 Oct 2026 08:00:00 +0800

向量检索的 HNSW 图索引里，向量本身已经常被量化压小，邻接表里的边反而成了内存大头，但边要在每次查询走图时现场解码，压缩不能拖慢查询。eBay 和比萨大学的这篇工作先离线给节点重新编号，让相邻节点的编号靠近，再用支持 SIMD 的整数压缩器 Stream VByte 现场解码。边存储最多省下 52.7%，延迟几乎不变；在 eBay 线上部署时，边存储最多减少 44.3%，查询延迟没有变差。

系统与索引 · 评分 4.30 · 深度解读 10 分钟 · Francesco Benocci, Leonard Dahlmann, Francesco Gargiulo, Tobias Heuer, Silvio Martinico, Franco Mar… · 原文

TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving

Thu, 29 Oct 2026 08:00:00 +0800

agent 服务里，模型推理跑在 GPU 集群上，工具调用跑在分散的 CPU 上，现有调度器不看工具什么时候返回，也只用启发式规则决定哪些会话上 GPU、放在哪个节点。TAO 为每个会话和每个节点算三项：这个节点上缓存还能复用多少（随时间衰减），工具是否会在下个调度窗口内返回（按工具自己报告的进度或同类工具的历史耗时估算），会占多少 token。动态规划在容量限制下一起决定选谁、放哪，目标是让选中会话的缓存复用总量最大，平手时就绪的会话越多越好，再平手时偏向 token 多的。在 12 组模型、负载和并发设置里，首 token 平均延迟最多降低 36.3%。

系统与索引 · 评分 4.10 · Shuhuai Li, Shengdong Ye, Dongdong Ge, Yinyu Ye, Jianghao Lin · 原文

ResCom: Activation Residual Compensation for Large Language Model Quantization

Thu, 29 Oct 2026 08:00:00 +0800

权重和激活都量化到低比特后，同一个量化区间里的激活被取成同一个值，精度因此下降。ResCom 把激活被舍掉的残差拿回来补偿层输出误差。它在校准数据上统计残差的协方差，以及输出误差和残差的互协方差。先用前者把残差各维的尺度和相关性拉平，再对拉平后的互协方差矩阵做奇异值分解。取最能解释输出误差的几个方向，就直接得到低秩修正矩阵，不需要梯度训练。在 4 bit 权重和激活的 Llama-3-8B 上，五样本 GSM8K 准确率从 23.96% 提到 36.16%。

系统与索引 · 评分 4.10 · Ning Yang, Bohan Cui, Zhuowen Liu, Yuting Wang · 原文

Lost in the bf16 Cast: Exporting Ternary Language Models Can Revert Most Low-Learning-Rate Code Changes

Thu, 29 Oct 2026 08:00:00 +0800

三值大模型发布时，导出流程先把潜在权重转成 bf16，这一步会悄悄抹掉小学习率微调学到的大部分改动。原因是微调更新的是高精度的潜在权重，只有潜在权重越过阈值（所在张量平均幅度的一半）时，对应的三值码才会改变；小学习率下，多数改动只比阈值多出一点点。而阈值附近 bf16 能表示的相邻数值隔得比这点改动还远，一转就把刚越过阈值的权重拉回原处。按文档流程导出后，Falcon-E-1B-Base 的 GSM8K 准确率从 58.79% 掉到 0.78%。

系统与索引 · 评分 4.10 · Avichal Sahai, Nishant Raj, Animesh Srivastava · 原文

Memory-Enforced GPU Sharing in Kubernetes with NVIDIA CUDA 13.4

Thu, 29 Oct 2026 08:00:00 +0800

很多 AI 任务只用得了一块 GPU 的一小部分，以往的共享方式里，轮流占用的时间片不限制显存，多进程并发的 MPS 也没有对应用透明的显存上限。NVIDIA 的这篇博客介绍 CUDA 13.4 新增的显存边界：任务申请多少就只能用多少，超出就分配失败，也可以设保底加可突发的上限。配套的开源 GPU Fractioning Operator 在 Kubernetes 节点上配置和监督 MPS，KAI Scheduler v0.18.0 负责按注解把分数 GPU 分给各个容器。

系统与索引 · 评分 4.00 · 原文

LoRA on a Budget: Function-Aware Post-Hoc Compression for Adapter Fleets

Thu, 29 Oct 2026 08:00:00 +0800

同一个底座模型挂着大量 LoRA 适配器时，要在共享的秩预算下压缩它们，既要定每个适配器各层留多少秩，也要定预算在适配器之间怎么分。FRA 不用标注，拿一小批无标注输入，比较压缩前后适配器输出分布的差异（JS 散度），逐个截断模块测出这个差异，用动态规划拼出每个适配器的压缩曲线，再在整批适配器上做让最差者损失最小的分配。在 3 个公开集合共 78 个适配器上，预算紧时最差适配器的效果明显更好。

系统与索引 · 评分 4.00 · Shenghui Li, Thiemo voigt · 原文

Layerwise Repacking: Variable-Length Hybrid-Attention Training without an Extra Redistribution Pass

Thu, 29 Oct 2026 08:00:00 +0800

混合注意力模型做变长训练时，最长的样本在全注意力层需要几十张卡组成的大序列并行组，稀疏注意力层在单机小组里就能平衡。复用大组会让稀疏层通信跨机，单独再切换分组又要多搬一次数据。全注意力层本来就要做一次全交换通信来交换注意力头，Layerwise Repacking 在这次交换里顺便把样本重新分到单机小组，隐状态留在小组里直到下一个全注意力层，端到端训练时间平均缩短 7.61%。

系统与索引 · 评分 4.00 · Jiahao Zhang, Junwei Feng, Dongliang Huang, Xiaoling Zhou, Yiqiao Liao, Chengru Song · 原文

HiLO: Towards Product-Level Graceful Degradation with a Quality-Aware, Load-Aware Control Framework