- 1. HiLO: Towards Product-Level Graceful Degradation with a Quality-Aware, Load-Aware Control Framework · 📖 深度解读
流量尖峰时每个服务各自降级，单个服务活下来了，整个产品效果却可能崩掉。微软的 HiLO 把降级从服务级提到产品级：事先定好几个经过验证的产品状态，每个状态规定每个服务降到哪一档，比如关掉某些特征、减少扇出或换更便宜的模型；运行时各服务上报负载，中央控制器据此选一个状态下发。降级的单位应该是产品，而不是服务。上线后经历了 9 次真实流量冲击。最高一次到基线峰值的 2.38 倍…
出现于日报：10-28
- 2. Cross-Modal Data Co-Locality for Heterogeneous Storage Systems · 📖 深度解读
一条多模态查询要先查文本向量、再取对应的图片向量，两次近邻检索都很快，慢的是两份向量分在不同存储层时的那次搬运。CoLoc 不改向量也不改索引，只调整数据放在哪一层：经常被同一条查询一起用到的向量尽量放在同一层。它优化的是数据放在哪，而不是在哪里搜。在四层存储测试中，需要跨层取数的查询从 73.04% 降到 0，多模态查询占一半时端到端延迟降低 24.8%，召回率不变。
出现于日报：10-28
- 3. Failure-Resilient and Verifiable Distributed Approximate Nearest-Neighbor Retrieval · 📖 深度解读
分布式向量库的副本能保证查得到，却不能保证查到的是真的：被攻破的副本可以返回签名合法、内容被篡改的近邻结果。TrustANN 在路由层之上加一层中间件，对每个分片，从副本回复里贪心挑出一组：数量达到设定下限，两两相似分够高（候选集合重合度加排序一致度），并覆盖设定数量的不同故障域（如可用区）；凑不齐就去找新的独立副本补，仍不够则明确返回未验证。副本在线不等于结果可信…
出现于日报：10-28
- 4. Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels · 📖 深度解读
KV cache 压缩已能把长文档的缓存砍到十分之一，但效果最好的 Attention Matching 给每个保留的键向量加了一个偏置，vLLM 没有地方放它。这篇论文用读文档时产生的 query 为每个注意力头算出一个方向，让这些 query 在它上面的投影平均正好是 1，再把每个键向量沿它挪动一段与偏置成正比的距离，投影接近 1 的 query 看到的分数变化就约等于偏置…
出现于日报：10-29
- 5. Let the Gate Decide: Per-Lookup Precision for Quantized Conditional Memory in LLMs · 📖 深度解读
给大模型的 n-gram 记忆表做低比特量化时，把精度留给访问最多的行反而比随机挑还差。原因在门控：DeepSeek 的 Engram 这类条件记忆层查出的向量要乘一个门控，常见虚词的门控很小，罕见实体名的门控很大，量化误差按门控放大。GateRQ 把每行存成几级单比特残差码，每次查表先读第一级算出门控，再在同一个 batch 里按门控估出的重要度排序，排在最前的一小部分读到第三级，其次的读到第二级，其余停在第一级…
出现于日报：10-29
- 6. WAKMan: Workload Aware KVCache Manager · 📖 深度解读
vLLM 的前缀缓存该用哪种淘汰策略，取决于此刻的流量。agent 请求几秒后就带着同样的历史回来，默认的 LRU 正合适；热门系统提示和多轮对话的历史隔很久才回来，要靠优先保护反复被用的块的 S3FIFO 才留得住。作者在 20 种请求混合上实测，两种策略各有输赢。WAKMan 每 15 分钟把刚过去的流量在两套模拟缓存上各重放一遍，下一段时间用命中率更高的那套，平均比只用 LRU 多 5 个点的命中率。
出现于日报：10-29
- 7. BellowsKV: One Latent for Many Layers, Expanded on Demand · 📖 深度解读
长上下文推理里最占显存的往往是每层各存一份的 KV 缓存（每个历史 token 的键和值）。BellowsKV 发现相邻几层的缓存彼此不像，但算出缓存的输入隐藏状态很像，所以共享输入：把每个 token 在相邻 n 层的隐藏状态拼起来，乘一个压缩矩阵，得到一份共享向量，替代这 n 层的缓存；每层另有一个还原矩阵，直接从共享向量算回本层的键和值。两种矩阵用校准数据按还原误差最小离线求一次，无需训练。该共享的是输入，而不是缓存…
出现于日报：10-28
- 8. Where Rounding Happens Matters: Rounding-Location Alignment Stabilizes LLM Reinforcement Learning · 📖 深度解读
大模型强化学习通常用一套推理引擎生成回答、另一套框架训练，就算权重相同、都用 BF16，两边算出来的数也会有细微差别，本该是同策略的更新悄悄变成了异策略，训练可能突然崩掉。字节跳动 Seed 和北大的这篇论文发现，不必把两套系统整体对齐，只要在 RoPE、SwiGLU 和残差 RMSNorm 三处让训练端和推理端在同一个位置做舍入就够了：这几处的中间结果先保留 FP32，到输出时再转成 BF16…
出现于日报：10-27
- 9. KVStream: Adaptive Parallel Storage Management for KV Caching in Large-Scale LLM Serving · 📖 深度解读
长上下文推理会反复用到同一段前缀，比如系统提示、整份文档、代码仓库和多轮会话历史。这些前缀的 KV cache 早已放不进 GPU 显存和主机内存，只能落到硬盘上，下次命中再读回来，读盘就卡在了每一步推理的关键路径上。现有系统只读节点本地的 NVMe，集群早已挂载的并行文件系统却几乎闲着。这篇论文做了 KVStream：每块 KV 在本地盘和共享存储各写一份，读的时候两边同时读，谁先读完谁接着领下一批…
出现于日报：10-26
- 10. C 2 KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference · 📖 深度解读
检索增强生成要把多篇检索到的文档拼进上下文，每次都从头算这些文档的 KV 缓存很贵，于是有方法把每篇文档的 KV 缓存存起来、用时直接拼接。但长文档的 KV 缓存很大，存储和读取本身成了瓶颈，直接压缩后再拼接，准确率又会明显下降。上海交大和阿里巴巴的这篇论文提出 C2KV，在冻结的原模型旁加一个轻量提取器：把几个可学习的压缩 token 接在文档后面一起读，只留下这几个 token 的 KV 当作这篇文档的缓存…
出现于日报：10-27