- 1. KVarN: Variance-Normalized KV-Cache Quantization Mitigates Error Accumulation in Reasoning Tasks
针对 test-time scaling 长解码下 KV-Cache 显存瓶颈，论文指出现有 KV 量化方法都在 prefill 设定下评测，而自回归解码时量化误差会随时间步累积，主因是 token scale 估计错误。作者提出 KVarN：先对 K、V 矩阵做 Hadamard 旋转，再沿两个轴做 dual-scaling 方差归一化，无需校准 (calibration-free)…
出现于日报：06-04
- 2. Value-Aware Stochastic KV Cache Eviction for Reasoning Models
推理模型靠长 CoT 提升精度，但长输出造成显存/算力瓶颈；KV-Cache 驱逐能降本，却常不如「保留全量 KV」的稀疏注意力。论文找到两个关键因素：一小撮 value 状态幅值异常大，误删它们会让模型陷入重复推理死循环；在驱逐中引入随机性可提升 cache 多样性进而提升精度。据此提出 VaSE——免训练方案，保护大幅值 value 并促成多样化驱逐…
出现于日报：06-04
- 3. Slipstream: Locality-Aware Graph Index Construction for Streaming Approximate Nearest Neighbor Search
图索引是高召回 ANN 的主流，但实时流式场景下，持续到达的 embedding 必须先搜图找候选邻居再更新边，反复建索引成为流式摄入的瓶颈。Slipstream 利用向量流的连续性：新到点不从入口点重搜，而是从上一次插入找到的有希望候选出发；再用自适应控制器根据流的稳定性收窄或放宽起始候选子集的搜索范围，从而大幅降低频繁插入的算力开销。
出现于日报：06-04
- 4. ANN Search: Recall What Matters
近似最近邻（ANN）检索普遍用 Recall@k（召回的真实 kNN 占比）来评测和调参，论文指出这会强制系统为追求与精确 kNN 的集合重合而付出不必要的算力。作者主张真正重要的是检索结果的距离质量，而非与真值集合的重合度，提出用 1/Ratio@k（逆近似比，衡量检索邻居与真实邻居的距离差异）替代 Recall@k：该指标无需裁判模型、无超参，仅用标准 ANN benchmark 输入即可计算…
出现于日报：06-05
- 5. Distributional Approximate Nearest Neighbour Search for Uncertainty-Aware Retrieval
推荐系统的 ANN 索引通常为每个用户/物品学习单点 embedding，但稀疏交互数据使表示充满噪声，检索因此系统性偏向少数 embedding 估计良好的热门头部物品，牺牲长尾、多样和惊喜内容。论文提出 DINOSAUR：为每个 embedding 引入分布式（带不确定性）表示，并设计与现有 ANN 基础设施兼容的检索框架，在召回阶段显式考虑表示不确定性，从而缓解头部偏置、提升长尾覆盖与多样性。
出现于日报：06-05
- 6. More Than Efficiency: Embedding Compression Improves Domain Adaptation in Dense Retrieval
稠密检索器在专业领域常因训练域与目标域分布不匹配而退化，传统域适配需要昂贵的标注与 query-document 对重训练。论文重新审视一个被忽视的替代方案：对领域 embedding 做 PCA 降维，保留域相关判别成分、丢弃非判别噪声维度。结果表明这种压缩不仅省存储/算力，还能改善域适配效果——即“压缩即正则”，在无需重训练的前提下提升专业域稠密检索质量。
出现于日报：06-05
- 7. Col-Bandit: Query-Time Top-K Estimation for Late-Interaction Retrieval
ColBERT 等多向量 late-interaction 检索质量 SOTA，但查询期成本被「对每个候选文档穷举 token 级 MaxSim」主导。论文观察到 N×T 的 MaxSim 分数矩阵其行和才是最终分，求 top-K 很少需要算全部条目。Col-Bandit 按批揭示矩阵条目，对每个候选维护有限总体 Bernstein-Serfling 置信区间，一旦某文档上界跌破第 K 大的下界即永久淘汰…
出现于日报：06-04
- 8. Cartridges at Scale: Training Modular KV Caches over Large Document Collections
Cartridge 通过把文档集合蒸馏成可复用的 KV cache 来消除长上下文 prefilling，但单个 cartridge 是整体式、不可组合的：把整个集合编码进单一 KV 块无法扩展，而把独立训练的 cartridge 简单拼接会让性能塌缩到接近随机。论文提出 Cartridges at Scale（CAS）训练框架，引入动态干扰项混合（dynamic distractor mixing）与内存高效的预算管理器…
出现于日报：06-05
- 9. An Industrial-Scale Sequential Recommender for LinkedIn Feed Ranking · 📖 深度解读
LinkedIn 用 transformer 序列排序模型 Feed SR 替换原有的 DCNv2 排序器，重点不在模型结构本身，而在如何在 12 亿用户规模下满足严格的生产时延约束。论文披露了建模选择、训练技巧和 serving 优化三方面工程细节，并对比了其他序列模型和 LLM-based 排序架构落地的取舍。Feed SR 已承载 LinkedIn Feed 大部分线上流量超过三个月…
出现于日报：06-03
- 10. Self-Conditioned Positional HNSW for Overlap-Aware Retrieval in Chunked-Document RAG Systems
RAG 把文档切成有重叠的 chunk 后用 HNSW 做近邻检索，重叠虽能改善边界覆盖，却带来一个常见故障：top-k 经常返回相邻 chunk，重复证据、挤占 prompt 预算。SCP-HNSW 给 chunk embedding 追加一个低维位置编码，用两遍 query 流程估计并施加 query 相关的文档位置先验，再用一个可审计的 minimum-index-gap 选择器构造最终上下文…
出现于日报：06-03