2026-06-04 周四 · Infra

独立报告页 · 在站内浏览(含往期切换)→
Generative生成式推荐 · 2 篇Personalization个性化推荐 · 7 篇AI SearchAI 搜索 · 9 篇Agentic智能体搜索 · 9 篇Infra系统与索引 · 10 篇

今日场景社区搜索 (UGC 短文本搜索):用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注:语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。本期 infra 赛道聚焦支撑这些能力落地的底层框架与基建:向量检索/ANN 索引、KV-Cache 量化与驱逐、late-interaction 检索加速、推理时扩展 (test-time scaling) 成本控制、开源模型与文档解析。 — 评分 19 篇,入选 10 篇,分数 3.35 – 4.10

本期目录 · 10 篇
  1. 01KVarN: Variance-Normalized KV-Cache Quantization Mitigates Error Accumulation in Reasoning Tasks
  2. 02Value-Aware Stochastic KV Cache Eviction for Reasoning Models
  3. 03Slipstream: Locality-Aware Graph Index Construction for Streaming Approximate Nearest Neighbor Search
  4. 04Col-Bandit: Query-Time Top-K Estimation for Late-Interaction Retrieval
  5. 05Small RL Controller, Large Language Model: RL-Guided Adaptive Sampling for Test-Time Scaling
  6. 06PaddleOCR-VL-1.6: Expanding the Frontier of Document Parsing with Under-Optimized Region Refinement and Progressive Post-Training
  7. 07Fast-dLLM++: Frechet Profile Decoding for Faster Diffusion LLM Inference
  8. 08Core-based Hierarchies for Efficient GraphRAG
  9. 09Predicting Inference-Time Scaling Gains from Labeled Validation-Set Output Statistics
  10. 10R^{2k} is Theoretically Large Enough for Embedding-based Top-k Retrieval
LEAD STORY · 今日必读

KVarN: Variance-Normalized KV-Cache Quantization Mitigates Error Accumulation in Reasoning Tasks

针对 test-time scaling 长解码下 KV-Cache 显存瓶颈,论文指出现有 KV 量化方法都在 prefill 设定下评测,而自回归解码时量化误差会随时间步累积,主因是 token scale 估计错误。作者提出 KVarN:先对 K、V 矩阵做 Hadamard 旋转,再沿两个轴做 dual-scaling 方差归一化,无需校准 (calibration-free)。在 MATH500、AIME24、HumanEval 上 2-bit 精度即取得 KV 量化新 SOTA,并已提供 vLLM 实现。

相关 4新颖 4实用 4证据 4时效 5
4.10
综合分 / 5
偏好调整 4.15
KEY INSIGHT · 对业务意味着什么把「prefill 量化」与「decode 量化」区分对待是关键洞察:解码阶段误差会逐步累积,离群 token scale 是元凶。Hadamard 旋转打散离群值 + 双轴方差归一化的组合,是无需校准数据就能稳住低比特 KV 的可复用范式。对社区搜索中部署长上下文 LLM 排序/改写的团队,2-bit KV + vLLM 现成实现意味着显存近乎减半而推理质量不塌,可直接用于压低在线 serving 成本。
Lorenz K. Muller, Philippe Bich, Chiara Boretti, Hyun-Min Chang, Jiawei Zhuang · 2026-06-01 · HuggingFace

今日其余入选

9 篇 · 按综合排名
02 4.10

Value-Aware Stochastic KV Cache Eviction for Reasoning Models

USC

推理模型靠长 CoT 提升精度,但长输出造成显存/算力瓶颈;KV-Cache 驱逐能降本,却常不如「保留全量 KV」的稀疏注意力。论文找到两个关键因素:一小撮 value 状态幅值异常大,误删它们会让模型陷入重复推理死循环;在驱逐中引入随机性可提升 cache 多样性进而提升精度。据此提出 VaSE——免训练方案,保护大幅值 value 并促成多样化驱逐。在 6 个推理任务上,Qwen3 配合 VaSE 在 4× KV 压缩下平均精度高于 SOTA 选择式稀疏注意力。

INSIGHT「大幅值 value 不可删」与「随机化驱逐增多样性」两条经验法则,揭示了 KV 驱逐失败的真正机理(灾难性重复循环),而非单纯重要性打分不准。免训练、4× 压缩、且反超保留全量 KV 的稀疏注意力基线,意味着可作为现有 serving 栈的即插即用补丁。与 KVarN(量化路线)互补:一个压精度位宽、一个压条目数量,社区搜索的长上下文 LLM 服务可叠加使用。

Ting-Yun Chang, Harvey Yiyun Fu, Deqing Fu, Chenghao Yang, Jesse Thomason
HuggingFace·2026-06-02·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
03 4.00

Slipstream: Locality-Aware Graph Index Construction for Streaming Approximate Nearest Neighbor Search

图索引是高召回 ANN 的主流,但实时流式场景下,持续到达的 embedding 必须先搜图找候选邻居再更新边,反复建索引成为流式摄入的瓶颈。Slipstream 利用向量流的连续性:新到点不从入口点重搜,而是从上一次插入找到的有希望候选出发;再用自适应控制器根据流的稳定性收窄或放宽起始候选子集的搜索范围,从而大幅降低频繁插入的算力开销。

INSIGHT「相邻到达的向量在空间上也相邻」这一流连续性先验,被转化为可复用插入路径的具体机制——这是流式 ANN 区别于静态建索引的核心。对社区搜索而言,UGC 帖子/评论持续产生、需近实时进入向量召回库,Slipstream 直接对应「索引增量更新成本」这一线上痛点:自适应控制器还能在内容突发(热点话题)时自动放宽搜索,兼顾召回质量与摄入吞吐。

Shubing Yang, Dongfang Zhao
arXiv·2026-06-03·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
04 3.90

Col-Bandit: Query-Time Top-K Estimation for Late-Interaction Retrieval

IBM

ColBERT 等多向量 late-interaction 检索质量 SOTA,但查询期成本被「对每个候选文档穷举 token 级 MaxSim」主导。论文观察到 N×T 的 MaxSim 分数矩阵其行和才是最终分,求 top-K 很少需要算全部条目。Col-Bandit 按批揭示矩阵条目,对每个候选维护有限总体 Bernstein-Serfling 置信区间,一旦某文档上界跌破第 K 大的下界即永久淘汰,只算区分 top-K 所需的格子;单个松弛旋钮 α_ef∈(0,1] 调节算力-精度权衡,部署用 α_ef=0.2。

INSIGHT把 late-interaction 的 top-K 检索建模成「带置信区间的多臂老虎机/逐次淘汰」,用统计置信界省掉大部分 MaxSim 计算,是 ColBERT 类模型落地的关键提效思路。社区短文本搜索若采用多向量精排,查询期 MaxSim 正是延迟大头;单一 α_ef 旋钮便于按场景(高峰降算力/低峰保精度)调档,无需重训模型即可接入现有 reranker。

Roi Pony, Adi Raz Goldfarb, Oshri Naparstek, Idan Friedman, Udi Barzelay, Eli Schwartz
arXiv·2026-06-03·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 4
05 3.70

Small RL Controller, Large Language Model: RL-Guided Adaptive Sampling for Test-Time Scaling

test-time scaling 提升推理质量但显著增加算力与延迟。已有自适应采样方法靠启发式规则或分布假设决定何时停采。论文把自适应采样形式化为马尔可夫决策过程 (MDP),用强化学习训练一个轻量采样控制器,在每一轮决定「停止采样」还是「再取样本」,联合平衡答案正确率、延迟与算力成本;该控制器只依赖最终答案的统计量,可在 CPU 上训练与部署,并被解释为带显式预算约束的拉格朗日松弛。实验中对比 ASC、ESC 等强基线取得更优的成本-精度权衡。

INSIGHT「小 RL 控制器 + 大模型」的解耦设计很有工程价值:控制器只看答案统计量、CPU 可跑,不侵入 LLM 本体,便于在不同模型上复用。把推理预算写成显式约束的拉格朗日松弛,给了「按延迟/成本预算自动调采样深度」一个可解释的旋钮。对社区搜索中用 LLM 做 query 改写或答案聚合的链路,这是把 best-of-N 成本压到可控范围的实用调度器。

Runpeng Dai, Tong Zheng, Rui Liu, Chengsong Huang, Hongtu Zhu
HuggingFace·2026-06-01·Relevance 3 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
06 3.55

PaddleOCR-VL-1.6: Expanding the Frontier of Document Parsing with Under-Optimized Region Refinement and Progressive Post-Training

Baidu

PaddleOCR-VL-1.6 是基于 1.5 版(0.9B 紧凑文档解析模型)的升级。作者发现残余错误集中在「欠优化区域」——模型行为不稳、数据覆盖稀疏或监督不可靠之处。不盲目扩充语料,而是引入 region-aware 数据优化框架:定位上一版的弱区、对其做定向增强并提升监督信号可靠性;再配合基于精选数据与强化学习的渐进式后训练分阶段优化。最终在 OmniDocBench v1.6 取得 96.33% 的新 SOTA,对标顶级 VLM 仍具竞争力。

INSIGHT「先用旧模型定位自身弱区,再定向补数据/补监督」的 region-aware 数据优化,是一条比无脑扩库更省成本的迭代范式,对任何要做数据闭环优化的团队都有借鉴。0.9B 紧凑模型 + 开源 + 96.33% 文档解析 SOTA,对社区搜索很实用:UGC 中大量图文帖、截图、扫描问答需先解析为可检索文本,轻量高精的文档解析直接决定召回库的文本质量与覆盖。

Zelun Zhang, Hongen Liu, Suyin Liang, Yubo Zhang, Yiqing Xiang
HuggingFace·2026-06-01·Relevance 3 · Novelty 3 · Practical 4 · Evidence 4 · Timely 5
07 3.45

Fast-dLLM++: Frechet Profile Decoding for Faster Diffusion LLM Inference

扩散式大语言模型许诺并行生成 token,但推理瓶颈在于「判断哪些被 mask 的 token 可安全一起提交」。前作 Fast-dLLM 用 KV 缓存 + 置信度引导的并行解码,但其解码理论假设候选集同质高置信,等价于只看选中 token 里最弱的那个。Fast-dLLM++ 提出免训练的 Frechet profile decoding:从完整排序的置信度剖面而非单一最差置信度来挑选并行提交集,是 Fast-dLLM 因子选择器在异质置信下的推广,等置信时精确退化为原规则,并带来可证明的「异质性红利」加速。

INSIGHT把「并行提交哪些 token」从看最差置信度升级为看整条置信度剖面,揭示了扩散 LLM 解码提速被同质假设浪费的部分。免训练、可证明退化兼容前作,工程接入风险低。虽然扩散 LLM 在搜推线上尚非主流,但其并行解码若成熟,将为高吞吐、低延迟的批量 query 理解/改写提供与自回归不同的加速路径,值得 infra 团队持续跟踪。

Siva Rajesh Kasa, Yasong Dai, Sumit Negi, Hongdong Li
arXiv·2026-06-03·Relevance 3 · Novelty 4 · Practical 3 · Evidence 3 · Timely 5
08 3.35

Core-based Hierarchies for Efficient GraphRAG

GraphRAG 把文档组织成知识图谱的层次化社区并递归摘要,以解决向量 RAG 在「跨多文档全局理解」上的失败。但现有方法依赖 Leiden 聚类做社区发现,论文证明:在稀疏知识图(平均度为常数、多数节点低度)上,模块度优化存在指数级数量的近优划分,使 Leiden 社区天然不可复现。为此提出用 k-core 分解替代 Leiden,得到确定性、密度感知、线性时间的层次结构,并设计一组轻量启发式利用 k-core 层次构造尺寸受限、连通的社区。

INSIGHT「稀疏图上 Leiden 社区不可复现」是一个被忽视却影响线上稳定性的工程隐患——同样语料每次建出的社区不同,会让 GraphRAG 召回结果漂移。改用 k-core 分解换来确定性 + 线性时间,对需要可复现、可缓存检索结构的生产系统很关键。对社区搜索中做跨帖/跨问答全局聚合(如话题综述)的 RAG 链路,这是更稳、更省的索引组织方案。

Jakir Hossain, Ahmet Erdem Sariyuce
arXiv·2026-06-03·Relevance 3 · Novelty 4 · Practical 3 · Evidence 3 · Timely 4
09 3.40

Predicting Inference-Time Scaling Gains from Labeled Validation-Set Output Statistics

Best-of-N 推理扩展(采 N 个候选、用奖励模型选最优)能提精度,但提升幅度因模型而异,目前要预知幅度只能端到端跑完整流程。论文用单次带标注验证集采样得到的廉价统计量(样本一致程度、多样性、置信度、正确样本出现位置)拟合 ridge 预测器,用 bootstrap-Lasso 做特征集稳定性分析,并给出带显式线性近似残差的集中度分析。在 3 个基座模型族、6 种后训练方法、数学与推理任务域上验证了可预测性。

INSIGHT「花一次验证集采样的小钱,预测 best-of-N 能涨多少」对推理预算分配极具实用价值:可在上线前判断某模型是否值得开 test-time scaling,避免无谓烧算力。bootstrap-Lasso 选出的紧凑、跨模型稳定的预测特征,给了一个轻量、可移植的决策工具。与 Small RL 控制器(在线动态调采样)互补:本文偏离线选型,前者偏在线调度。

Luyang Zhang, Jingyan Li
arXiv·2026-06-03·Relevance 3 · Novelty 3 · Practical 4 · Evidence 3 · Timely 5
10 3.35

R^{2k} is Theoretically Large Enough for Embedding-based Top-k Retrieval

论文研究 Minimal Embeddable Dimension (MED):能让 m 个对象向量、任意 ≤k 子集都被打分比较精确检索出来的最小维度。结论是对内积、欧氏距离、余弦相似度,MED 均为 Θ(k)、与 m 无关。进一步定义 Robust MED (RMED)(向量单位归一化且要求 ε 分数间隔),推导出 m 相关的可行性上界 ε⋆(m,k)=m/√(k(m-1)(m-k)),当 m≫k 时趋于 1/√k,并给出高斯质心构造的鲁棒上界。在 LIMIT/LIMIT-small 上验证理论。

INSIGHT「精确 top-k 检索的最小 embedding 维度只取决于 k、与库规模 m 无关」是反直觉但很有指导性的结论:不必为更大语料盲目堆 embedding 维度。RMED 的 ε⋆ 给出了「要稳健区分 top-k 需要多大分数间隔」的定量天花板。对社区搜索设计召回 embedding 维度、评估向量库可达精度上限,提供了理论标尺,有助于在维度(存储/算力)与检索精度间做有据的取舍。

Zihao Wang, Hang Yin, Lihui Liu, Hanghang Tong, Yangqiu Song, Ginny Wong, Simon See
arXiv·2026-06-03·Relevance 3 · Novelty 4 · Practical 3 · Evidence 3 · Timely 4

其他赛道今日

点击切换
Generative
2
生成式推荐 · 篇入选
Personalization
7
个性化推荐 · 篇入选
AI Search
9
AI 搜索 · 篇入选
Agentic
9
智能体搜索 · 篇入选

开源雷达

GitHub / HuggingFace 热门 · 5 个项目
bytedance-research/Lance: 统一任意到任意多模态模型(图像/视频生成、编辑、理解)ByteDance Research 的 any-to-any 多模态模型,覆盖图像生成、视频生成、图像编辑、视频理解;HF likes 1021、下载 3309。model · ★ 1021 · 2026-05-15 · HuggingFacestepfun-ai/Step-3.7-Flash: 阶跃星辰多模态推理模型StepFun 的 image-text-to-text 多模态模型 Step-3.7-Flash,支持 agent/tool-calling/reasoning。model · ★ 230 · 2026-05-23 · HuggingFacestepfun-ai/Step-3.7-Flash-GGUF: Step-3.7-Flash 的 GGUF 量化版(llama.cpp)MoE + imatrix 量化、llama.cpp 可部署,支持 tool-calling/reasoning;下载 41522。model · ★ 102 · 2026-05-28 · HuggingFaceinternlm/Intern-S2-Preview: 书生 Intern-S2 多模态预览版InternLM 的 image-text-to-text 多模态模型 Intern-S2 预览版。model · ★ 102 · 2026-05-15 · HuggingFacebytedance-research/Lance (Space): Lance 模型在线体验Lance 多模态模型的 Gradio 在线 Demo。gradio · ★ 97 · 2026-05-22 · HuggingFace