2026-09-18 周五 · Infra

独立报告页 · 在站内浏览(含往期切换)→
Generative生成式推荐 · 2 篇Personalization个性化推荐 · 2 篇AI SearchAI 搜索 · 3 篇Agentic智能体搜索 · 6 篇Infra系统与索引 · 10 篇

今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。 核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。 关注:语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 67 篇,入选 10 篇,分数 3.45 – 4.30

本期目录 · 10 篇
  1. 01BOA: Beamwidth Online Adaptation for Filtered-ANNS on a GPU
  2. 02Ask the Tool, Don't Guess: Agent Tool Calls Hold Their Progress, and the Serving System Should Read It
  3. 03RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation
  4. 04Quanta: A Self-Contained Python Library for Hybrid Retrieval over Quantised Embeddings, Lexical Indexes, and Knowledge Graphs
  5. 05Zero-I/O Fault Recovery for Sharded Deep Learning via Dynamic Framework Dependency Rebinding
  6. 06PipeSwift: Revisiting Pipeline Parallelism for Large-Scale Completion-Oriented Agentic LLM Serving
  7. 07The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction
  8. 08Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches
  9. 09GeoMesh: Workload-Balanced and Sign-Compressed Geo-Distributed LLM Training
  10. 10Beyond Static RAG: An Adaptive, Tri-Metric Routing Framework for Efficient Long-Context Inference on Commodity GPUs
LEAD STORY · 今日必读 · UC Riverside

BOA: Beamwidth Online Adaptation for Filtered-ANNS on a GPU

BOA 面向带属性过滤的 GPU 向量检索,先用窄束搜索整批查询,再仅扩大不确定查询的搜索宽度。对 10,000 个查询,平均束宽 22–77 即达到 94.05%–99.96% 召回率,对照需固定束宽 500;论文报告吞吐提升 7–12.5 倍。

相关 5新颖 4实用 4证据 4时效 4
4.30
综合分 / 5
偏好调整 4.35
KEY INSIGHT · 对业务意味着什么社区搜索经常同时过滤时间、内容类别和可见范围,固定搜索深度会让简单查询承担困难查询的成本。可借鉴分阶段自适应搜索及阶段重叠,但先在实际 UGC 向量和过滤选择率下验证召回、尾延迟与 nDCG,论文吞吐倍数不能直接视为线上收益。
Farhana Akter Tumpa , Rajiv Gupta · 2026-09-14 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.10

Ask the Tool, Don't Guess: Agent Tool Calls Hold Their Progress, and the Serving System Should Read It

AlibabaTsinghua UniversityZhejiang University

论文让运行中的工具显式上报剩余工作量或接近完成的信号,供推理引擎决定 KV 缓存保留、驱逐和回迁。四个公开 Agent 语料的分析显示这类信号普遍可读;接入生产级引擎后,相对 LRU,工具调用后的 p90 首 token 延迟在纯 HBM 和 HBM+DRAM 配置分别下降 20.7% 和 20.8%。

INSIGHT对社区搜索中的检索、数据库查询和外部工具,可在包装层暴露进度,帮助服务端提前回迁上下文,而不是仅按历史时长猜测。这里的核心贡献是服务系统与工具的状态协作;上线前应测试无进度信号、错误上报和长尾工具,避免回迁流量反而挤占正常查询。

Yipeng Liu , Yingqiang Zhang , Feifei Li , Huanchen Zhang
arXiv·2026-09-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
03 4.10

RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation

RayOrch 用声明式展开和聚合保存文档、页面、片段之间的父子关系,让 GPU 跨父项组批,同时按原始顺序归并结果。在 H20 上,MinerU 从 4 卡扩至 64 卡获得 15.14 倍加速;端到端耗时比 Ray Data 减少 13.1%、比 Daft 减少 29.0%,并提供开源代码。

INSIGHTUGC 索引建设常把帖子拆为文本、图片和视频片段,长内容容易阻塞整批处理。可借鉴显式血缘、子项独立调度和父项级失败隔离,使高吞吐与正确归并同时成立;业务侧还需补充删除传播、重复写入控制和索引版本一致性,论文实验不等同于这些能力已齐备。

Xiaochen Ma , Zimo Meng , Junzhu Liang , Youhe Jiang , Yue Cheng , Hao Liang , Bohan Zeng , Dengchun...
arXiv·2026-09-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 3.95

Quanta: A Self-Contained Python Library for Hybrid Retrieval over Quantised Embeddings, Lexical Indexes, and Knowledge Graphs

NovelcoreUniversity of Peloponnese

Quanta 将 4-bit 向量索引、BM25 和图遍历统一到 Python 检索接口,用加权倒数排名融合内容信号,图只负责扩充候选。在合成医院语料原型中,索引由 float32 的 858KiB 缩至 107.3KiB,候选池约扩大 3.3 倍;该实验没有相关性标注或基线排序器,不能证明检索质量领先。

INSIGHT社区帖子、评论和实体关系可共享轻量检索接口,值得借鉴的是先用图找候选,再按内容重算得分,避免结构邻近直接变成相关性。上线仍需建立 UGC 相关性评测,并检查过滤权限、增量更新及扩图尾延迟;小语料结果只适合指导原型选型。

Ioannis E. Livieris
arXiv·2026-09-16·Relevance 5 · Novelty 3 · Practical 4 · Evidence 2 · Timely 5
05 3.85

Zero-I/O Fault Recovery for Sharded Deep Learning via Dynamic Framework Dependency Rebinding

NingboTech UniversityDalian Ocean University

AccelPact 针对分片训练中通信失败后显存状态仍完整的情形,通过重新绑定框架缓存的通信依赖,避免回读检查点。在 16 张 RTX 5880 上训练 Mistral-7B,检查点年龄为 5 时整程有效吞吐比冷重启提高 1.197 倍;连续十次故障注入后,各 rank 参数保持逐位一致。

INSIGHT搜索模型训练可把可恢复的通信故障与进程死亡分开处理,前者有机会保留已提交优化步骤,减少存储流量和重放成本。该方法依赖显存未损坏及安全提交边界,不能替代持久检查点;先在现有 FSDP 版本上验证故障分类和拒绝恢复路径,再评估收益。

Genlang Chen , Junyi Zhu
arXiv·2026-09-16·Relevance 4 · Novelty 4 · Practical 3 · Evidence 4 · Timely 5
06 3.85

PipeSwift: Revisiting Pipeline Parallelism for Large-Scale Completion-Oriented Agentic LLM Serving

Tsinghua UniversityShanghai Jiao Tong UniversityPolar Bear Technologies

PipeSwift 将长流程 Agent 的完成时间作为调度目标,联合优化流水线并行、预填充/解码调度和多 token 预测。在 64 张 H800、两个超过 360B 的 MoE 模型上回放真实代码及搜索轨迹,相比 SGLang wide-EP、vLLM PP2 和预填充/解码分离部署,完成时间最多分别加速 1.45、2.33 和 1.54 倍。

INSIGHT面向社区的多轮搜索或离线研究任务,单独降低首 token 延迟未必缩短整个任务时间。可借鉴按工作流完成时间联合选择调度策略与并行方式,但该论文的大集群结果不宜外推至小模型实时排序;应分别观察整程耗时、首响应和交互等待体验。

Shiju Wang , Fei Ren , Fangcheng Fu , Zhanhong Tan , Kairui Li , Jingwei Cai , Kaisheng Ma
arXiv·2026-09-15·Relevance 4 · Novelty 4 · Practical 3 · Evidence 4 · Timely 5
07 3.75

The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction

AutoArk

Edge0 通过预路由器提前一 token 确定下一层专家,使 SSD 读取与计算重叠,再用未合并的恢复 LoRA 补偿量化及路由变化。在单台 24GB 机器上,35B MoE 达到约 20 token/s,峰值活跃内存约 3GiB;五项公开基准平均成绩距 FP16 教师模型数个百分点,框架和适配器已开源。

INSIGHT这为本地 UGC 内容处理和低成本离线标注提供实验方向,但预路由实际上改变了原模型路由,需要重新训练与质量校准。3GiB 指活跃内存,不代表机器总内存或页缓存占用;评测应同时记录冷启动 SSD 带宽、完整常驻内存与中文查询改写质量。

Yu Lin, Yiming Wang, Runyuan Cai, Hanze Liu, Xiaodong Zeng
HuggingFace·2026-09-16·Relevance 4 · Novelty 4 · Practical 3 · Evidence 3 · Timely 5
08 3.75

Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches

Fathom 将 4-bit K 缓存按通道拆成位平面,依据每次查询的重要性为各通道分配读取位数,降低主机侧 KV 缓存扫描流量。在 Qwen3-8B 百万 token 场景,解码步骤 GPU 时间相对 136-bit 扫描加速 1.67 倍;与 SparQ 68-bit 方案同 GPU 时间时少读 18% 字节,七种设置中六种注意力误差更低。

INSIGHT对于社区长对话或长文档搜索,先确认瓶颈在主机内存到 GPU 的传输,再考虑按查询分配读位预算。论文明确指出索引完全驻留 GPU 时不更快,不能将局部扫描收益泛化为整个服务加速;应连同稀疏选择、传输和生成准确性一起评估。

Vivek Kalyanarangan
arXiv·2026-09-15·Relevance 4 · Novelty 4 · Practical 3 · Evidence 3 · Timely 5
09 3.55

GeoMesh: Workload-Balanced and Sign-Compressed Geo-Distributed LLM Training

GeoMesh 针对异构 GPU 跨地域同步训练,联合调整每个 worker 的批量和内部步数,并交换符号压缩伪梯度及少量幅值信息。论文报告通信量接近减少 32 倍;在异构 GPU 和 Azure 来源的广域网设置中,达到目标困惑度的时间最多减少 70.2%,同时保持接近的零样本准确率。

INSIGHT如果社区搜索模型训练分布在不同地域或不同代际 GPU,负载分配和通信压缩应联合考虑,而不只增加梯度累积。其价值主要在带宽受限的训练环境,单机小模型收益可能有限;迁移时要验证中文短文本收敛、训练稳定性和最终相关性指标。

Changyong Shin , Jaerim Park , Minchul Kang , Younghun Go , Zhixiong Niu , Yongqiang Xiong , Gyeongs...
arXiv·2026-09-16·Relevance 3 · Novelty 4 · Practical 3 · Evidence 4 · Timely 5
10 3.45

Beyond Static RAG: An Adaptive, Tri-Metric Routing Framework for Efficient Long-Context Inference on Commodity GPUs

Tri-Metric Router 研究 T4 16GB 上神经压缩器与生成模型共置时的显存竞争,以长度、关键词密度和词型比在原文、神经压缩及 BM25 三条路径间切换。域外样本中 OOM 为 0%,与 oracle 路由一致率为 88.5±4.4%,Combined F1 为 49.3%,比始终词法压缩高 5.2 个百分点。

INSIGHT社区搜索的长评论和帖子摘要可以先做硬件感知路由,而不对所有输入启动神经压缩。论文给出的约 4,332 词切换点来自特定 T4 配置,应重新测定中文 token 分布、模型显存和并发负载;首次提交为 7 月,不能把本次 RSS 出现日期当作首次发表。

Saipraveen Vabbilisetty, Ajay Kumar Boddepalli, Deep Narayan Mishra, Shashank Kapadia, Haoan Wang, A...
arXiv·2026-07-23·Relevance 4 · Novelty 3 · Practical 4 · Evidence 3 · Timely 2

其他赛道今日

点击切换
Generative
2
生成式推荐 · 篇入选
Personalization
2
个性化推荐 · 篇入选
AI Search
3
AI 搜索 · 篇入选
Agentic
6
智能体搜索 · 篇入选

开源雷达

GitHub / HuggingFace 热门 · 5 个项目
zai-org/GLM-OCRpipeline: image-to-text; tags: transformers, safetensors, glm_ocr, image-text-to-text, conversational, image-to-text, zh, enmodel · ★ 2050 · 2026-01-30 · HuggingFaceinternlm/Intern-S1-Propipeline: image-text-to-text; tags: transformers, safetensors, interns1_pro, text-generation, image-text-to-text, conversational, custom_code, arxiv:2603.25040model · ★ 278 · 2026-02-02 · HuggingFaceinternlm/Atria-Dawn-Previewtags: safetensors, glm_moe_dsa, arxiv:2609.15818, zh, en, license:mit, region:usmodel · ★ 145 · 2026-09-11 · HuggingFacestepfun-ai/StepAudio-3-Musictags: gradio, region:usspace · ★ 62 · 2026-09-13 · HuggingFaceinternlm/Intern-S2-397Bpipeline: image-text-to-text; tags: transformers, safetensors, qwen3_5_moe, image-text-to-text, conversational, license:apache-2.0, endpoints_compatible, region:usmodel · ★ 44 · 2026-09-13 · HuggingFace