2026-06-23 周二 · Infra

独立报告页 · 在站内浏览（含往期切换）→
Generative生成式推荐 · 4 篇Personalization个性化推荐 · 5 篇AI SearchAI 搜索 · 6 篇Agentic智能体搜索 · 10 篇Infra系统与索引 · 5 篇

今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 7 篇，入选 5 篇，分数 2.95 – 3.60

本期目录 · 5 篇
  1. 01Lodestar: An Online-Learning LLM Inference Router
  2. 02Beyond Greedy Chunking: SLO-Aware Sliding-Window Scheduling for LLM Inference
  3. 03AgentJet: A Flexible Swarm Training Framework for Agentic Reinforcement Learning
  4. 04A Spatio-Temporal Expert Prefetching Framework for Efficient MoE-based LLM Inference
  5. 05CCCL Runtime: A Modern C++ Runtime for CUDA
LEAD STORY · 今日必读

Lodestar: An Online-Learning LLM Inference Router

Lodestar 针对大模型推理在 GPU 集群上的请求路由问题：输入长度不定、batching 相互耦合、异构加速器延迟非线性，传统启发式路由难以兼顾。它用一个在线 reward predictor 持续从集群快照（实例状态、请求特征、实测性能）中学习，预测每个候选实例的收益来指导路由，并可直接接入 vLLM。实验中平均 TTFT 降低 1.41x、P99 TTFT 降低 1.47x；同构集群最高 2.15x/1.86x，异构集群最高 4.38x/4.42x，且约 5 分钟即可学到有效策略。

arXiv ↗
相关 3新颖 4实用 4证据 4时效 3
3.60
综合分 / 5
偏好调整 3.70
KEY INSIGHT · 对业务意味着什么把推理调度的“路由”环节做成在线学习而非静态规则，是应对异构 GPU、变长输入的关键——预测器只需集群快照特征，约 5 分钟收敛，迁移成本低。对在搜索链路里部署 LLM 的团队，异构卡上 4.x 倍的 P99 TTFT 收益直接关系到长尾延迟与 SLO；可借鉴其以实测性能为反馈信号的路由器设计，叠加在现有 vLLM 服务栈之上。
Gangmuk Lim, Wanyu Zhao, Brighten Godfrey, Jiaxin Shan, Le Xu, Liguang Xie · 2026-05-31 · arXiv

今日其余入选

4 篇 · 按综合排名
02 3.35

Beyond Greedy Chunking: SLO-Aware Sliding-Window Scheduling for LLM Inference

SlidingServe 解决多请求 LLM 服务中 chunk 调度过于贪心、易触发 SLO 违约的问题。它由轻量 batch 延迟预测器、结合当前与下一迭代信息的 SlidingChunker 动态分块、多级优先级排序器，以及基于动态规划的 BatchConstructor 组成，在保证公平的同时挑选请求组批。相比 QoServe 等先进 SLO 感知调度系统，重负载下容量提升约 30%，SLO 违约率下降 16%–53%。

INSIGHT把 prefill chunk 大小从贪心固定改为滑动窗口加延迟预测驱动，是缓解 prefill 抢占 decode、降低尾延迟的有效手段；DP 组批配合多级优先级让吞吐与公平可调。社区搜索若用 LLM 做相关性判别或 query 改写，重负载时 16%–53% 的 SLO 违约下降意味着高峰期可用性显著改善，且改动集中在调度器层，无需动模型。

Yuansheng Chen, Yue Zhang, Xuan Mo, Weigang Wu, Jialun Li
arXiv·2026-06-04·Relevance 3 · Novelty 3 · Practical 4 · Evidence 4 · Timely 3
03 3.25

AgentJet: A Flexible Swarm Training Framework for Agentic Reinforcement Learning

AgentJet 是面向 agentic RL 的分布式 swarm 训练框架，将模型优化（GPU 集群）与 agent 执行（任意设备）解耦，支持异构多 agent 训练、多任务隔离、容错以及训练中热修改代码。其 context-tracking 模块通过 timeline merging 合并多模型/多轮/多 agent 场景下冗余的上下文，相比基线获得 1.5–10x 训练加速，并演示了在大规模集群上长程 RL 的自动化研究系统。

INSIGHTagentic RL 的轨迹比单轮推理链长几个数量级，还要对接代码沙箱、浏览器、API，单轮 RLHF 框架（OpenRLHF、veRL）难以承载。AgentJet 用优化与执行解耦加上下文时间线合并，把这类长程异构训练做成可扩展系统，1.5–10x 的加速对做 RL 后训练（排序器、LLM 裁判、搜索 agent）的团队有直接参考价值。

Qingxu Fu, Boyin Liu, Shuchang Tao, Zhaoyang Liu, Bolin Ding
arXiv·2026-06-03·Relevance 3 · Novelty 4 · Practical 3 · Evidence 3 · Timely 3
04 3.00

A Spatio-Temporal Expert Prefetching Framework for Efficient MoE-based LLM Inference

ST-MoE 针对 MoE 大模型（Qwen、DeepSeek）推理时专家动态加载带来的延迟。作者发现专家请求在相邻 MoE 层之间、以及连续解码 token 之间都有很强的相关性，因而未来激活是可预测的。框架加入一个轻量运行时预测器，在不改变路由行为的前提下提前预判所需专家，并配合可重构硬件设计把专家预取与计算重叠，从而提升 MoE 推理性能与能效，同时保持模型精度不变。

INSIGHTMoE 服务的瓶颈之一是专家权重的动态加载与换入换出；利用层间加 token 间的专家激活时空相关性做预取，是在不动路由、不掉点前提下隐藏加载延迟的实用思路。随着开源主力模型普遍走 MoE（DeepSeek、Qwen、GLM），这类预取调度对自建 MoE 推理栈的成本与延迟优化有借鉴意义。

Yingnan Zhao, Razvan Bunescu, Ahmed Louri, Avinash Karanth, Ke Wang
arXiv·2026-06-13·Relevance 3 · Novelty 3 · Practical 3 · Evidence 3 · Timely 3
05 2.95

CCCL Runtime: A Modern C++ Runtime for CUDA

NVIDIA

NVIDIA 开发者博客介绍 CCCL Runtime——把 CUDA C++ 核心库（Thrust、CUB、libcudacxx）统一到 nvidia/cccl 之后，于 CCCL 3.2 起为 CUDA runtime 与 driver 的核心功能提供一套现代、符合 C++ 习惯的接口，3.3 进一步增加了与 DLPack/mdspan 的张量互操作。目标是让 CUDA C++ 开发者用更安全、更地道的 C++ 写出高效的设备/主机代码，减少直接调用底层 CUDA API 的样板与出错概率。

INSIGHT对自研高性能算子、向量检索/embedding kernel 或推理后端的团队，CCCL 的 Thrust/CUB 并行原语加 libcudacxx 设备端标准库，再叠加 3.2 的 runtime 现代封装，可减少手写 CUDA 样板、提升可维护性。它不是模型层创新而是底层基建：当 serving 或检索栈需要定制 GPU kernel 时，CCCL 值得纳入工具链基座。

NVIDIA Developer Blog
技术博客·2026-06-22·Relevance 2 · Novelty 3 · Practical 4 · Evidence 2 · Timely 4

其他赛道今日

点击切换
Generative
4
生成式推荐 · 篇入选Personalization
5
个性化推荐 · 篇入选AI Search
6
AI 搜索 · 篇入选Agentic
10
智能体搜索 · 篇入选

开源雷达

GitHub / HuggingFace 热门 · 5 个项目
DeepSeek-V4-Pro: 开源旗舰 MoE 文本生成模型（FP8/8-bit，含 eval-results）deepseek-ai 发布的 DeepSeek-V4-Pro，text-generation/conversational，关联 arxiv:2606.19348，MIT 许可，支持 fp8/8-bit 部署；HF likes 5009，下载约 242 万。model · ★ 5009 · 2026-04-22 · HuggingFaceGLM-5.2: 智谱 754B MoE 旗舰（40B 激活），1M 上下文，面向 agentic/长程推理zai-org（智谱）发布的 GLM-5.2，754B 参数 MoE、每 token 激活约 40B，上下文扩展到 1M，定位 agentic 工程与长程推理；HF likes 2005。model · ★ 2005 · 2026-06-15 · HuggingFaceDeepSeek-V4-Flash: DeepSeek-V4 轻量/低延迟版本deepseek-ai 的 DeepSeek-V4-Flash，面向更低延迟/更小部署足迹的 text-generation 场景；HF likes 1560。model · ★ 1560 · 2026-04-22 · HuggingFaceSCAIL-2: 智谱发布的新模型zai-org（智谱）发布的 SCAIL-2 模型；HF likes 252。model · ★ 252 · 2026-06-10 · HuggingFaceGLM-5.2-FP8: GLM-5.2 的 FP8 量化部署版本zai-org 发布的 GLM-5.2 FP8 量化权重，便于在支持 FP8 的 GPU 上低成本部署 754B MoE；HF likes 133。model · ★ 133 · 2026-06-15 · HuggingFace