2026-04-24 周五 · Infra

独立报告页 · 在站内浏览（含往期切换）→
Generative生成式推荐 · 10 篇Personalization个性化推荐 · 10 篇AI SearchAI 搜索 · 6 篇Agentic智能体搜索 · 10 篇Infra系统与索引 · 5 篇

今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 65 篇，入选 5 篇，分数 3.05 – 4.10

本期目录 · 5 篇
  1. 01TTKV: Temporal-Tiered KV Cache for Long-Context LLM Inference
  2. 02vLLM v0.19.0: The Most Widely Adopted Open-Source LLM Serving Engine
  3. 03XShare: Collaborative in-Batch Expert Sharing for Faster MoE Inference
  4. 04COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling
  5. 05大模型推理优化关键技术及应用实践研究报告 (2026年) — 中国信通院
LEAD STORY · 今日必读

TTKV: Temporal-Tiered KV Cache for Long-Context LLM Inference

针对大语言模型推理中 KV 缓存内存随上下文长度线性增长的瓶颈问题，提出 TTKV（Temporal-Tiered KV Cache）方法。该方法将 KV 状态按时间分层管理，对不同时间区间的 key-value 对采用不同的精度和可访问策略，打破了现有方法将所有 KV 状态视为同等重要的假设。通过时间感知的分层缓存，在长上下文推理中显著降低显存占用，同时保持生成质量。

arXiv ↗
相关 4新颖 4实用 4证据 3时效 5
4.10
综合分 / 5
偏好调整 4.10
KEY INSIGHT · 对业务意味着什么TTKV 的核心创新在于引入时间维度的分层缓存管理策略：近期 token 的 KV 保持高精度，远期 token 逐步压缩或淘汰。这一设计思路对搜索/推荐场景中需要长上下文理解的 LLM serving（如多轮对话搜索、长文档理解）有直接的工程参考价值。该方案可作为 vLLM/SGLang 等框架的 KV cache 管理插件集成。
2026-04-23 · arXiv

今日其余入选

4 篇 · 按综合排名
02 3.85

vLLM v0.19.0: The Most Widely Adopted Open-Source LLM Serving Engine

UC BerkeleyCommunity

vLLM v0.19.0 于 2026 年 4 月发布，继续作为开源 LLM serving 的事实标准。本版本在吞吐量、显存效率和多模型服务能力上有所提升。H100 上基准测试约 12,500 tokens/s，但 SGLang 和 LMDeploy 已以约 16,200 tokens/s 的表现领先约 29%。vLLM 的优势仍在于生态完善、社区活跃和广泛的模型支持。

INSIGHTvLLM 作为工业界最广泛部署的 LLM serving 引擎，v0.19 是重要的里程碑版本。对于搜索/推荐团队而言，vLLM 仍是 LLM 上线最稳妥的选择。但值得关注的是 SGLang/LMDeploy 在纯吞吐量上已超越 vLLM，若团队对延迟/吞吐量敏感，应评估 SGLang 作为替代方案。SGLang 团队已成立商业公司 RadixArk（估值约 4 亿美元），长期支持有保障。

vLLM Team
网页来源·2026-04-10·Relevance 4 · Novelty 2 · Practical 5 · Evidence 3 · Timely 5
03 3.50

XShare: Collaborative in-Batch Expert Sharing for Faster MoE Inference

提出 XShare 方法，通过批内协作式专家共享来优化 Mixture-of-Experts (MoE) 模型推理效率。核心思路是在同一 batch 内的不同 token 之间共享专家计算结果，减少冗余计算。实验表明 OTPS (Output Tokens Per Second) 提升 13-14%，同时保持与基线相当的准确率。该方法适用于 MoE 架构模型（如 Mixtral、DeepSeek-V3 等）的生产部署。

INSIGHTXShare 揭示了 MoE 推理中的一个重要效率空间：batch 内 token 往往激活相同的专家，重复计算可以通过协作共享消除。对于部署 MoE 大模型的搜索/推荐团队，这一优化思路可直接应用于线上 serving，以 13-14% 的 OTPS 提升换取零精度损失。随着 MoE 架构在大模型中越来越普及（如 GLM-5.1 的 744B MoE），此类批内优化将成为 serving 基建的标配。

arXiv·2026-02-10·Relevance 3 · Novelty 4 · Practical 4 · Evidence 3 · Timely 3
04 3.25

COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling

针对 LLM 多语言微调中的负迁移问题，提出 COMPASS 框架。该方法结合持续学习 (Continual Learning) 与参数高效微调 (PEFT)，通过自适应语义采样策略来减少跨语言干扰。框架为 data-centric，从数据采样角度解决多语言适配中的灾难性遗忘问题，无需额外模型架构修改。

INSIGHTCOMPASS 为多语言 LLM 部署提供了一种低成本的适配方案，仅需 PEFT 参数即可逐步扩展语言支持。对于搜索/推荐场景中需要多语言支持的团队（如国际化社区搜索），这一方法可显著降低多语言模型训练成本。data-centric 的采样策略也可借鉴到其他持续学习场景中。

HuggingFace·2026-04-21·Relevance 3 · Novelty 3 · Practical 3 · Evidence 3 · Timely 5
05 3.05

大模型推理优化关键技术及应用实践研究报告 (2026年) — 中国信通院

CAICT

中国信通院 2026 年 3 月发布的大模型推理优化技术综述报告，系统梳理了当前主流推理优化技术路线：量化（INT8/FP4）、知识蒸馏、模型剪枝、Flash Attention 系列、推测解码 (Speculative Decoding) 等关键技术方向。报告结合国内外工业实践案例，分析了各技术路线的适用场景和部署效果。

INSIGHT作为技术综述报告，本文提供了大模型推理优化的全景视图，适合作为团队在选型推理框架和优化策略时的参考基线。报告中对量化方案（GPTQ vs AWQ vs SmoothQuant）、推测解码策略（Medusa、EAGLE 等）的对比分析有较好的实践参考价值。对于正在评估 LLM 部署方案的搜索/推荐团队，建议作为技术选型的背景材料阅读。

中国信息通信研究院
网页来源·2026-03-01·Relevance 3 · Novelty 2 · Practical 4 · Evidence 3 · Timely 3

其他赛道今日

点击切换
Generative
10
生成式推荐 · 篇入选Personalization
10
个性化推荐 · 篇入选AI Search
6
AI 搜索 · 篇入选Agentic
10
智能体搜索 · 篇入选