今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 461 篇，入选 8 篇，分数 3.15 – 4.05
提出 TTQ（Test-Time Quantization），一种激活感知的测试时量化方法，无需重训练即可加速 LLM 推理。解决现有激活感知压缩方法依赖校准数据导致的领域偏移问题——在未见过的下游任务上精度下降。TTQ 在推理时动态适配量化参数，实现即时加速。
针对多模态大模型（MLLM）中高分辨率视觉输入导致的长 token 序列和推理延迟问题，提出 FastMMoE。通过动态专家激活和路由感知的 token 剪枝，减少冗余视觉 token 的计算和内存开销，在保持性能的同时显著加速 MoE 架构的推理。
INSIGHTMoE 推理优化的两个关键杠杆：动态专家激活（避免激活不必要的专家）和路由感知的 token 剪枝（在路由决策前剪除低价值 token）。对部署 MoE 模型的搜索系统有直接参考价值——可大幅降低 MoE 推理成本。
系统性分析现代 LLM serving 超越传统 prefill-decode 的多阶段推理管线。涵盖 RAG、多阶段处理等复杂推理流程的性能特征和优化策略。为 LLM 推理系统的端到端优化提供了全面的分析框架和实践指南。
INSIGHT该工作将 LLM 推理从单模型优化扩展到多阶段管线优化的视角。对搜索系统尤其有价值——搜索+LLM 的管线涉及检索、重排、生成等多个阶段，每个阶段的延迟和吞吐特性不同，需要端到端的系统级优化而非孤立优化单个组件。
从数据中心视角审视下一代 LLM 训练。提出两个方向：基于 Agent 的自动数据准备系统（自动化工作流构建和管理），以及统一的数据-模型交互训练系统（在训练过程中动态选择、混合和重加权数据）。
INSIGHT数据质量和选择是 LLM 训练的核心瓶颈之一。动态数据重加权的思路可应用于搜索排序模型的训练：在 fine-tuning 过程中根据模型当前能力动态调整训练数据分布，而非使用静态数据集，提升训练效率和模型质量。
针对端侧 Transformer 推理和训练中非线性激活函数的硬件资源消耗问题，提出 DAPA（分布感知分段激活函数）。通过感知激活值分布的分段线性近似，在保持模型性能的同时大幅降低硬件资源消耗和能耗。
INSIGHT激活函数的硬件友好替代是端侧部署的实用优化方向。对搜索系统的启示：在移动端或边缘设备上部署轻量级搜索/排序模型时，DAPA 类方法可降低推理能耗和延迟，特别适合对功耗敏感的场景。
提出 AcceRL，一个全异步解耦的 RL 框架，通过物理隔离消除同步屏障，专为大规模 VLA 模型的 RL 训练设计。解决了 RL 训练中计算效率低和数据采集瓶颈的问题。
INSIGHT异步解耦的 RL 训练框架对搜索排序模型的 RLHF 训练有借鉴意义。当搜索系统需要通过 RL 优化排序策略时，AcceRL 的异步架构可大幅提升训练吞吐和 GPU 利用率。
解决推理 LLM 的 RL 训练中长尾样本导致的效率瓶颈。提出自适应 Drafter 机制，动态分配计算资源——对简单样本快速处理，对困难长尾样本投入更多计算，显著提升 RL 训练效率。
INSIGHT长尾样本的自适应处理是 RL 训练效率的关键。该思路可迁移到搜索排序模型的训练中：对搜索日志中的长尾 query（低频、复杂查询）分配更多训练资源，提升模型在困难样本上的表现。
提出 WorldCache，一种内容感知的缓存策略用于加速视频 World Model 的推理。通过识别视频帧间的内容冗余，智能缓存和复用计算结果，减少重复计算开销。
INSIGHT内容感知缓存是一种通用的推理加速思路。对搜索系统的启示：在处理相似查询或重复内容时，智能缓存策略（如相似 query 的结果缓存、embedding 计算缓存）可显著降低计算成本。