今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 25 篇，入选 10 篇，分数 3.60 – 4.35
针对长上下文 LLM prefill 阶段注意力计算的二次复杂度瓶颈，提出了 FlashPrefill 方法。该方法通过即时模式发现和阈值化实现超快速长上下文预填充，能够在保持生成质量的同时大幅降低 prefill 延迟，对于搜索场景中需要处理长文档的排序模型有直接加速意义。
MoE 模型虽然每个 token 计算量低，但全量专家的存储和服务开销大。EvoESAP 提出非均匀专家剪枝策略，通过进化搜索为每一层自适应选择保留的专家数量，实现内存和吞吐量的优化，同时保持模型能力。
INSIGHT不同于统一剪枝所有层相同比例专家的做法，EvoESAP 发现不同层对专家剪枝的敏感度差异巨大，非均匀剪枝可在相同压缩率下保留更多模型能力。这对部署 MoE 搜索/推荐模型极为实用。
业务关联MoE 架构正被广泛用于搜索排序和推荐模型（如 Qwen3-MoE），EvoESAP 的非均匀剪枝可在有限 GPU 预算下部署更大的 MoE 模型，提升搜索推荐效果。
证据在多个 SMoE 语言模型上验证，非均匀剪枝相比均匀剪枝在相同压缩率下显著降低困惑度损失，具有详细的层级敏感度分析和消融实验。
提出 StreamWise 系统，解决多模态生成模型（图文、视频）在生产环境中的实时服务问题。不同于传统批处理方式，StreamWise 实现了流水线式多模态生成服务，支持大规模并发的实时多模态输出。
INSIGHTStreamWise 将多模态生成任务拆解为可并行流水线的子阶段，实现了多模态生成从批处理到实时流式服务的转变。对搜索场景中日益增长的多模态内容理解和生成需求有基础设施支撑意义。
业务关联搜索系统越来越多地处理多模态内容（图文、视频）。StreamWise 提供的实时多模态 serving 架构可用于搜索结果的多模态摘要生成、多模态理解等场景。
证据论文展示了在大规模多模态生成场景下的服务性能，相比批处理方式实现了显著的延迟降低和吞吐量提升。
针对 Serverless LLM 推理中模型启动开销大的问题，提出 λScale 框架。通过预热策略和高效的模型加载机制，解决大模型在 serverless 平台上的冷启动瓶颈，实现快速弹性扩缩容。
INSIGHTλScale 解决了 serverless LLM 部署的核心痛点——冷启动延迟。通过智能预热和模型分片加载，实现了秒级扩缩容，使 LLM 推理服务可以像传统 web 服务一样弹性伸缩。
业务关联搜索系统中的 LLM 排序、query 改写等模块面临流量波动大的问题，serverless 架构可以节省大量 GPU 成本。λScale 让 LLM-based 搜索服务具备真正的弹性扩缩能力。
证据在多个 LLM 上测试，相比现有 serverless 平台冷启动时间降低了显著比例，同时保持了推理性能，提供了详细的成本对比分析。
系统性分析了不同 LLM 应用场景（在线推理、批处理、长上下文等）下并行化策略（TP、PP、DP 及组合）的权衡。为从业者提供了根据应用特征选择最优并行策略的实用指南。
INSIGHT没有一种并行策略适合所有场景。论文发现 prefill-heavy 和 decode-heavy 工作负载对并行策略的偏好截然不同，混合并行策略在大多数生产场景中表现最优。这为搜索推荐系统选择 LLM 部署策略提供了直接参考。
业务关联搜索系统部署 LLM 时需要在延迟、吞吐量和 GPU 利用率之间权衡。该论文的实用指南可直接指导搜索场景中的 LLM reranker、query 改写模型的部署策略选择。
证据在多种 LLM 架构（dense 和 MoE）和多种 GPU 配置上进行了全面的基准测试，包括延迟、吞吐量、GPU 利用率等多维度对比。
改进了经典的 SparseGPT 一次性剪枝方法。ROSE 通过重新排列列剪枝顺序，减少剪枝误差的累积传播，在相同稀疏度下实现了更高的模型精度。该方法无需重训练，适合快速压缩 LLM 用于部署。
INSIGHTSparseGPT 的列剪枝顺序对最终精度有显著影响。ROSE 发现通过智能重排列可以减少误差传播，这一简单但有效的改进使一次性剪枝的精度接近迭代剪枝方法。
业务关联搜索系统中需要将大型 LLM 压缩后部署到有限 GPU 上。ROSE 提供了更准确的一次性剪枝方案，可用于压缩搜索排序模型而几乎不损失效果。
证据在 LLaMA、OPT 等主流 LLM 上测试，在 50% 和 2:4 稀疏度下相比 SparseGPT 降低了困惑度，具有详细的消融实验验证重排序策略的有效性。
All-to-All 通信是 MoE 模型训练和推理的关键瓶颈。FAST 调度器通过感知工作负载倾斜和异构两层网络拓扑，优化 GPU 间的 All-to-All 通信调度，显著提升 MoE 模型的训练和推理效率。
INSIGHTMoE 模型中 All-to-All 通信的低效主要来自专家负载不均衡和网络拓扑感知不足。FAST 通过拓扑感知的通信调度和负载均衡算法，将通信开销降低到接近理论下界。
业务关联MoE 架构在搜索推荐大模型中的应用日益增多。FAST 可直接提升 MoE 模型的训练速度和推理吞吐量，降低 GPU 集群的通信开销。
证据在多种 MoE 模型和不同 GPU 集群拓扑上测试，相比现有 NCCL All-to-All 实现有显著的通信时间减少。
针对 LLM 全参数训练的 GPU 内存瓶颈，提出 Omni-Masked Gradient Descent 优化方法。通过掩码遍历策略实现内存高效的全参数训练，同时提供了收敛保证，解决了现有内存高效方法收敛性不明确的问题。
INSIGHT现有内存高效优化方法要么缺乏收敛保证，要么只能达到亚最优收敛率。Omni-Masked GD 通过精心设计的掩码遍历策略，在内存节省和收敛速度之间实现了更优的平衡。
业务关联搜索推荐模型的全参数 fine-tuning 受限于 GPU 内存。该方法可在有限 GPU 上对更大的排序/embedding 模型进行全参数训练，提升模型效果。
证据理论证明了改进的收敛率，在 LLM 预训练和微调任务上验证了内存节省效果和训练质量，具有与 Adam 优化器的详细对比。
针对线性注意力机制（如 Gated DeltaNet）在 decode 阶段的内存瓶颈，设计了 FPGA 上的持久状态数据流加速器。利用 FPGA 的片上存储和数据流架构，避免了 GPU 上反复读写大状态矩阵的开销。Qwen3-Next 等混合架构模型可直接受益。
INSIGHT线性注意力虽然避免了 KV cache 增长，但其固定大小的循环状态在 GPU 上仍是内存瓶颈。FPGA 的片上持久状态存储天然适合这类计算模式，实现了对 GPU 方案的显著加速。
业务关联Qwen3-Next 等新型混合架构模型正在被探索用于搜索排序。该 FPGA 加速方案为线性注意力模型的高效推理提供了新路径，对搜索推理延迟优化有长远价值。
证据在 Gated DeltaNet 上实测，FPGA 方案在 batch-1 decode 场景下相比 GPU 实现了显著的延迟和能效优势，提供了详细的硬件资源利用分析。
综述了 LLM 推理架构从单体到解耦（Disaggregated Serving）的演进趋势。解耦架构将 prefill 和 decode 阶段分离到不同的硬件上独立优化，vLLM、SGLang 和 TensorRT-LLM 等主流框架已实现相关支持，展示了 6.4 倍吞吐量提升和 20 倍延迟方差降低。
INSIGHT解耦式推理架构是 LLM 基础设施的下一代演进方向。通过将计算密集的 prefill 和内存密集的 decode 分离部署，可以分别针对性优化，实现整体效率的显著提升。
业务关联搜索系统中的 LLM 推理服务面临 prefill 和 decode 阶段资源需求不同的问题。解耦架构可根据搜索流量特征优化资源分配，降低推理成本。
证据引用了 vLLM、SGLang、TensorRT-LLM 等框架的实测数据，包括 6.4 倍吞吐量提升和 20 倍延迟方差降低的生产级结果。