INSIGHTMoE 推理中存在大量暖专家既不够热(GPU)也不够冷(NDP)，AMX CPU 恰好填补这一计算空白。三级分层卸载比二级方案效率高 2.83 倍，为搜推 MoE 模型的低成本部署提供新思路。

业务关联搜推线上服务部署 MoE 模型时 GPU 成本高昂，TriMoE 的异构卸载方案可以用更少的 GPU 实现相同吞吐，直接降低 serving 成本。

证据相比最优 GPU-CPU 和 GPU-NDP 方案，TriMoE 实现最高 2.83x 加速；暖专家分配至 AMX CPU 可充分利用其计算能力同时避免 NDP 的计算瓶颈。

INSIGHT多模型 LLM serving 中解码阶段 GPU 利用率极低是核心瓶颈。SUN 证明 decoder 可以跨模型共享——只需微调 prefill 部分，decode 部分可复用，这彻底改变了多模型服务的资源规划方式。

业务关联搜推平台通常需要同时服务多个 LLM 模型(如 query 理解、排序、摘要生成)，SUN 的共享解码方案可显著减少所需 GPU 数量。

证据SUN 在多种任务和模型族上实现了与全量微调相当的精度，同时用更少的 decode worker 维持系统吞吐；在偏斜工作负载下 GPU 利用率提升显著。

INSIGHT跨族 speculative prefill 是可行的——不同模型族的 attention 模式具有足够的共性，一个通用小模型即可为多种大模型做 prompt 压缩。这对多模型部署环境意义重大。

业务关联搜推场景中常用多种不同族的模型，跨族 prompt 压缩可统一用一个小模型服务，降低 agentic 工作负载的 prefill 开销。

证据在 Qwen、LLaMA、DeepSeek 等多种跨族组合上验证，注意力模式的跨族迁移性良好，prompt 压缩效果与族内 draft 模型接近。

INSIGHT推测解码本身存在 speculation→verification 的串行依赖。SSD 通过预测验证结果来打破这一瓶颈——如果预测命中，则推测延迟完全消除。这是推测解码范式的下一代优化方向。

业务关联搜推在线服务中 LLM 推理延迟是核心瓶颈，SSD 在已广泛采用的 speculative decoding 基础上进一步压缩延迟，可直接改善搜推 LLM 服务的响应时间。

证据提出 Saguaro 算法，在标准推测解码基础上进一步消除 drafting 开销，通过预测验证结果实现 speculation 和 verification 完全并行化。

INSIGHTMoE 训练中专家同质化是普遍问题。利用预训练数据自带的域标签构建 JSD 辅助损失，可以有效引导专家特化，无需额外数据或复杂训练策略。这对搜推 MoE 模型训练有直接参考价值。

业务关联搜推场景的 MoE 模型(如多域推荐)常受专家同质化困扰，Expert Divergence Learning 可直接应用于提升专家分工效率，改善模型质量。

证据在最高 15B 参数的 MoE 模型上从零预训练验证，专家特化程度和下游任务性能均优于标准 MoE 训练基线。

INSIGHT不同 token 需要不同数量的专家、不同层也需要不同的专家容量——打破固定 Top-K 和均匀分配两大约束可以同时提升表达能力和计算效率。

业务关联搜推模型处理的 query 和 item 复杂度差异大，动态专家分配可以自适应地为简单 token 节省计算、为复杂 token 增加容量，提高资源利用率。

证据理论分析了动态路由的表达能力增益并推导了计算效率边界；实验覆盖六种层间分配策略的对比分析。

INSIGHTMoE 压缩后性能下降的根因不在专家权重，而在路由器与压缩后专家的失配。仅校准路由器(参数量极小)即可显著恢复性能——这比重训练整个模型高效得多。

业务关联搜推部署中 MoE 模型压缩是刚需，Router KD 提供了一种极低成本的压缩后恢复方案，无需重新训练专家参数。

证据在专家剪枝、编辑、合并三种范式的代表性方法上均验证了一致的性能恢复效果，且仅需少量无标注校准数据。

INSIGHT现有量化方法用固定正交变换处理激活，但 dLLM 和多模态 LLM 中不同 token 类型的分布差异巨大。利用激活矩阵的秩亏特性可以构造动态变换，打破静态一对一约束。

业务关联搜推场景中多模态 LLM(如图文搜索)的高效部署需要量化技术，FreeAct 对处理异构 token 分布的量化问题有直接参考价值。

证据在 diffusion LLM 和多模态 LLM 上验证，相比现有正交变换量化方法在多种精度设置下均获得更好的量化精度。

INSIGHT随着 LLM 支持百万级 token 上下文窗口，CPU 分词器成为端到端推理的瓶颈。GPU 分词器可将这一环节加速 1.7-7.6x，尤其在长序列场景下收益显著。

业务关联搜推服务中长文本处理(如文档搜索、长 query 理解)可直接受益于 GPU 加速分词，降低端到端延迟。

证据在 WikiText103 上最长 131k token 序列验证，产出与 CPU 版本完全一致的 token；比 tiktoken 快 1.7x、比 HuggingFace 快 7.6x。Nsight 分析显示 70-80% CUDA API 时间在内存分配上。