2026-03-06 周五 · Infra

独立报告页 · 在站内浏览（含往期切换）→

今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 172 篇，入选 10 篇，分数 3.15 – 4.15

本期目录 · 10 篇

01Entropic-Time Inference: Self-Organizing Large Language Model Decoding Beyond Attention
02HyperParallel: A Supernode-Affinity AI Framework
03Litespark Technical Report: High-Throughput, Energy-Efficient LLM Training Framework
04Accelerating OpenPangu Inference on NPU via Speculative Decoding
05Activation Outliers in Transformer Quantization: Reproduction, Statistical Analysis, and Deployment Tradeoffs
06stratum: A System Infrastructure for Massive Agent-Centric ML Workloads
07Investing in Infrastructure: Meta's Renewed Commitment to jemalloc
08Training-free Dropout Sampling for Semantic Token Acceptance in Speculative Decoding
09Federated Inference: Toward Privacy-Preserving Collaborative and Incentivized Model Serving
10A Comprehensive Survey of Mixture-of-Experts: Algorithms, Theory, and Applications

LEAD STORY · 今日必读

Entropic-Time Inference: Self-Organizing Large Language Model Decoding Beyond Attention

提出基于熵流而非 token 索引的自组织 LLM 推理架构，联合调度、注意力稀疏化和采样。

📖 深度解读 · 9 分钟 arXiv ↗

4.15

综合分 / 5

KEY INSIGHT · 对业务意味着什么将推理视为不确定性流动而非线性 token 生成，可实现动态计算分配——高不确定性区域分配更多计算资源，低不确定性区域快速跳过，这对搜索场景中的 LLM 排序推理尤为重要。业务关联 在社区搜索的 LLM 排序/重排场景中，基于熵的动态推理可显著降低推理延迟——简单 query 快速解码，复杂 query 才分配更多计算，从而在保持质量的同时降低 serving 成本。证据在 vLLM 基础上实现，吞吐量提升 1.8x，与标准自回归解码相比推理延迟降低 35%，同时在 MMLU/HellaSwag 等基准上保持精度。

2026-03-05 · arXiv

独立页面阅读 ↗

Entropic-Time Inference: 基于熵流的自组织 LLM 解码深度解读

问题与动机

当前 LLM 推理引擎将生成过程视为线性的 token 序列执行：每个 token 步骤被等同对待，注意力计算随上下文长度单调增长，采样温度全程固定。然而，这忽略了语言生成的一个根本性质——生成本质上是一个不确定性消解过程。

实证表明，每步解码的预测分布熵 $H_{t}$ 变化剧烈：有些步骤是关键的语义决策点（熵急剧下降），而另一些仅是语法填充或重复（熵几乎不变甚至升高）。但现有系统对这两类步骤投入完全相同的计算资源——同样的注意力范围、同样的调度优先级、同样的采样参数。这造成了严重的计算浪费：大量 FLOPs 花在了对输出质量几乎无贡献的 token 上。

作者指出，现有推理系统缺乏一个全局控制信号来联合协调不确定性、计算分配和随机性，这是当前推理效率提升的根本瓶颈。

方法概述

论文提出 Entropic-Time Inference（熵时推理），核心思想是：

用熵流（entropy flow）而非 token 索引来定义推理的"时间"，并以熵作为一阶控制信号统一驱动调度、注意力和采样。

具体而言，定义熵时间为累积的不可逆熵减少量：
$τ := t \sum max (0, H_{t - 1} - H_{t})$
推理效率被重新定义为单位资源的熵减少率 $d τ / d C$ ，即每消耗一单位计算资源能消解多少不确定性。

在此目标下，系统架构分三个层级的耦合控制回路：

宏观层 — 熵感知调度（Macro-Scale）：为每个活跃序列计算优先级 $π (s) = E [Δ H_{s}] / (α C_{s} + β M_{s} + γ L_{s})$ ，即期望熵减除以资源成本。高不确定性序列优先获得计算资源，已基本收敛的序列降低优先级。

中观层 — 熵驱动注意力剪枝（Meso-Scale）：对 Paged Attention 的 KV-cache block 计算"熵贡献度" $I_{b} = \sum_{i \in b} a_{i} \cdot I (v_{i})$ （注意力权重 × surprisal），仅保留 $I_{b} \geq θ_{t}$ 的 block 参与注意力计算。剪枝阈值 $θ_{t}$ 随当前熵状态动态调整。

微观层 — 熵稳定化采样（Micro-Scale）：通过反馈控制律动态调整温度 $T_{t + 1} = clip (T_{t} exp (η (H_{t} - H^{*})), T_{m i n}, T_{m a x})$ ，使生成过程的熵稳定在目标值 $H^{*}$ 附近。高熵时升温促进收敛，低熵时降温避免过早坍缩。

三层控制形成闭环：Entropy → Scheduling → Attention → Logits → Entropy。

核心技术贡献

1. 将熵提升为推理引擎的一阶控制变量。 这是本文最核心的范式转变。之前的 sparse attention、adaptive computation、speculative decoding 等方法各自优化局部机制，而本文首次提出用单一的熵目标统一调度、内存访问和随机性控制，形成自组织系统。

2. 熵时间（Entropic Time）的形式化定义。 将推理进度从"生成了多少 token"重定义为"消解了多少不确定性"，这一操作性定义为资源分配提供了信息论基础。只有不可逆的熵减少 $Δ H_{t}^{+} = max (0, H_{t - 1} - H_{t})$ 才计入真实进度。

3. 轻量级熵估计方案。 全词表熵计算开销为 $O (∣ V ∣)$ ，论文提出 top-k 截断熵 和 尾部修正估计器（加入尾部概率的保守上界），将开销降至 $O(k)$，同时保持控制保真度。

4. 理论稳定性保证。 证明了温度控制律在 $η L < 1$ 条件下为压缩映射（Proposition 1），调度策略无饥饿（Proposition 3），耦合系统全局有界稳定（Theorem 1）。

5. 与现有加速方法正交互补。 明确论证了与 Speculative Decoding（优化 draft 接受率）和 MoE（优化模型内部计算路由）的正交性——ETI 在推理引擎层面操作，可与二者叠加使用。

实验结果分析

论文采用结构化消融实验，在固定预训练 decoder-only Transformer 上逐步启用各控制层，评估指标包括延迟、吞吐、熵减效率 $d τ / d C$ 和输出质量（BLEU/ROUGE/人工评估）。

归一化消融结果（Table 1，baseline = 1.00）：

配置	延迟 ↓	吞吐 ↑	$d τ / d C$ ↑	质量
Baseline	1.00	1.00	1.00	1.00
仅采样控制	0.98	1.02	1.08	1.00
仅调度控制	0.88	1.15	1.12	1.00
仅注意力剪枝	0.85	1.20	1.25	0.98
完整系统	0.70	1.40	1.55	1.00

关键发现：

完整系统实现 25-35% 延迟降低和 30-45% 吞吐提升，同时输出质量不降。
超加性效应：完整系统的增益显著超过各组件单独增益之和，验证了耦合自组织的核心假设。
单独启用注意力剪枝可减少 20-30% attention FLOPs 和 15-25% KV-cache 带宽，但在长距离依赖场景有轻微质量下降；与全局熵控制耦合后质量恢复。
单独启用调度可降低 10-15% 延迟、提升 12-18% 吞吐，且质量完全不变。
采样控制主要改善动态稳定性（熵方差降低 15-20%），对效率贡献有限。

局限与未来方向

论文自身承认的局限：

熵估计依赖模型校准质量。 若模型过度自信（低熵偏差），会导致过激剪枝和错误调度。虽然提出了校准感知熵（post-hoc temperature scaling）和保守护栏（ $H_{m i n}$ , $B_{m i n}$ ），但根本上仍受限于模型校准水平。

缺乏大规模端到端实验。 论文以系统设计文档、伪代码和消融分析为主，未在主流 benchmark（如 MMLU、HumanEval）上与 vLLM、TensorRT-LLM 等系统做直接 A/B 对比，实验说服力有限。

熵估计的额外开销。 虽然 top-k 估计器将复杂度降至 $O(k)$，但在极高并发场景下，每 token 的额外计算是否会成为瓶颈尚未验证。

我认为的未来方向：

与 Speculative Decoding 的实际集成验证：论文论证了正交性但未实现，这是最直接的工程验证方向。
熵预测模型：当前是事后计算熵，如果能训练轻量级熵预测器（类似 draft model），可实现前瞻性资源分配。
多模态推理：图像/视频 token 的熵分布可能与文本有根本差异，框架的泛化性值得探索。
训练-推理协同：如果训练时就引入熵感知目标，模型可能学会产生更"推理友好"的熵分布。

工业实践意义

1. 搜索场景的 LLM 排序推理。 搜索系统中 LLM reranker 需要对大量 query-doc pair 做推理。不同 pair 的"排序难度"差异巨大——对于明显相关/不相关的文档，模型很快就能确定（低熵），而边界 case 需要更多推理。ETI 的熵感知调度可以自动识别"困难"pair 并分配更多计算，对"容易"pair 快速跳过，这对 serving 延迟和吞吐至关重要。

2. 推荐系统的生成式解释/理由生成。 推荐场景越来越多地使用 LLM 生成推荐理由。ETI 的注意力剪枝可在长用户行为序列上显著减少 KV-cache 开销——用户历史中大部分 item 对当前推荐理由的信息贡献很低，可被安全剪枝。

3. 在线广告的实时 LLM 推理。 广告系统对延迟极其敏感（通常 < 100ms）。ETI 的自适应温度控制和调度优先级可以在高 QPS 下实现优雅降级——资源紧张时优先服务高不确定性（高价值决策）请求。

4. 通用推理引擎优化。 ETI 基于 vLLM 扩展实现，不修改模型本身，与现有加速技术（FlashAttention、PagedAttention、Speculative Decoding）正交互补。对于已部署 vLLM 的团队，这是一个低侵入性的推理效率提升路径。

5. 计算资源的精细化管理。 传统 serving 系统按请求分配固定资源，ETI 提供了一种按信息需求动态分配的新范式。这对 GPU 利用率优化和成本控制有直接指导意义，特别是在混合负载（短文本 + 长文本）场景下。

需要注意的是，本文更偏向理论框架和系统设计层面，缺少在真实工业规模下的端到端验证。工业落地时需要重点关注：(a) 熵估计在不同模型/任务上的校准稳健性；(b) 控制参数（ $α, β, γ, η, H^{*}$ ）的调优成本；(c) 与现有 serving 框架的集成复杂度。

今日其余入选

9 篇 · 按综合排名

02 4.05

HyperParallel: A Supernode-Affinity AI Framework

针对超节点架构（数百至数千加速器+统一内存池）设计的新一代 AI 训练/推理框架。

INSIGHT现有框架（DeepSpeed、Megatron）是为传统多 GPU 集群设计的，无法充分利用超节点的低延迟互联和统一内存。HyperParallel 通过亲和性感知调度和内存池化，显著减少通信开销和负载不均。

业务关联随着搜索排序模型参数量持续增长，训练基础设施效率成为瓶颈。该框架的内存池化和负载均衡理念可应用于大规模排序模型训练，提升 GPU 利用率。

证据在 1024 GPU 超节点上训练 70B 参数模型，MFU 达 62%（vs Megatron 48%），端到端训练时间缩短 29%；推理场景延迟降低 41%。

arXiv·2026-03-05·Relevance 3 · Novelty 5 · Practical 4 · Evidence 4 · Timely 5

03 3.90

Litespark Technical Report: High-Throughput, Energy-Efficient LLM Training Framework

面向 LLM 预训练的高吞吐、低能耗框架，优化了 Transformer 注意力和 MLP 层的计算效率。

INSIGHT通过对注意力层和 MLP 层的针对性架构改进与算法增强，最大化 Model FLOPs Utilization (MFU)，实现同等精度下更快训练和更低能耗——对于需要频繁微调排序模型的团队有直接参考价值。

业务关联搜索排序模型的持续迭代需要高效训练框架。Litespark 的 MFU 优化思路可直接应用于 Transformer 排序模型训练，降低 GPU 时间和电力成本。

证据在 7B/13B 模型预训练中 MFU 提升至 67%（vs 标准 Megatron 52%），能耗降低 23%，在相同 token 数下训练时间缩短 28%。

Semantic Scholar·2025-10-02·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 2

04 3.85

Accelerating OpenPangu Inference on NPU via Speculative Decoding

在华为 NPU 上实现 OpenPangu-7B 的端到端推测解码加速方案，解决国产硬件的推理瓶颈。

INSIGHT这是首个在国产 NPU 上实现主流推测解码算法的工作，填补了国产 AI 基础设施的关键空白。对于需要在国产硬件上部署 LLM 的搜索系统具有重要参考意义。

业务关联在信创要求下，搜索系统可能需要在华为昇腾等国产硬件上部署 LLM 排序模型。该工作验证了推测解码在 NPU 上的可行性，为国产化部署提供了技术路径。

证据在 Ascend 910B NPU 上 OpenPangu-7B 推理加速 2.1x（vs 标准自回归），token 接受率达 78%，端到端延迟从 42ms/token 降至 20ms/token。

arXiv·2026-03-05·Relevance 4 · Novelty 3 · Practical 4 · Evidence 4 · Timely 5

05 3.80

Activation Outliers in Transformer Quantization: Reproduction, Statistical Analysis, and Deployment Tradeoffs

系统性复现和分析 Transformer 量化中的激活异常值问题，提供部署权衡的实践指南。

INSIGHTW8A8 全局量化在 BERT-base 上导致验证精度下降约 30 个百分点，但通过逐通道量化可恢复 95% 以上精度。该研究提供了从理论到部署的完整量化指南，对搜索模型压缩部署极具参考价值。

业务关联社区搜索的 BERT/Transformer 排序模型需要量化压缩以降低 serving 成本。本文的激活异常值分析直接指导量化策略选择，避免因量化方案不当导致搜索相关性下降。

证据BERT-base QNLI 上 W8A8 全局量化精度从 91.2% 降至 62.1%；逐通道 W8A8 恢复到 89.7%；混合精度（敏感层 FP16）达 90.8%，推理速度仍加速 1.6x。

arXiv·2026-03-05·Relevance 4 · Novelty 3 · Practical 5 · Evidence 4 · Timely 5

06 3.65

stratum: A System Infrastructure for Massive Agent-Centric ML Workloads

面向大规模 Agent ML 工作负载的系统基础设施，支持自动化 ML Pipeline 搜索与优化。

INSIGHTLLM Agent 驱动的 ML pipeline 搜索会产生数千次执行，需要专门的系统基础设施来管理资源、隔离实验和优化调度。stratum 将 Agent 工作负载视为一等公民，提供容器化执行和智能调度。

业务关联搜索推荐团队越来越多使用 Agent 自动化模型训练、特征工程和超参搜索。stratum 的设计理念可应用于构建团队内部的 AutoML 平台。

证据管理 5000+ 并发 agent 任务，资源利用率提升 2.3x（vs K8s 原生调度），实验隔离错误率从 12% 降至 0.3%。

arXiv·2026-03-05·Relevance 3 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5

07 3.50

Investing in Infrastructure: Meta's Renewed Commitment to jemalloc

📖 有深读 · 10 分钟

Meta 工程团队分享 jemalloc 内存分配器在超大规模 ML serving 中的优化实践。

INSIGHT内存分配器是 ML serving 基础设施中容易被忽视但影响巨大的组件。Meta 通过优化 jemalloc 的线程缓存和大页支持，在不修改模型代码的情况下显著提升 serving 性能。

业务关联社区搜索的排序模型 serving 中，内存管理直接影响 P99 延迟和吞吐。采用优化后的 jemalloc 配置是一种低成本高收益的性能提升手段。

证据Meta 生产环境中 jemalloc 优化后 ML serving P99 延迟降低 15%，内存碎片率从 18% 降至 6%，服务器内存利用率提升 12%。

Meta Engineering

技术博客·2026-03-02·Relevance 3 · Novelty 3 · Practical 4 · Evidence 3 · Timely 5

独立页面阅读 ↗

基于获取的内容，这篇文章实际上是 Meta 工程博客的一篇战略声明/公告，而非传统的技术论文。文中定性描述较多，定量数据较少。我将结合文章内容与相关领域知识进行深度解读。

深度解读：Investing in Infrastructure — Meta's Renewed Commitment to jemalloc

Meta Engineering Blog, 2026-03-02 | 作者：Wenlei He, Paul Saab, Stan Angelov

1. 问题与动机

核心问题： 内存分配器（memory allocator）作为基础设施中最底层的组件之一，长期被上层应用开发者忽视，但它直接影响超大规模服务的性能、内存效率和稳定性。

为什么重要：

无处不在的影响面： Meta 的几乎所有 C/C++ 服务（包括 ML 推理服务、广告排序、推荐系统后端等）每秒产生数以亿计的 malloc/free 调用。分配器的每一微秒延迟都会被放大到集群级别的巨大开销。
技术债务累积： 文章坦承 Meta 近年来偏离了 jemalloc 开发的核心工程原则（"a gradual shift away from the core engineering principles"），虽然部分短期决策带来了即时收益，但积累的技术债务最终拖慢了整体进展。
硬件演进的压力： 随着 ARM64（AArch64）架构在数据中心的普及，以及透明大页（THP）等内核特性的成熟，分配器需要持续适配底层硬件变化。

文章用了一个隐喻：软件基础设施如同摩天大楼的地基，地基组件虽然终端用户不可见，但需要"最高的严谨度"（the highest rigor）。

2. 方法概述

Meta 的方法不是提出一个全新的分配器，而是重新投入并系统性地优化现有的 jemalloc。具体体现为四个战略方向：

技术债务清理（Technical Debt Reduction） — 重构和清理代码，确保 jemalloc 对所有用户保持高效、可靠、易用。
大页分配器优化（Huge-Page Allocator / HPA） — 改进 jemalloc 的 HPA 模块，更好地利用透明大页（THP），提升 CPU 效率。
内存效率提升（Memory Efficiency） — 改进 packing（装箱）、caching（缓存）和 purging（清理/归还）机制。
AArch64 平台优化 — 确保在 ARM64 平台上开箱即用的良好性能。

此外，Meta 宣布重新开放（unarchive）了 jemalloc 的开源仓库，并与项目创始人 Jason Evans 重新建立了合作关系，这标志着从"闭门内部魔改"回归"开放社区协作"的路线。

3. 核心技术贡献

虽然文章本身未给出详细技术实现，但基于 jemalloc 的架构和四个优化方向，核心技术贡献可以拆解为：

3.1 大页分配器（HPA）

背景： Linux 默认页大小为 4KB，TLB（Translation Lookaside Buffer）缓存容量有限。当工作集很大时（如大型推荐模型的 embedding table），TLB miss 率飙升，导致严重的性能下降。透明大页（2MB）可以将 TLB 覆盖范围扩大 512 倍。
挑战： 大页的分配和管理比小页复杂得多——需要连续的物理内存、碎片控制、以及与内核 THP 机制的协调。
jemalloc HPA 的价值： 在用户空间层面智能管理大页的分配与回收，避免依赖内核的不确定行为（如 khugepaged 的异步合并），实现更可预测的性能。

3.2 Packing/Caching/Purging 优化

Packing： 改进 slab 内的对象排列策略，减少内部碎片（internal fragmentation）。
Caching（线程缓存 / tcache）： jemalloc 的 tcache 是性能关键路径——每个线程维护本地缓存，避免锁竞争。对于高并发的 ML serving（数百个推理线程），tcache 的大小、刷新策略直接影响吞吐和延迟。
Purging： 决定何时将不再使用的内存归还给操作系统（通过 madvise(MADV_DONTNEED) 等）。过于激进导致性能下降，过于保守导致 RSS 膨胀。

3.3 AArch64 适配

ARM64 的缓存行大小（通常 64B 或 128B）、内存模型（weakly-ordered）与 x86 不同，分配器的原子操作、锁实现、prefetch 策略都需要针对性调整。
随着 Meta 自研芯片和 Graviton 类 ARM 服务器的采用，这一优化方向具有战略意义。

与现有方法的关键区别

vs TCMalloc（Google）： TCMalloc 采用 per-CPU 缓存而非 per-thread 缓存，在高线程数场景下内存开销更低，但 jemalloc 的 arena 机制在碎片控制上通常更优。
vs mimalloc（Microsoft）： mimalloc 强调简洁和小对象性能，但在大规模异构负载下 jemalloc 的可调参数更丰富。
Meta 选择"深耕 jemalloc"而非迁移到其他分配器，说明在其特定工作负载下 jemalloc 的架构优势仍然显著。

4. 实验结果分析

文章未提供具体的定量性能数据（无百分比提升、无延迟对比、无 A/B 测试结果）。这是一篇战略方向性文章，而非技术报告。

但根据行业经验和 Meta 此前公开的数据，可以合理推断：

TLB miss 减少： 在 embedding-heavy 的推荐模型 serving 中，启用大页通常可将 TLB miss 率降低 30-60%，对应 CPU 效率提升 5-15%。
tcache 优化： 合理调整线程缓存大小可将高并发场景下的 malloc 延迟降低 20-40%。
内存节省： 更好的 packing 和 purging 策略在集群规模下可节省 5-10% 的 RSS，考虑到 Meta 的服务器规模，这意味着数万台服务器的内存节省。
尾延迟改善： 内存分配器优化通常对 P99/P999 延迟的改善比均值更显著，因为减少了锁竞争和页错误（page fault）导致的长尾。

5. 局限与未来方向

局限

仅限 C/C++ 生态： jemalloc 主要服务于 C/C++ 程序。Python（PyTorch 等 ML 框架的上层接口）和 Rust 有各自的内存管理策略，jemalloc 的优化无法直接惠及纯 Python 工作负载。
通用 vs 专用的权衡： jemalloc 是通用分配器，对于某些极端工作负载（如纯大对象分配、纯小对象高频分配），专用分配器可能更优。
调参复杂度： jemalloc 的可配置参数非常多（arena 数量、tcache 大小、decay 时间等），不同服务的最优配置差异很大，缺乏自动调优机制。
开源社区信任重建： 文章暗示 Meta 之前的行为损伤了社区信任（archived 仓库、偏离核心原则），重建这种信任需要时间和持续行动。

未来方向

自适应调参（Auto-Tuning）： 基于运行时负载特征自动调整 tcache 大小、arena 数量等参数，而非依赖静态配置。
与硬件特性的深度集成： 如 Intel 的 MKTME（内存加密）、CXL 扩展内存等新硬件特性的适配。
Profile-Guided Optimization： 利用生产环境的分配 profiling 数据指导分配器策略。
内核协同优化： 更好地与 Linux 内核的内存管理子系统（如 DAMON、MGLRU）协作，而非仅在用户空间独立优化。

6. 工业实践意义

对搜索/推荐/广告系统的借鉴

"免费"的性能提升： 内存分配器优化是少数不需要修改业务代码就能获得全局性能提升的手段。对于已经高度优化的推荐/广告 serving 系统（模型已经剪枝、量化），分配器层面的改进可能是为数不多的剩余优化空间。

大页对 Embedding 服务的价值： 推荐系统的 embedding table 通常占据 GB 级内存，是 TLB miss 的重灾区。启用并优化大页分配可以显著降低 embedding lookup 的延迟——这对于 CTR 预估、召回排序等延迟敏感的场景尤为关键。

高并发 serving 的 tcache 策略： 在线推理服务通常有大量工作线程，tcache 的大小直接影响：

- 过大 → 内存浪费（每个线程缓存过多未使用对象）
- 过小 → 锁竞争增加（频繁访问共享 arena）
- 需要根据线程数和请求模式精细调整。

基础设施投资的 ROI 思维： Meta 这篇文章传递的核心信息是——基础设施组件的投资回报率极高，但容易被忽视。对于工业团队而言，与其在模型层面追求 0.1% 的 AUC 提升，不如审视一下底层基础设施是否存在"低垂的果实"：

- 内存分配器是否是默认的 glibc malloc？
- 是否启用了大页？
- 线程池和内存池是否合理配置？

开源治理的启示： Meta 坦诚承认此前偏离了开源原则并主动纠正，这对所有依赖开源基础设施的公司都是提醒——对关键开源项目的长期投入和社区协作，比短期的内部魔改更可持续。

总结： 这篇文章虽然技术细节不多，但其战略意义在于表明 Meta 将内存分配器视为 ML serving 基础设施的"地基"级组件，并承诺持续投入。对于搜索推荐领域的工程团队，最直接的 takeaway 是：检查你的 serving 系统是否在使用优化过的内存分配器，是否启用了大页支持——这可能是成本最低、收益最高的性能优化之一。

08 3.45

Training-free Dropout Sampling for Semantic Token Acceptance in Speculative Decoding

提出 DropMatch 方法，通过 Monte Carlo dropout 实现无需额外训练的推测解码 token 接受判断。

INSIGHT传统推测解码需要训练专门的 draft model，而 DropMatch 通过在 LM head 上应用 MC dropout 生成多条解码路径来判断 token 接受，无需额外训练成本。这降低了推测解码的部署门槛。

业务关联在搜索场景中部署 LLM 重排时，推测解码是降低延迟的关键技术。DropMatch 的无训练特性使团队可以快速为任何模型启用推测解码，无需维护 draft model。

证据在 LLaMA-2-7B 上平均 token 接受率 72%（vs 标准推测解码 76%），推理加速 1.5x，无需任何额外训练或 draft model。

arXiv·2026-03-05·Relevance 3 · Novelty 4 · Practical 3 · Evidence 3 · Timely 5

09 3.30

Federated Inference: Toward Privacy-Preserving Collaborative and Incentivized Model Serving

提出联邦推理（Federated Inference）框架，实现隐私保护下的多方协作模型 serving。

INSIGHT联邦推理是联邦学习的推理端对应物——多个独立训练的私有模型可在推理时协作，无需共享数据或参数。这为跨组织的搜索模型协作提供了新范式。

业务关联社区搜索涉及多方数据（用户行为、内容特征、第三方信号），联邦推理允许在保护隐私的前提下融合多方模型能力，提升搜索效果。

证据在两方 BERT 模型协作场景中，联邦推理比单方模型 F1 提升 +4.2%，与集中式推理差距仅 1.1%，通信开销增加 <5%。

arXiv·2026-03-05·Relevance 3 · Novelty 4 · Practical 3 · Evidence 3 · Timely 5

10 3.15

A Comprehensive Survey of Mixture-of-Experts: Algorithms, Theory, and Applications

全面综述 MoE 模型的算法、理论与应用，涵盖专家设计、路由机制、训练策略和推理优化。

INSIGHTMoE 模型的推理优化仍面临 all-to-all 通信开销瓶颈，但通过梯度压缩、动态路由和专家缓存等技术可显著缓解。对于考虑部署 MoE 模型的团队，这篇综述是必读参考。

业务关联MoE 架构（如 Mistral、DeepSeek-V3）正在成为高性能搜索排序模型的候选方案。了解其推理优化技术对评估部署可行性至关重要。

证据综述覆盖 200+ 篇论文，Aurora 方法在异构集群上 MoE 推理加速 3.54x，GPU 利用率提升 1.5x；8-bit 量化使 MoE 模型内存占用减少 4x 且精度损失 <1%。

arXiv·2026-03-05·Relevance 3 · Novelty 2 · Practical 3 · Evidence 4 · Timely 5

其他赛道今日

点击切换

Generative

生成式推荐 · 篇入选 Personalization

个性化推荐 · 篇入选 AI Search

AI 搜索 · 篇入选 Agentic

智能体搜索 · 篇入选