- 1. Scalable Training of Mixture-of-Experts Models with Megatron Core · 📖 深度解读
本文针对 Mixture-of-Experts (MoE) 模型训练中的系统挑战，提出了跨内存、通信和计算的集成优化方案。由于 MoE 模型的稀疏性使参数量远超每 token 计算量，优化任一维度会将压力转移到其他维度，因此需要全栈协同设计。框架支持 Parallel Folding 灵活多维并行、FP8/NVFP4 低精度训练和高效长上下文训练…
出现于日报：03-11
- 2. Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models
阿里 Qwen 团队发布 Qwen3-Embedding 系列，提供 0.6B/4B/8B 三种规模的 Embedding 和 Reranking 模型。采用多阶段训练流程：大规模弱监督预训练 + 有监督微调 + 模型合并。支持 100+ 语言（含编程语言），可自定义指令以适配特定领域。8B 模型在 MTEB 多语言排行榜排名第一（70.58 分）。
出现于日报：03-09
- 3. FlashPrefill: Instantaneous Pattern Discovery and Thresholding for Ultra-Fast Long-Context Prefilling
针对长上下文 LLM prefill 阶段注意力计算的二次复杂度瓶颈，提出了 FlashPrefill 方法。该方法通过即时模式发现和阈值化实现超快速长上下文预填充，能够在保持生成质量的同时大幅降低 prefill 延迟，对于搜索场景中需要处理长文档的排序模型有直接加速意义。
出现于日报：03-10
- 4. LycheeCluster: Efficient Long-Context Inference with Structure-Aware Chunking and Hierarchical KV Indexing · 📖 深度解读
针对 LLM 长上下文推理中注意力机制的二次复杂度和 KV 缓存内存瓶颈，提出 LycheeCluster 方法。该方法通过边界感知分块（boundary-aware chunking）保持局部语义完整性，并构建基于三角不等式的递归层次索引，将缓存检索从线性扫描降低到对数时间复杂度。lazy update 策略支持高效流式生成。实验表明，LycheeCluster 实现最高 3.6 倍端到端推理加速，且模型性能几乎无损。
出现于日报：03-11
- 5. LongFlow: Efficient KV Cache Compression for Reasoning Models · 📖 深度解读
针对 DeepSeek-R1、OpenAI-o1 等推理模型输出序列显著加长导致部署成本飙升的问题，提出 LongFlow KV 缓存压缩方法。核心创新是利用注意力计算中间结果推导出一个高效重要性估计指标，无需额外存储或计算开销即可在生成阶段实时压缩 KV 缓存。实验表明在 80% KV 缓存压缩率下可实现高达 11.8 倍吞吐量提升，同时保持模型精度不下降。
出现于日报：03-14
- 6. Deterministic Differentiable Structured Pruning for Large Language Models
提出 Deterministic Differentiable Pruning (DDP) 方法，解决 LLM 结构化剪枝中随机松弛带来的训练-测试不匹配问题。与基于 hard-concrete 的随机方法不同，DDP 直接优化离散 L0 目标的确定性软替代函数，提供更强的表达能力、更小的训练-测试差异和更快的收敛速度。在 Qwen3-32B 和 Qwen3-30B-A3B 等 Dense 和 MoE 模型上验证有效性。
出现于日报：03-11
- 7. PilotANN: Memory-Bounded GPU Acceleration for Vector Search
提出 PilotANN，一个面向图索引近似最近邻搜索的混合 CPU-GPU 系统。同时利用 CPU 的大内存和 GPU 的并行计算能力，在显存受限条件下实现大规模向量搜索的 GPU 加速。
出现于日报：03-09
- 8. EvoESAP: Non-Uniform Expert Pruning for Sparse MoE
MoE 模型虽然每个 token 计算量低，但全量专家的存储和服务开销大。EvoESAP 提出非均匀专家剪枝策略，通过进化搜索为每一层自适应选择保留的专家数量，实现内存和吞吐量的优化，同时保持模型能力。
出现于日报：03-10
- 9. FreeKV: Boosting KV Cache Retrieval for Efficient LLM Inference
提出 FreeKV——一个免训练的算法-系统协同优化框架，提升长上下文 LLM 推理中的 KV 缓存检索效率。算法层面引入投机检索（speculative retrieval），将 KV 选择和召回过程移出关键路径，结合细粒度纠正保证准确性。系统层面采用 CPU-GPU 混合 KV 布局消除碎片化数据传输。综合实现了 KV 检索方法的效率提升，同时保持精度。
出现于日报：03-11
- 10. vLLM Hook v0: A Plug-in for Programming Model Internals on vLLM
vLLM 是当前最主流的 LLM 推理引擎之一，但其实现限制了对模型内部状态的可编程性。本文提出 vLLM Hook，一个开源插件，通过配置文件指定需要捕获的内部状态，支持两种核心功能：被动编程（读取注意力模式、激活值等）和主动编程（基于激活值引导模型响应）。该工具使得在 vLLM 上实现对抗提示检测和 activation steering 等 test-time 对齐方法成为可能。
出现于日报：03-11