- 1. SilverTorch: Index as Model — A New Retrieval Paradigm for Recommendation Systems · 📖 深度解读
Meta 在 UGC 推荐召回中把原本散落在 CPU/向量索引/模型服务里的多套召回组件合并成一个统一架构 SilverTorch，把 "索引" 当作模型的一部分用 GPU 端到端服务。相对此前 CPU 召回方案吞吐提升 23.7×、单位算力成本提升 20.9×，同时精度还有所提高，已在 Meta 内部 UGC 场景上线。
出现于日报：05-28
- 2. MobileMoE: Scaling On-Device Mixture of Experts
MobileMoE 把 MoE 架构下沉到端侧 sub-billion 规模（active 0.3-0.9B / total 1.3-5.3B），并先推出一条端侧 MoE Scaling Law，联合优化内存与算力两个约束。结论是 "中等稀疏度 + fine-grained + shared expert" 是端侧 sweet spot，配合 pre-training/mid-training/SFT/QAT 四阶段训练…
出现于日报：05-28
- 3. PALS: Power-Aware LLM Serving for Mixture-of-Experts Models
针对 MoE 大模型推理的能耗问题，PALS 把 GPU 功率上限 (power cap) 当作和 batch size 同级的可调控制量来联合优化，而不是固定功率后只调软件参数。它用轻量级离线功耗-性能模型加上反馈式在线控制器，在满足吞吐目标的前提下挑选能效最高的配置，并以插件方式接入 vLLM，不需要重训模型或改 API。在多 GPU、稠密与 MoE 两类模型上，能效最高提升 26.3%…
出现于日报：05-26
- 4. Your Embedding Model is SMARTer Than You Think
SMART 是一种 plug-and-play 框架，让标准单向量 embedding 模型在推理时具备多向量（late-interaction）能力。论文先在理论与梯度流上证明：用 pooled embedding 做对比训练时，前序 hidden states 的检索几何已经被隐式塑造；据此在推理阶段对冻结的 token-level hidden states 直接做 late-interaction…
出现于日报：05-27
- 5. Develop High-Performance GPU Kernels in C++ with NVIDIA CUDA Tile
NVIDIA 正式把 CUDA Tile 编程模型带进 C++，让开发者可以在既有大型 C++ GPU 代码库里写 tile-based Kernel，不再被迫迁移到 Python/Triton 才能享受新的张量内存与异步拷贝抽象。Tile 提供 collective memory/compute 原语，让单个 thread block 像 "瓦片" 一样直接调度 TMA 与 WGMMA…
出现于日报：05-28
- 6. RT-Lynx: Putting the GEMM Sparsity In a Right Way for Diffusion Models
RT-Lynx 重新审视 DiT 推理的 N:M 半结构化稀疏：作者发现 DiT 的 activation 本身远比 weight 稀疏、对 2:4/N:M 剪枝鲁棒得多，于是把稀疏目标从权重换到激活，并配合误差补偿与定制 CUDA Kernel，在线性层上平均拿到 1.55× 加速且基本不掉点，可与 W8A8 量化叠加。
出现于日报：05-28
- 7. MVR-cache: Optimizing Semantic Caching via Multi-Vector Retrieval and Learned Prompt Segmentation
MVR-cache 把 LLM 语义缓存的“新 prompt 是否命中已缓存 prompt”问题升级为多向量检索：先用一个可学习的 segmentation 模型对 prompt 做细粒度切分，再用 MaxSim 做 segment 级相似度比较；训练目标从理论上对应“严格正确性约束下命中率最大化”，并采用 RL 训练策略，把基于理论的目标作为 reward 来解非可微的组合优化问题。在多个公开语义缓存基准上提升命中率。
出现于日报：05-27
- 8. Extract More Kernel Performance with NVIDIA CompileIQ Auto-Tuning
CompileIQ 是 NVIDIA 把性能工程里 "找最优编译选项" 这件事工程化的工具：在给定 Kernel/工作负载下，自动在 nvcc 编译选项空间内做 auto-tuning，搜索 register/shared memory/调度等参数组合，给出针对当前 SM 架构的最佳编译配置。
出现于日报：05-28
- 9. Share More, Search Less: Collaborative Parallel Thinking for Efficient Test-Time Scaling
CPT (Collaborative Parallel Thinking) 是一种 training-free 的并行推理框架：在 best-of-N / 树搜索这类并行 TTS 中，让每条 branch 把已发现的中间结论压缩成短信息块写入共享的 query-level 信息池，并通过 prompt context 广播给其他分支，从而避免每条 branch 重复发现同样的事实，减少冗余搜索步数。
出现于日报：05-28
- 10. Charon: A Unified and Fine-Grained Simulator for Large-Scale LLM Training and Inference
Charon 是一个统一、模块化、细粒度的大规模 LLM 训练与推理模拟器，把并行策略、系统优化和硬件配置组成的庞大设计空间显式建模，让团队在真正起集群之前就能预测某套部署方案的性能。论文报告整体预测误差低于 5.35%，在大规模 GPU 集群训练场景下误差低于 3.74%，并用它找到了一个比工程团队手工调优更优的推理部署配置。该工作已被 MLSys 2026 接收。
出现于日报：05-26