- 1. From Inference Routing to Agent Orchestration: Declarative Policy Compilation with Cross-Layer Verification
针对 LLM 推理服务中请求级路由策略难以管理和验证的问题，提出 Semantic Router DSL——一种非图灵完备的声明式策略语言，已在生产环境中部署。系统将内容信号（embedding 相似度、PII 检测、越狱评分）输入加权投影和优先级决策树，实现模型选择、隐私策略执行和结构化审计追踪。通过跨层编译验证确保策略的一致性和安全性，从推理路由扩展到 Agent 编排场景。
出现于日报：04-01
- 2. Extending Puzzle for Mixture-of-Experts Reasoning Models with Application to GPT-OSS Acceleration
本文将 Puzzle（一种后训练神经架构搜索框架）扩展应用于 MoE 推理模型 gpt-oss-120B，生成部署优化版本 gpt-oss-puzzle-88B。方法融合了异构 MoE 专家剪枝、选择性窗口注意力替换全上下文注意力、FP8 KV-cache 量化（带校准缩放因子），以及后训练强化学习恢复精度。在 8×H100 节点上，长上下文场景实现 1.63× 吞吐提升，短上下文 1.22×…
出现于日报：03-31
- 3. Rethinking Attention Output Projection: Structured Hadamard Transforms for Efficient Transformers
Multi-Head Attention 的稠密输出投影层参数量随模型维度二次增长，显著占据参数总量、内存和推理成本。本文提出用固定的无参数 Walsh-Hadamard 变换 (WHT) 加对角仿射变换替代该投影，消除了 O(d²) 的参数矩阵，将投影操作降为 O(d log d) 复杂度。实验表明该方法在保持模型性能的同时大幅减少参数量和推理延迟。
出现于日报：04-01
- 4. Kernel-Smith: A Unified Recipe for Evolutionary Kernel Optimization
提出 Kernel-Smith 框架，结合稳定的评估驱动进化 Agent 和面向进化的后训练方案，实现高性能 GPU kernel 和算子的自动生成。Agent 维护可执行候选种群，利用历史最优和语义多样的 archive 进行迭代改进。后训练阶段通过进化感知的微调增强 LLM 的 kernel 代码生成能力。在多个 GPU kernel benchmark 上超越手写 CUDA kernel 和 Triton 编译器输出。
出现于日报：04-01
- 5. HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention
Token 级稀疏注意力（如 DeepSeek Sparse Attention）通过轻量级索引器为每个 query 对所有历史 key 评分并选择子集来实现细粒度的 key 筛选。但索引器本身仍需扫描全部历史 key，成为性能瓶颈。HISA 提出层次化索引结构，将 key 组织为多层级索引，使索引器的计算复杂度从 O(n) 降低到 O(√n) 级别，在长序列场景下显著加速稀疏注意力的 key 选择过程。
出现于日报：04-03
- 6. MAC-Attention: a Match-Amend-Complete Scheme for Fast and Accurate Attention Computation
长上下文解码中 LLM 需要反复读取不断增长的 KV 缓存，导致严重的 IO 瓶颈。现有加速方案要么通过压缩降低精度，要么通过选择/驱逐限制可访问范围。MAC-Attention 提出 Match-Amend-Complete 三阶段方案：先用低精度快速匹配关键 token，再修正误差，最后补全结果，在保持完整精度和可访问性的前提下显著降低 KV 缓存读取量，实现无损加速。该方法对延迟召回和长文本生成场景尤为友好。
出现于日报：04-03
- 7. KV Cache Optimization Strategies for Scalable and Efficient LLM Inference
本文系统性综述了 LLM 推理中 KV cache 优化的五大技术方向：缓存驱逐（eviction）、缓存压缩（compression）、混合内存（hybrid memory）、新型注意力机制（novel attention）和组合策略。随着上下文窗口从千级扩展到百万级 token，KV cache 成为 GPU 显存和推理吞吐的关键瓶颈。论文对比了各方案在内存降低、吞吐提升和模型精度方面的 trade-off…
出现于日报：03-30
- 8. CRAFT: Cost-aware Expert Replica Allocation with Fine-Grained Layerwise Estimations
针对 Mixture-of-Experts (MoE) 大模型推理中专家并行带来的 token 级负载不均问题，本文提出 CRAFT 框架。现有专家复制策略往往过度复制，大量副本仅带来边际收益，却消耗大量 GPU 显存甚至导致资源竞争和吞吐量下降。CRAFT 通过细粒度逐层复制估计，在给定显存预算下最大化负载均衡效果，实现了更高效的 MoE 模型服务。
出现于日报：04-02
- 9. Understand and Accelerate Memory Processing Pipeline for Disaggregated LLM Inference
现代 LLM 推理依赖稀疏注意力、RAG 和压缩上下文记忆等优化机制，本文将这些优化统一为四步记忆处理流水线（准备记忆→计算相关度→检索→推理应用），并通过系统性 profiling 发现 22%-97% 的推理开销来自记忆处理环节。基于此洞察，作者在 GPU-FPGA 异构系统（AMD MI210 GPU + Alveo U55C FPGA）上将稀疏、不规则的记忆操作卸载至 FPGA，实现了端到端推理加速。
出现于日报：04-02
- 10. KVSculpt: KV Cache Compression as Distillation
将 KV cache 压缩重新定义为知识蒸馏问题：将完整 KV cache 视为教师，压缩后的 KV cache 视为学生，通过最小化二者输出分布差异来指导 KV pair 的选择和合并。不同于现有的纯淘汰式（eviction）方法，KVSculpt 同时考虑量化、低秩分解（降低 per-pair 存储）和序列长度缩减（减少 pair 数量），在两个正交方向上协同优化 KV cache。
出现于日报：04-01