- 1. QATFactory: A Versatile, Deployment-Aligned Framework for Quantization-aware Training and Distillation of LLMs
QATFactory 针对低精度部署损失质量的问题，把部署时的量化噪声纳入蒸馏和强化学习训练，并以 BF16 执行矩阵运算。在 Qwen3.5-9B 上，NVFP4 平均准确率为 68.9%，高于 PTQ 的 65.4%；MXFP4 为 66.0%，高于 56.4%，支持直接导出到 vLLM 和 llama.cpp。
出现于日报：10-02
- 2. Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM
研究混合大模型循环层能否安全量化，作者对 Qwen3.8-27B 的全部 496 个线性层应用 NVFP4 W4A4，并修复融合算子的全局缩放不一致。Minima 占用 17.5 GiB，预填充提速 14–19%；五项任务均值相对 BF16 下降 0.52 分，检索评估覆盖 64K 上下文。
出现于日报：10-01
- 3. Mitigating the Length-Scaling Tax with Online Distillation
论文将已解答问题上的无效输出增长定义为长度扩展税，并提出长度自蒸馏 LSD。方法把已解决提示路由到在线蒸馏，未解决提示继续使用强化学习，以当前策略的指数移动平均作为教师；单轮推理的长度税由 19.0% 降至 −3.7%，多轮任务由 31.4% 降至 13.7%，保持相近或更好的任务表现。
出现于日报：10-02
- 4. Routing Should Pay for Itself: Sparse Supervision for Economical LLM Routing
SaveRouter把训练路由器所需的模型反馈也计入成本，通过稀疏采样与相近查询之间的能力共享，减少对每个候选模型的预执行。四个路由基准中，主要设置仅采集约33%—41%的训练反馈，同时保持相当或更好的路由质量；相对最快的传统路由器，收支平衡所需部署请求量缩短约1.9—9.5倍。
出现于日报：09-30
- 5. Better Nearest Neighbor Graph Indices via (Efficient) LLM-Guided Pruning
LGP针对近邻图索引依据向量几何构图、最终却按语义相关性评价的错位，用大模型识别低价值邻边并替换为语义更有用的邻居，同时保留图的稀疏性与可导航性。论文在HNSW和DiskANN等图索引上报告端到端检索表现优于原始贪心搜索及查询时的大模型重排；摘要未给出具体提升幅度。
出现于日报：09-30
- 6. SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving
SWE-Serve 用来自 SGLang 的 53 个真实工程任务评估推理服务修改，覆盖六类功能，采用 CPU 或单张 H100 的隐藏回归、端到端服务与性能门槛。11 个模型、31 种配置中最佳平均 pass@1 为 75%；19 个端到端任务的通过率从省略该检查时的 69.4% 降至 45.9%。
出现于日报：10-01
- 7. Telescopic Language Models
Telescopic Language Models 用随机截断前缀监督配合全容量锚定，使同一 Transformer 在任意深度都能预测下一 token，每步执行两次前向与反向。在 200M 参数、20B FineWeb-Edu token 的对照中，20 个层前缀均有效；相对固定出口方案，质量预算曲线面积降低 43–44%，单次训练 GPU 成本约降 12%。
出现于日报：10-01
- 8. Build Local AI Apps with C++ and NVIDIA TensorRT RTX Samples
NVIDIA 的 DIN Deploy 以 ONNX 导出器连接原生 C++ 应用，使用 ONNX Runtime 与 TensorRT RTX 加速 Windows、Linux 本地推理。DGX Spark 上 Parakeet TDT 达到实时速度的 206.41 倍，CPU 为 14.44 倍；SAM 2.1 GPU 达到 38.3 FPS，CPU 为 0.5 FPS，量化模型可作为接口不变的替换件。
出现于日报：10-02
- 9. AutoLoCo: Communication Efficient Distributed LLM Training via Adaptive Synchronization
AutoLoCo 面向跨数据中心预训练的同步通信瓶颈，依据标量训练统计动态调整本地更新步数，并用累积内层学习率校正外层动量及学习率。通信受限实验中，它相对 DiLoCo 将通信频率降低 27%，同时维持训练表现；核心区别是同步间隔随训练阶段变化，而非全程固定。
出现于日报：10-01
- 10. TomasuLLM: Out-of-Order Speculative Execution for LLM Agents
TomasuLLM 针对编译和测试造成的工具等待，借鉴乱序处理器设计提前执行预测动作。系统以写时复制沙箱隔离推测操作，追踪依赖与副作用，再按轨迹顺序验证提交；在 100 个 SWE-bench 任务上加速 1.31 倍，在 28 个 Terminal-Bench 任务上加速 1.35 倍，4010 条提交验证记录中未出现误接受。
出现于日报：10-02