- 1. optimize_anything: A Universal API for Optimizing any Text Parameter
本文提出 optimize_anything，一个面向任意文本参数（prompt、agent 架构、调度策略、CUDA kernel 等）的通用 LLM-based 优化系统，将所有优化问题统一为「迭代改进可被评分函数评估的文本工件」。系统支持单任务搜索、多任务跨问题迁移与对未见输入的泛化。在 6 个截然不同的任务上达到 SOTA：发现的 agent 架构把 Gemini Flash 在 ARC-AGI 上的准确率从 32.5%…
出现于日报：05-21
- 2. RQ-MoE: Residual Quantization via Mixture of Experts for Efficient Input-Dependent Vector Compression
向量量化是压缩高维 embedding 的基础工具，但传统 multi-codebook 方法用静态码本，难适配异构数据几何；QINCo 等动态量化器虽按输入自适应码本，却因严格序列依赖造成解码瓶颈。论文提出 RQ-MoE，用两级 MoE 加双流量化 (dual-stream quantization) 实现输入相关的码本自适应，把指令与量化解耦以支持并行解码…
出现于日报：05-18
- 3. OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization
针对长上下文 LLM serving 中 INT2 KV cache 量化既要精度又要可部署的难题，论文提出 OSCAR。它在离线阶段估计「注意力感知」的协方差结构，据此推导出固定的旋转矩阵和裁剪阈值，使 KV 量化方向与注意力实际消费的协方差结构对齐——而非沿用 Hadamard 等与下游注意力无关的通用旋转（后者在 INT2 下会明显掉点）…
出现于日报：05-20
- 4. XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference
XFP 是面向 LLM 推理的动态权重量化器，颠倒常规流程：由部署方按 per-channel 余弦相似度指定重建质量下限 (attention 与共享专家用严格下限、MoE 路由专家用宽松下限)，XFP 自动决定每层码本大小、离群点预算与打包，无需 Hessian、无需校准数据、无需手工选 bit 宽。权重矩阵分解为稀疏 fp16 离群残差与稠密 sub-byte 索引张量…
出现于日报：05-18
- 5. Predictive Prefetching for Retrieval-Augmented Generation
RAG 系统的同步检索会把向量检索耗时压在生成主路径上，拉高首 token 延迟。论文提出异步预取框架，由 retrieval predictor、context monitor、query generator 三个模块组成，通过监测生成过程中的语义信号，提前判断“何时该检索、检索什么”，让检索与生成重叠执行。在保持答案质量与同步 RAG 相当的前提下，端到端延迟最多降低 43.5%，首 token 时间（TTFT）改善 62.4%…
出现于日报：05-22
- 6. Test-Time Speculation
投机解码靠小草稿模型批量产 token、大目标模型并行校验来提速，但论文发现“接受长度”（草稿被目标接受的 token 数）随生成推进急剧衰减——即便 DFlash、EAGLE-3 这类强草稿器，几千 token 后接受长度也跌到接近 1（几乎无加速）。作者提出 Test-Time Speculation（TTS）：推理中用目标模型已产生的校验信号在线蒸馏、持续更新草稿模型，无需额外标注…
出现于日报：05-22
- 7. OCTOPUS: Optimized KV Cache for Transformers via Octahedral Parametrization Under Optimal Squared-error Quantization
长上下文自回归推理中，KV cache 主导显存占用与带宽。延续 TurboQuant、PolarQuant 的“结构化随机旋转 + 逐坐标标量量化”思路，OCTOPUS 改为对旋转后的坐标三元组做联合量化：用八面体参数化把每个三元组的方向映射到正方形，再对两个坐标和三元组模长按“实现匹配的边缘分布”做 Lloyd-Max 量化，并按总维度推导出严格非均匀的比特分配…
出现于日报：05-22
- 8. A Hardware-Aware, Per-Layer Methodology for Post-Training Quantization of Large Language Models
Scaled Outer Product (SOP) 是面向 LLM 权重的训练后量化 (PTQ) 方法，在支持 per-layer LUT 解码的硬件上以 4.5–6 bit / 权重达近无损保真。方法组合：固定 + 动态码本对的逐层搜索 (per-block 选择位)、有符号 per-block scale、激活加权余弦选择、对敏感层的多选背包提升加离群 / 稀疏残差修正…
出现于日报：05-18
- 9. Diagnosing Training Inference Mismatch in LLM Reinforcement Learning
现代 LLM RL 系统把 rollout 生成与策略优化分离，二者本应对同一序列、同一权重给出完全一致的 token 概率，但实现差异会让它们赋值不同，产生 Training-Inference Mismatch (TIM)。TIM 与 off-policy drift 及常见稳定化机制纠缠，难以排查。论文在零失配诊断设置 VeXact 中隔离 TIM，证明微小的 token 级数值分歧即可独立导致训练崩溃…
出现于日报：05-18
- 10. KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving
分离式 LLM 服务 (PD 分离、KV 状态 disaggregation) 提升扩展性与成本效率，却让 KV 成为跨网络 / 存储的显式负载、成为端到端主瓶颈。现有 KV 压缩多为静态运行配置，无法适应工作负载、带宽、SLO / 质量预算随时间变化，固定选择可能次优甚至增加延迟。KVServe 是首个面向服务、自适应的分离式 LLM 服务 KV 通信压缩框架：把 KV 压缩统一为模块化策略空间并支持跨方法重组…
出现于日报：05-18