- 1. Optimizing Large Batched LLM Inference with Global Prefix
BatchLLM 针对批量 LLM 推理场景重新设计 prefix 共享调度：传统 vLLM/SGLang 只在请求局部范围内复用前缀 KV-cache，本文提出全局前缀挖掘 + 全局调度，把具有相同前缀的请求重排到同一批次执行，使 KV-cache 在更大范围内被复用。在含共享前缀的 microbenchmark 上 token 节省率从 vLLM 的 40.1% 提升到 85.2%，端到端吞吐显著提升。
出现于日报：04-27
- 2. PolyKV: A Shared Asymmetrically-Compressed KV Cache Pool for Multi-Agent LLM Inference
面向多 Agent 共享同一上下文的推理场景，提出共享非对称压缩 KV cache 池：压缩仅写入一次，N 个独立 agent 上下文共享读取。在 Llama-3-8B、15 个 agent 共享 4K-token 上下文场景下，KV cache 内存从 19.8 GB 降至 0.45 GB（97.7% 缩减），稳定 2.91× 压缩比，质量影响有限。
出现于日报：05-01
- 3. Self Knowledge Re-expression: A Fully Local Method for Adapting LLMs to Tasks Using Intrinsic Knowledge
针对 LLM 在 NTP（next-token prediction）范式下处理非生成式专精任务效率低的瓶颈，论文提出 Self-Knowledge Re-expression (SKR) ——一种完全本地、任务无关的适配框架。SKR 不依赖人工标注与模型蒸馏，仅用未标注数据将 LLM 输出从通用 token 生成转换为任务特定的高效表达。在大型金融文档数据集上，SKR 把信息检索 Recall@1 提升超过 40%…
出现于日报：04-29
- 4. DASH-KV: Accelerating Long-Context LLM Inference via Asymmetric KV Cache Hashing
把注意力计算重构为基于非对称深度哈希的近似最近邻搜索：query 与 key 用不同的哈希映射，仅检索 top-k 相关 token 参与 softmax 计算。引入动态混合精度机制，对关键 token 自适应保留全精度计算。在长上下文（64K+）下实现可观加速，质量损失低于 1%。
出现于日报：05-01
- 5. Scheduling the Unschedulable: Taming Black-Box LLM Inference at Scale
针对调用 OpenAI、Claude 等黑盒 LLM API 时的负载相关性能退化（congestion），提出客户端拥塞感知调度。通过在线估计有效服务容量、基于响应延迟反馈做自适应限流、并对突发流量做请求合并，使尾延迟在高负载下可控。该工作不依赖服务端任何特性，纯客户端可部署。
出现于日报：05-01
- 6. GEAR: An Efficient Error Reduction Framework for KV Cache Compression in LLM Inference
GEAR 提出一个面向 KV-cache 压缩的误差还原框架：在低比特量化的基础上，引入轻量误差校正分支与稀疏修正项，把压缩引入的精度损失迁移到一个可学习的低秩残差中。在主流 LLM 与长上下文任务上以约 4× 的 KV-cache 体积压缩仍保持接近全精度的生成质量，对长 query / 长会话场景的内存占用下降明显。
出现于日报：04-27
- 7. HybridGen: Efficient LLM Generative Inference via CPU-GPU Hybrid Computing
面向长上下文场景下 KV cache 膨胀至数百 GB 的瓶颈，HybridGen 在 FlexGen 之上修改 PyTorch 的 CPU 分配器，实现语义感知的分层内存映射，把注意力计算协同分摊到 CPU 与 GPU。核心方法包括 attention logit 并行、用于平衡 CPU-GPU 负载的自适应调度器，以及面向 CXL 等分层内存的智能缓存映射，解决多维注意力依赖、序列变长导致的工作负载倾斜与分层内存访问惩罚…
出现于日报：04-28
- 8. Scepsy: Serving Agentic Workflows Using Aggregate LLM Pipelines
Scepsy 关注多模型 agentic 工作流的 GPU 集群调度，核心观察是单条请求的端到端时延虽不可预测，但每个 LLM 在端到端中所占的执行时间比例是稳定的。基于该不变量，论文提出 Aggregate LLM Pipeline——一个轻量级 profiler，在不同并行度下刻画各个 LLM 的延迟特征，并据此联合做 GPU 资源分配与层次化放置…
出现于日报：04-28
- 9. How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models
论文系统研究了循环 (looped / depth-recurrent) 语言模型的 scaling 行为。基于 116 次预训练 (recurrence count r ∈ {1,2,4,8}、跨 ~50× 训练算力)，作者拟合了联合 scaling law L = E + A·(N_once + r^φ N_rec)^{-α} + B·D^{-β}，得到全新的 recurrence-equivalence 指数 φ = 0.46…
出现于日报：04-29
- 10. Scalable AI Inference: Performance Analysis and Optimization of AI Model Serving
系统性 profiling 当前主流 LLM serving 引擎（vLLM、SGLang、TensorRT-LLM）在生产负载下的瓶颈：KV-cache 管理、attention kernel、batching/scheduling、请求队列等环节的耗时分布与扩展性，并给出对应的优化建议（如调度参数、并行策略、kernel 选择）。给出基于真实 trace 的性能数据。
出现于日报：04-27