- 1. GhostServe: A Lightweight Checkpointing System in the Shadow for Fault-Tolerant LLM Serving
针对多 GPU/多节点 LLM 服务集群中单卡故障即可使整套推理服务中断的可靠性痛点，论文提出 GhostServe，一种以 "影子" 方式运行的轻量级 KV cache checkpoint 系统。GhostServe 在 host memory 上对正在串流生成的 KV cache 应用纠删码，仅保留少量 parity shard，发生故障时可在数百毫秒内重建丢失的 KV cache 并继续解码…
出现于日报：05-06
- 2. SAGA: Workflow-Atomic Scheduling for AI Agent Inference on GPU Clusters
面向 Agent / 复杂 RAG 场景，论文指出现有 GPU 调度器把每次 LLM 调用当作独立请求，丢弃跨步骤累积的 KV cache 与中间状态，导致端到端延迟膨胀 3–8×。SAGA 提出 workflow-atomic 调度：把整个 agent 程序作为最小调度单元，把依赖紧密的调用共置同一个 KV/显存域，并按程序结构复用 KV cache 与 prefix…
出现于日报：05-06
- 3. Telegraph English: Semantic Prompt Compression via Structured Symbolic Rewriting
本文提出 Telegraph English (TE)，一种语义级 prompt 压缩协议：将自然语言重写为符号丰富、形式化结构的电报式方言。与 LLMLingua-2 等基于分类器按固定比率删词的方法不同，TE 把输入分解为原子事实行，并用约 40 个逻辑/关系符号替换冗长短语，让压缩比根据信息密度自适应。在 LongBench-v2 的 4081 个 QA 上跨 5 个 OpenAI 模型评估：约 50% token 削减下…
出现于日报：05-08
- 4. The First Token Knows: Single-Decode Confidence for Hallucination Detection
Self-consistency 通过对同一问题多次采样并比较一致性来检测幻觉，但需要重复解码且对词面变化敏感；语义自一致性虽用 NLI 聚类提升鲁棒性却额外引入推理开销。本文提出 phi_first：取单次贪心解码下首个内容 token 的 top-K logits 归一化熵作为置信度信号。在 3 个 7-8B 指令模型 ×2 个闭卷短答 QA benchmark 上，phi_first 平均 AUROC 0.820…
出现于日报：05-08
- 5. Scalable Inference Architectures for Compound AI Systems: A Production Deployment Study
Salesforce 系统披露其 Agentforce 与 ApexGuru 等复合 AI 系统的生产部署架构：把多模型扇出、检索器、工具调用编排到自适应推理平台上，处理峰值 1.4M req/天、2,250 RPS、21 个全球区域。相对前一代单 GPU 端点的部署，新架构 P95 延迟降低 50%+，吞吐提升 3.9×，成本下降 30-40%…
出现于日报：05-04
- 6. Unifying Sparse Attention with Hierarchical Memory for Scalable Long-Context LLM Serving
针对长上下文 LLM 推理在 KV 缓存膨胀下成为成本和延迟瓶颈的问题，论文提出 SPIN 框架，将多种稀疏注意力算法与分层 KV 存储进行系统级协同设计。SPIN 包含三大组件：统一的稀疏分区抽象（兼容 token 级、block 级、cluster 级稀疏度）、面向 GPU 的局部性感知 KV 缓存管理器，以及两层级元数据布局来减少元数据访存开销…
出现于日报：05-04
- 7. SpecKV: Adaptive Speculative Decoding with Compression-Aware Gamma Selection
现有 speculative decoding 把 "投机长度 γ" 当作离线超参，且与 KV cache 压缩相互独立调参。SpecKV 系统研究 KV 压缩比与最优 γ 的强耦合关系，提出基于每步置信信号的自适应 γ 选择器，并通过 "压缩感知 draft tree" 让 draft 模型与压缩后 target 模型对齐。在长上下文解码上，相比固定 γ 的 speculative + KV 压缩朴素拼装方案…
出现于日报：05-06
- 8. NVIDIA: Real-Time Performance Monitoring and Faster Debugging with NCCL Inspector and Prometheus
NVIDIA 介绍 NCCL Inspector：一个把 NCCL 集合通信库内部指标导出到 Prometheus、并以 Grafana 面板做实时可视化的官方工具。聚焦分布式深度学习中常见的 "训练突然变慢" 问题，提供按 rank/通信组的 latency、bandwidth、operation kind 分布等运行时遥测，并能定位掉队 rank、bandwidth 抖动、stragglers 与异常 NCCL 调用…
出现于日报：05-08
- 9. NorBERTo: A ModernBERT Model Trained for Portuguese with 331 Billion Tokens Corpus
面向葡萄牙语的高质量 encoder-only 模型仍稀缺，作者基于 ModernBERT 架构（长上下文 + 高效注意力）训练 NorBERTo，并构建包含 3310 亿 GPT-2 token 的 Aurora-PT 巴葡语料。在 ASSIN 2 与 PLUE 标准基准上系统评测，NorBERTo-large 在 PLUE 的 MRPC 取得 0.9191 F1、RTE 0.7689 准确率…
出现于日报：05-05
- 10. RadLite: Multi-Task LoRA Fine-Tuning of Small Language Models for CPU-Deployable Radiology AI
为解决放射科场景算力受限、无法部署大模型的问题，作者基于 Qwen2.5-3B-Instruct 与 Qwen3-4B 这两个 3-4B 量级 SLM，用 LoRA 在 12 个公开数据集合 162K 样本、覆盖 9 项放射科任务上做多任务微调，目标是消费级 CPU 部署。结果显示：LoRA 相比零样本基线在 RADS 分类提升 53%、NLI 提升 60%、N-staging 提升 89%，两个模型在不同子任务上表现互补。
出现于日报：05-05