- 1. MemReranker: Reasoning-Aware Reranking for Agent Memory Retrieval
针对 agent 长期记忆检索中现有 reranker 校准失真、时间/因果查询失效、忽略对话上下文的三类问题，作者基于 Qwen3-Reranker 用多阶段 LLM 蒸馏（multi-teacher pairwise + BCE pointwise + InfoNCE 对比）训练出 0.6B/4B 的 MemReranker 系列。0.6B 版显著超过 BGE-Reranker…
出现于日报：05-11
- 2. OpenZL: Using Graphs to Compress Smaller and Faster
Meta（Zstd 团队）提出 OpenZL，将无损压缩抽象成一个有向无环图（DAG）：图中每个节点是一种可组合的压缩算子（如 transpose、tokenize、字典编码、熵编码等），不同数据结构（列存表、时序、embedding、protobuf 等）对应不同图拓扑。运行时携带极小的图描述，单一通用 decoder 即可解出全部应用专属压缩格式…
出现于日报：05-13
- 3. mimalloc: A new, high-performance, scalable memory allocator for the modern era
Microsoft Research 发布的 mimalloc 是面向现代多核架构的开源高性能内存分配器，作为 malloc/free 的零侵入替代。整套实现仅约 12K 行代码，几乎完全基于无锁原子操作，提供有界的最坏分配延迟、有界空间开销、低内部碎片以及极低的多线程竞争。该分配器已被广泛集成进生产系统，与 jemalloc、tcmalloc 等对比时在吞吐和尾延迟上均有显著优势…
出现于日报：05-14
- 4. When Is the Same Model Not the Same Service? A Measurement Study of Hosted Open-Weight LLM APIs
本文把开源权重 LLM 当作 service 而非静态制品来度量：定义 service = (provider, 时间) 上的端点，在模型版本、协议行为、上下文上限、价格、延迟、吞吐、可靠性、可用性 8 个维度系统测量同名模型在不同 provider 上的差异。关键观察：需求高度集中（前 5 版本占 87.4%）；列表可用 ≠ 实际被调用；不同应用诱导出迥异的 token 长度分布…
出现于日报：05-11
- 5. MinT: Managed Infrastructure for Training and Serving Millions of LLMs
MinT 提出一套面向「百万级 LoRA 策略」训练与在线服务的托管基础设施：基座模型常驻、仅将 LoRA adapter revisions 在 rollout、更新、导出、评估、上线、回滚之间流转，将分布式训练、调度、数据移动隐藏在服务接口之后。系统沿 Scale Up（LoRA RL 扩到含 MLA/DSA 注意力的 1T+ 稠密与 MoE 基座）、Scale Down（仅传输 adapter 增量）、Scale…
出现于日报：05-15
- 6. SOMA: Efficient Multi-turn LLM Serving via Small Language Model
SOMA 针对多轮对话场景：标准做法是把整段历史每轮都拼给大模型，延迟与 API 成本都高。论文提出在会话早期用大模型回答几轮，估计该会话的「局部响应流形」，然后训练一个小模型软提示把它对齐到这一局部区域，后续轮次由小模型代答。这样把成本敏感的 long-context 推理转化为本地化的小模型推理，在多轮基准上以远低于纯大模型的开销保持质量。
出现于日报：05-15
- 7. Useful Memories Become Faulty When Continuously Updated by LLMs
论文系统研究了 agentic 系统常用的 "持续整合记忆" (consolidated memory) 范式：让 LLM 将历史交互改写成文本知识条目并持续更新。作者发现 GPT-5.4 在 ARC-AGI 上，对那些原本无记忆也能解决的题目，开启 consolidated memory 后失败率高达 54%；记忆质量随更新呈先升后降的非单调曲线，最终甚至跌破无记忆基线…
出现于日报：05-14
- 8. DITRON: Distributed Multi-level Tiling Compiler for Parallel Tensor Programs
DITRON 是面向 LLM 训推一体的 tile 级分布式编译器，通过 Core / Device / Task 三层抽象将 tensor / sequence / expert / pipeline 并行映射到异构集群；中端把算子级集合通信下降到 tile 级语义，原生支持计算-通信重叠。在 NVIDIA 与 AMD 双平台上 kernel 端 6-30%、vLLM 端到端推理 5-30% 提升…
出现于日报：05-11
- 9. Statistically-Lossless Quantization of Large Language Models
提出三种 'lossless' 量化定义：任务无损（保持基准准确率）、分布无损（保持下一 token 分布）、以及 Expected Acceptance Rate 作为细粒度保真度指标。理论上证明对称量化相对非对称把噪声方差放大 γ²，由此推出 SLQ 方法：4 bit 以下即可任务无损，5-6 bit 可达到分布无损；配合优化 kernel 推理相对 FP16 加速 1.7-3.6x。
出现于日报：05-11
- 10. Migrating Data Ingestion Systems at Meta Scale
Meta 工程团队披露了将整个数据摄入（data ingestion）系统从『客户自管道』模式迁移到『自管理数仓服务』模式的过程：覆盖数万个摄入 Job、PB 级 MySQL → 数仓增量同步。迁移采用三阶段生命周期（shadow → reverse shadow → cleanup），通过持续行数/校验和对比、自定义调试工具、按问题区分批量回填策略、以及在元数据中标记问题分区实现快速回滚，最终 100% 平滑切换。
出现于日报：05-13