- 1. The Clustering Strikes Back: Building Cost-Effective and High-Performance ANNS at Scale with HELMSMAN · 📖 深度解读
大规模向量检索一直放在内存里跑 HNSW，因为 SSD 太慢。小红书的经验是，SSD 慢主要慢在图索引一步等一步的串行读：召回要上千个候选时，改用聚类索引，先在内存里选好要读的簇，再一次性把读请求全部发出去，多块高速 SSD 的带宽就能接近内存方案。线上约 40 台全闪存服务器接下了原来约 35,000 个 CPU 核的内存集群。代价也要看清：同一台机器上，它的吞吐只有内存 HNSW 的四分之一到七成…
出现于日报：08-18
- 2. Optimizing Deployment Configurations for LLM Inference
Meta 总结 Llama 推理在近 10 亿月活用户规模下的部署配置优化，系统分析数百万种硬件、并行策略和运行时组合。研究覆盖 H100、H200、MI300X，以及连续批处理和 Prefill-Decode 解耦，目标是在延迟 SLO 约束下最大化吞吐。
出现于日报：08-17
- 3. Coverage Is Not Containment: A Fundamental Limit of Admission-Time Defenses Against Coordinated Poisoning of Vector Retrieval
论文研究向量检索系统面临的协同投毒风险：攻击者只需注入少量单独看似正常的文档，就能共同包围目标查询并夺取 top-k。实验在 BGE-large、BEIR、HNSW 和 Qwen2.5-7B 链路上显示，10 个文档可在离线索引中占满 10/10 结果，在真实 HNSW 中达到 9.9/10，并使生成器在 88% 的目标上输出攻击者植入的说法。
出现于日报：08-19
- 4. MorphServe: Efficient and Workload-Aware LLM Serving via Runtime Quantized Layer Swapping and KV Cache Resizing
MorphServe面向突发和动态负载，把模型压缩与KV缓存管理做成运行时、token级的协同机制：高负载时替换低影响层为量化层，并把释放的显存转给KV缓存。Vicuna和Llama真实负载实验显示，平均SLO违约减少92.45%，P95 TTFT较全精度服务提升2.2–3.9倍，精度下降较规划式量化少41.3%。
出现于日报：08-21
- 5. Redakto - The Incognito Tab for LLMs
Redakto是面向LLM调用前的数据隐私基建，支持PII删除与伪名化，并通过Web应用、REST API和MCP hooks接入下游处理。作者在法律和医疗文本上同时评估隐私与任务效用，结果显示不同脱敏策略的效用分数与原文相当；项目开源、计算需求适中，可部署在本地硬件。
出现于日报：08-21
- 6. OGX: An Open-Source, Vendor-Neutral Generative AI Application Server
OGX 提出开源、厂商中立的生成式 AI 应用服务器，以统一 API 隔离应用代码与模型和部署选择。系统兼容 OpenAI、Anthropic、Google 等接口，支持超过 20 个推理提供方、13 个向量存储后端，并提供 Kubernetes Operator，覆盖 RAG、多轮 Agent 与工具调用等服务形态。
出现于日报：08-19
- 7. 面向分布式推理的大模型 KV cache 分发网络
文章面向分布式大模型推理中的 KV 缓存跨节点传输问题，讨论缓存分发网络的架构、节点协同与服务实现。其核心是把 KV 缓存从单机推理栈中的隐含状态提升为可调度的基础设施资源，服务于 Prefill-Decode 分离、跨节点复用和大规模在线推理。
出现于日报：08-19
- 8. Demystifying the Design Space and Best Practices for Heterogeneous LLM Inference and Serving
论文系统分析异构硬件、软件栈与工作负载共同作用下的大模型服务设计空间，重点讨论 KV 缓存驻留、传输、精度和生命周期，以及 vLLM 中的服务交接路径。作者总结 9 项设计实践，并报告在特定配置下优化 KV 精度可将可持续请求率从 0.1 请求/秒提升到 1.0 请求/秒。
出现于日报：08-19
- 9. Optimal Scheduling Algorithms for LLM Inference: Theory and Practice
论文针对 LLM 推理的 Prefill-Decode 两阶段结构建立路由与调度模型，提出吞吐最优的 RAD 调度器，以及面向 SLO 的 SLAI 调度器。SLAI 会优先处理接近 TBT 截止时间的 Decode 请求，并按已知 prompt 长度重排 Prefill，以降低 TTFT。
出现于日报：08-17
- 10. TriInfer: Hybrid EPD Disaggregation for Efficient Multimodal Large Language Model Inference
TriInfer 将多模态推理拆成 Encode、Prefill、Decode 三阶段，分别部署到异构实例，并用阶段级批处理提升资源匹配。论文在真实多模态负载上报告相对 vLLM、SGLang 最高 3.7 倍吞吐，同时满足 90 分位请求 SLO。
出现于日报：08-17