- 1. Harrier-OSS-v1: Microsoft's Decoder-Only Multilingual Embedding Model Family
微软Bing团队开源Harrier系列embedding模型，采用decoder-only架构（与GPT-4、Llama同源），在多语言MTEB-v2基准上排名第一。提供三种规模（270M/0.6B/27B参数），旗舰27B模型得分74.3，超越Google Gemini Embedding 2。支持100+语言和32K上下文窗口，采用LLM-based re-ranker生成训练信号并进行知识蒸馏…
出现于日报：04-20
- 2. SGLang v0.4+: RadixAttention and the Rise of RadixArk ($400M Startup)
SGLang推理框架的核心创新RadixAttention使用基数树数据结构实现自动细粒度KV缓存重用，当新请求包含相同系统提示或历史对话时直接复用已有计算结果。2026年1月项目孵化出商业公司RadixArk，由Accel领投，估值约4亿美元。在H100上吞吐达16,200 tok/s（比vLLM高29%），DeepSeek V3推理快3.1x。已在xAI、AMD、NVIDIA、LinkedIn、Cursor等超40万GPU上部署。
出现于日报：04-20
- 3. Improving Reasoning Capabilities in Small Models through Mixture-of-Layers Distillation with Stepwise Attention on Key Information
针对 CoT 蒸馏中教师模型动态注意力迁移不足的问题，提出了一种结合 Mixture-of-Layers 模块的新型蒸馏框架。该方法将教师模型在推理过程中对关键信息的渐进注意力转移（stepwise attention shift）作为结构化指导信号传递给学生模型，使小模型能够学习到推理过程中信息聚焦的动态模式。
出现于日报：04-21
- 4. Quantization for Large Language Models: A Systematic Study (ICLR 2026)
该论文发表于 ICLR 2026，系统性研究了 LLM 后训练量化（PTQ）技术，首次在应用层、负载层、并行策略层和硬件层四个维度下评估量化对在线服务的影响。实验揭示了高度任务依赖和方法依赖的量化-精度权衡，以及量化与并行策略/GPU 架构之间的复杂交互效应。
出现于日报：04-21
- 5. pgvectorscale: PostgreSQL Vector Search with StreamingDiskANN Outperforms Dedicated Vector DBs
pgvectorscale为PostgreSQL引入StreamingDiskANN索引（基于微软DiskANN研究）和Statistical Binary Quantization。在50M Cohere embedding（768维）基准测试中，以471 QPS对比Qdrant的41 QPS（99%召回率）实现11.4x性能优势。相比Pinecone s1索引，p95延迟降低28倍、吞吐提升16倍，自托管成本降低75%…
出现于日报：04-20
- 6. GLM-5.1: Agentic Engineering Open-Source LLM (MIT License)
智谱 AI 发布 GLM-5.1，定位为面向 Agent 工程和复杂软件开发任务的旗舰级开源大模型，采用 MIT 许可证支持商业使用。该模型在 SWE-Bench Pro 上声称超越当前最佳闭源模型，支持长上下文窗口和多轮工具调用。GLM-5.1 是 2026 年 4 月六大实验室（Google、Alibaba、Meta、Mistral、Zhipu AI、DeepSeek）竞相发布开源模型浪潮中的重要一员。
出现于日报：04-22
- 7. Alloc-MoE: Budget-Aware Expert Activation Allocation for Efficient Mixture-of-Experts Inference
针对 Mixture-of-Experts (MoE) 模型推理中大量专家激活导致的延迟瓶颈，提出 Alloc-MoE 框架，引入“激活预算”概念并在两个层级优化专家分配：Alloc-L 通过灵敏度分析和动态规划实现跨层最优分配，Alloc-T 基于路由分数在 token 级别动态重分配激活。在 DeepSeek-V2-Lite 上以一半激活预算实现 1.15× prefill 和 1.34× decode 加速，同时保持模型性能…
出现于日报：04-23
- 8. TTKV: Temporal-Tiered KV Cache for Long-Context LLM Inference
针对大语言模型推理中 KV 缓存内存随上下文长度线性增长的瓶颈问题，提出 TTKV（Temporal-Tiered KV Cache）方法。该方法将 KV 状态按时间分层管理，对不同时间区间的 key-value 对采用不同的精度和可访问策略，打破了现有方法将所有 KV 状态视为同等重要的假设。通过时间感知的分层缓存，在长上下文推理中显著降低显存占用，同时保持生成质量。
出现于日报：04-24
- 9. Target-Oriented Pretraining Data Selection via Neuron-Activated Graph
提出 Neuron-Activated Graph Ranking (NAG-based Ranking)，一个免训练、可解释的目标导向预训练数据选择框架。通过量化 LLM 中各层高影响力神经元，构建紧凑的 Neuron-Activated Graph (NAG)，然后按 NAG 相似度对候选数据排序。在六个基准上，该方法平均提升目标导向预训练效果 4.9%，在 HellaSwag 上超出 SOTA 基线 5.3%。
出现于日报：04-21
- 10. Gemma 4: Google Open-Weight Model Family (Apache 2.0)
Google 在 2026 年 4 月发布 Gemma 4 系列四个变体，全部采用 Apache 2.0 许可证。其中 31B dense 模型在多项基准上超越了体量大 20 倍的模型，展现了密集模型在效率/性能平衡上的突破。该系列提供多种规模选择，支持从消费级 GPU 到数据中心部署的全场景覆盖。
出现于日报：04-22