2026-07-14 Infra · 系统与索引论文日报（第 100 期）

2026-07-14 周二 · Infra

独立报告页 · 在站内浏览（含往期切换）→

今日场景社区搜索（UGC 短文本搜索）：关注语义匹配、query 理解、短文本召回、排序模型，以及支撑 LLM 搜索应用的训练、推理、向量检索和部署基础设施。 — 评分 53 篇，入选 10 篇，分数 3.45 – 4.05

本期目录 · 10 篇

01M* (M-star): A Modular, Extensible, Serving System for Multimodal Models
02Beyond Prediction: Tail-Aware Scheduling for LLM Inference
03Sticky Routing: Training MoE Models for Memory-Efficient Inference
04Sensitivity-Aware Thresholding and Token Routing for Activation Sparsification in Large Language Models
05VecInfer: Efficient LLM Inference with Low-Bit KV Cache via Outlier-Suppressed Vector Quantization
06FastServe: Iteration-Level Preemptive Scheduling for Large Language Model Inference
07A Sovereign, Open-Source Foundation Model for German and English
08对象存储 OSS：OSS Vectors 概述
09Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning
10Complexity-Guided Component-wise Initialization for Language Model Pretraining

LEAD STORY · 今日必读 ·

Stanford /

University of Washington /

CMU

M* (M-star): A Modular, Extensible, Serving System for Multimodal Models

M* 针对多模态模型不再是单一自回归循环的问题，把复合模型表示为数据流图，把请求表示为图上的 Walk，并由运行时统一负责组件放置、批处理、传输与流式执行。其在语音和图像服务上吞吐最高提升 2.7 倍，在世界模型 rollout 上最高提升 12.5 倍。

网页来源 ↗

4.05

综合分 / 5
偏好调整 4.10

KEY INSIGHT · 对业务意味着什么真正可扩展的多模态推理底座需要从“固定流水线”转向“组件图加请求路径”的抽象。搜索系统若同时承载文本、图像、语音与生成任务，可借鉴 Walk Graph 将模型逻辑与物理调度解耦，在不为每种模型重写运行时的前提下实现异构部署和按需执行。

Atindra Jha, Naomi Sagan, Keisuke Kamahori, Xikai Meng, Rohan Sanda, Luke Zettlemoyer, Oli... · 2026-06-01 · 网页来源

今日其余入选

9 篇 · 按综合排名

02 4.00

Beyond Prediction: Tail-Aware Scheduling for LLM Inference

Microsoft

论文指出基于输出长度预测的 SJF/SRPT 调度在分布漂移、突发流量和显存压力下不稳定，提出以轻量统计信号进行软优先级提升，并联合缓存感知抢占。基于生产与开源 trace 的实验中，P99 总时延相对掌握完美长度的 SRPT 降低 35%–50%，TTFT 降低 34%–47%。

INSIGHT在线 LLM 服务不应把精力全部押在长度预测精度上，尾延迟控制更需要分布感知的优先级和 KV Cache 状态协同。对于搜索问答流量，可把推理型长请求与短 query 请求混合压测，直接以 P99 TTLT、TTFT 和显存回收成本作为调度目标。

Yueying Li, Yuanfan Chen, Jiayang Chen, Esha Choukse, Haoran Qiu, Edward Suh, Rodrigo Fonseca, Zib S...

arXiv·2026-06-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 5 · Timely 3

03 4.00

Sticky Routing: Training MoE Models for Memory-Efficient Inference

StickyMoE 从训练阶段解决端侧 MoE 连续 token 频繁切换专家、导致权重在快慢存储间反复搬运的问题。方法加入可微的路由一致性损失，鼓励语义连续片段复用专家，无需修改模型架构；小规模 MoE 实验将专家切换率最多降低 60%，困惑度退化控制在 4% 以内。

INSIGHTMoE 的推理局部性可以成为训练目标，而不必完全依赖部署端缓存启发式。对显存有限的搜索推理节点，可在预训练或继续训练时加入相邻 token 的路由平滑约束，再用专家命中率、权重换入量和质量损失共同选择正则强度。

Ali Kayyam

arXiv·2026-07-13·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5

04 4.00

Sensitivity-Aware Thresholding and Token Routing for Activation Sparsification in Large Language Models

论文研究如何在保持质量的同时稀疏化 LLM 的 MLP 激活。SATS 不再按激活分位数统一定阈值，而是以局部 MLP 输出敏感度校准各层门控阈值；随后用轻量 token 路由在基础路径和稀疏路径间动态选择，在多种开源模型上获得优于静态激活修改的质量—吞吐折中。

INSIGHT激活大小不等于输出重要性，部署侧应按层测量稀疏化对 MLP 输出的局部影响，再分配稀疏预算。对于搜索摘要或改写服务，可进一步按 token 难度动态走完整或稀疏路径，把容易 token 的算力让给长尾复杂请求。

Bishmoy Paul, Youngmin Yi, Hoeseok Yang

arXiv·2026-07-13·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5

05 3.90

VecInfer: Efficient LLM Inference with Low-Bit KV Cache via Outlier-Suppressed Vector Quantization

VecInfer 用平滑变换与 Hadamard 变换抑制 Key Cache 离群值，使向量量化码本更充分覆盖数据分布，并通过融合计算与反量化的 CUDA kernel 减少访存。2-bit KV Cache 仍接近全精度质量，在 Llama-3.1-8B、196k 上下文中，大批量注意力加速 2.7 倍，单批端到端时延降低 8.3 倍。

INSIGHT超低比特 KV 量化的关键瓶颈并非码本容量本身，而是离群值导致码本利用率低。长上下文搜索问答可优先在 Key 侧加入正交混合与平滑，再配套融合 kernel；上线时需同时观察长上下文准确率、KV 显存、批量大小和端到端延迟。

Dingyu Yao, Chenxu Yang, Zhengyang Tong, Zheng Lin, Wei Liu, Jian Luan, Weiping Wang

网页来源·2026-07-01·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 3

06 3.90

FastServe: Iteration-Level Preemptive Scheduling for Large Language Model Inference

Peking University

FastServe 利用自回归推理的迭代特征，把抢占粒度缩小到单个输出 token，并设计 skip-join 多级反馈队列，依据输入长度决定新请求的初始队列。系统还主动在 GPU 与主存间换入换出中间状态以支持抢占，USENIX 评测显示吞吐相对 vLLM 最多提升 6.1 倍。

INSIGHT面向交互式搜索的推理服务，单请求运行到结束容易造成队头阻塞；token 级抢占能够让短请求穿过长生成任务。工程落地必须把调度收益与 KV 状态搬运成本联合建模，并为 query 改写、摘要和深度研究请求设置不同优先级。

Bingyang Wu, Yinmin Zhong, Zili Zhang, Shengyu Liu, Fangyue Liu, Yuanhang Sun, Gang Huang, Xuanzhe L...

网页来源·2026-05-01·Relevance 4 · Novelty 4 · Practical 4 · Evidence 5 · Timely 2

07 3.80

A Sovereign, Open-Source Foundation Model for German and English

Soofi S 30B-A3B 是面向德语和英语的开放 MoE 混合 Mamba–Transformer 模型，每个 token 仅激活 30B 参数中的 3B，并让推理缓存随上下文增长保持近似恒定。模型使用约 27 万亿 token 预训练，在 17 个开放基座对比中以较低激活参数匹配 14B–27B 稠密模型，并在双语代码聚合指标上领先。

INSIGHT混合状态空间模型与稀疏专家可同时压低长上下文缓存和每 token 计算量，适合作为高并发检索增强应用的基座候选。对中文社区搜索而言不能直接复用其语言能力，但可借鉴数据加权、低激活参数和主权算力全流程训练的系统设计。

The Soofi-Team

arXiv·2026-07-13·Relevance 3 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5

08 3.80

对象存储 OSS：OSS Vectors 概述

Alibaba

阿里云把向量存储与检索直接纳入 OSS，通过专用 Vector Bucket 和 Vector Index 管理向量及元数据过滤，并与原始对象共享权限策略、日志审计和弹性扩缩容。官方称其仅按向量容量与检索扫描量计费，相比传统独立向量基础设施成本可下降 90% 以上。

INSIGHT将对象与向量放在同一治理边界，能减少 UGC 内容、Embedding、权限和审计之间的同步链路。社区搜索可评估“对象存储即向量底座”方案，但需用真实召回规模验证延迟、过滤选择性、索引更新时效和扫描计费，避免只看存储成本。

Alibaba Cloud

网页来源·2026-07-02·Relevance 4 · Novelty 3 · Practical 5 · Evidence 3 · Timely 3

09 3.45

Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning

Super 将 Wanda 的激活加权幅值分数从剪枝迁移到参数高效微调，用一次校准固定少量可训练参数；Supra 再把稀疏更新与 LoRA 按相同参数预算组合。Llama-3.2-1B 与 Llama-3-8B 的 Math17K 单种子实验中，最佳 Super/Supra 在所测适配器配置里取得最高平均准确率，代码已开放。

INSIGHTPEFT 不必只选择低秩子空间，也可先用业务校准数据确定少量高价值权重，再与 LoRA 分摊预算。搜索团队可在 query 理解或摘要微调中比较“固定稀疏支持”“LoRA”“混合适配器”的显存、任务精度和多租户模型存储成本。

Ivan Ilin, Philip Zmushko, Peter Richtárik

arXiv·2026-07-13·Relevance 3 · Novelty 3 · Practical 4 · Evidence 3 · Timely 5

10 3.45