今日场景今天基础设施赛道 10 篇，集中在三件事。第一是推理时的 KV cache 存取：KVStream 让本地盘和共享存储一起读，Tensormesh 推出企业版缓存平台。第二是压缩模型：BiLoCo 用二值低秩修正补 FP4 的精度，GS-MoE 免训练压缩混合专家模型。第三是降低训练和推理成本，包括 HyScale 加速稀疏注意力训练，以及 Spotify 把生成式推荐的三种推理统一到 TensorRT-LLM。 — 评分 43 篇，入选 10 篇，分数 2.90 – 4.30
长上下文推理会反复用到同一段前缀，比如系统提示、整份文档、代码仓库和多轮会话历史。这些前缀的 KV cache 早已放不进 GPU 显存和主机内存，只能落到硬盘上，下次命中再读回来，读盘就卡在了每一步推理的关键路径上。现有系统只读节点本地的 NVMe，集群早已挂载的并行文件系统却几乎闲着。这篇论文做了 KVStream：每块 KV 在本地盘和共享存储各写一份，读的时候两边同时读，谁先读完谁接着领下一批。接进 LMCache 实测，离线吞吐最高是 LMCache 的 1.49 倍，突发流量下平均 TTFT 最多快 6.1 倍。
Spotify 和 NVIDIA 把生成式播客推荐原本分散在两套推理引擎上的工作统一到 TensorRT-LLM 后，在 Qwen3-1.7B 上，束搜索的成本最多降低 54%，打分的成本最多降低 7%。Spotify 用 Semantic ID 做推荐，线上一个请求要用到三种推理：用束搜索生成候选、给一批现成候选逐个打分、把用户向量作为一个额外的 token 塞进 prompt。原来这三件事分散在 vLLM 和 SGLang 两套推理引擎里，vLLM 的束搜索又跑不满 GPU，只好退而用低档显卡。两家把缺的功能补进了 TensorRT-LLM，三件事统一到一个引擎里跑。
把大模型训练完直接量化到 FP4，在 Blackwell GPU 上能用原生的 FP4 矩阵乘提速，但精度会掉一截。常见补法 SVDQuant 是另存一个 BF16 的低秩修正项，它既占存储，又要和主计算抢同一批张量核心。这篇麻省理工的论文提出 BiLoCo，把修正项里的向量全部换成正负 1，修正只剩加减法，可以放到平时闲着的 CUDA 核心上，和矩阵乘同时跑。同样的存储能放下 16 倍的秩，困惑度持平或更好。单条请求时，整个算子只比纯 FP4 慢 6% 到 11%。
MoE 模型所有专家的参数都得放在显存里，部署时最先卡住的往往是显存。这篇论文提出 GS-MoE，不需要任何再训练，从两个方向同时压缩专家：一是把相似的专家分成组，组内共用一对输入和输出投影，每个专家只保留一个小的私有矩阵；二是在每个专家内部删掉那些能被其他神经元组合替代的中间神经元。在 DeepSeek-MoE-16B 上去掉 60% 的参数后，推理任务的平均准确率还保留了原模型的约 90%，对比方法 D2-MoE 只保留了 73%。
学出来的稀疏注意力让每个查询只读最相关的 k 个历史 token，是百万 token 上下文的热门架构；但挑出这 k 个 token 的选择步骤要给之前所有 token 打分，训练时反而成了瓶颈，在 Megatron-LM 里训练长序列时它占了每步近一半的时间。HyScale 的关键观察是，选择的结果只是一组下标，不必存整张分数表，也不必在重算时再选一遍。它边打分边求出精确的前 k 个，反向重算时直接复用前向选出的下标。在 512 张 H20 GPU 上训练百万 token 序列，端到端比 Megatron-LM 快 2.07 倍。
MoE 只把前馈层做成稀疏的，注意力层仍是所有 token 共用一套参数、看完整的上下文。这篇论文提出 Nestor，把注意力也拆成几组参数各自独立的注意力模块，称为列：路由器给每个 token 选出其中几列，每列只在分到同一列的 token 之间算注意力，列里再各挂一组专家。预训练的扩展规律实验显示，要达到 Nestor 的验证损失，同样稀疏度的普通 MoE 需要多花 13% 到 29% 的训练算力，模型变大后这个差距没有缩小。拿去新领域继续训练时，它学到的和 MoE 差不多，忘掉的更少。
全模态大模型能同时读文字、听音频、看视频，但视频很贵：在 WorldSense 基准上，只给文字和音频时每题约三千个输入 token，加上视频就涨到约四万。很多问题其实不需要看视频。这篇论文不改模型，只决定每个问题要输入哪些模态，把这个选择当作准确率和成本之间的权衡来学：选择器是一个线性层，只看问题文字的 BGE-M3 向量，决定要不要加视频；训练时的目标是答错的损失加上按权重计入的推理成本。在 Qwen2.5-Omni 上，它的准确率持平或超过把全部模态都输入的做法，输入 token 只要约 41%，延迟只要约 39%。
大模型推理会反复重算同一段上下文，既浪费 GPU 时间，又拖慢首个 token 的返回。开源 KV cache 项目 LMCache 的团队 Tensormesh 为此发布了企业版平台 Tensormesh Platform，把 KV cache 当成一层需要管理的数据来运营：在显存、主机内存和存储之间自动分层缓存，既复用提示开头的前缀，也能用 CacheBlend 复用提示中间的片段，适合检索增强生成；集群里的机器还能直接互相拉取 KV cache。平台部署在企业自己的 Kubernetes 集群上，带数据安全、实时监控、高可用、缓存策略和多租户隔离等生产功能。
Aleph Alpha欧洲的公共部门、工业和航天等受监管行业，需要能自己掌控、德语又好的开源大模型。Kolibri 是一个英德双语的混合专家模型，总参数 781 亿，每个 token 只激活约 35 亿，以开源许可公开权重。团队从数据、架构、训练设施到后训练和评测全流程自己掌控，还自建管线从网上整理并合成了 2 万亿以上的德语 token，让德语在训练数据里占到相当比例。在报告比较的开源模型里，它在英语和德语上都处在质量和推理成本的最优边界上，也就是同等成本下质量最好的一档。
Alibaba想把大模型的能力迁到便宜的小模型上，又不想自己搭流程，阿里云人工智能平台 PAI 的模型蒸馏服务 ModelDistill 把这件事做成了不用写代码的托管服务。它用黑盒蒸馏：先让教师模型生成高质量的训练数据，再用这些数据对学生模型做 SFT，学生模型可选 LoRA、QLoRA 或全参微调。除了通用模板，还有指令跟随、思维链推理、智能体工具调用、文生视频和代码智能体等场景模板。文档也提醒，蒸馏一定会损失一些效果，简单的分类和文本匹配任务直接微调小模型可能更划算。
Spotify
NVIDIA