2026-03-27 周五 · Infra

独立报告页 · 在站内浏览(含往期切换)→
Generative生成式推荐 · 9 篇Personalization个性化推荐 · 8 篇AI SearchAI 搜索 · 10 篇Agentic智能体搜索 · 10 篇Infra系统与索引 · 10 篇

今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注:语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 18 篇,入选 10 篇,分数 3.45 – 4.45

本期目录 · 10 篇
  1. 01MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning
  2. 02LMetric: Simple is Better - Multiplication May Be All You Need for LLM Request Scheduling
  3. 03Diet Your LLM: Dimension-wise Global Pruning of LLMs via Merging Task-specific Importance Score
  4. 04VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions
  5. 05TuneShift-KD: Knowledge Distillation and Transfer for Fine-tuned Models
  6. 06MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens
  7. 07Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding
  8. 08The Compression Paradox in LLM Inference: Provider-Dependent Energy Effects of Prompt Compression
  9. 09LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load
  10. 10AscendOptimizer: Episodic Agent for Ascend NPU Operator Optimization
LEAD STORY · 今日必读

MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning

针对 MoE 模型的 LoRA 微调效率问题,提出 MoE-Sieve 方法。通过分析发现每层 expert 路由高度倾斜——少量 expert 处理大部分 token,大量 expert 几乎不被激活。MoE-Sieve 先在小校准集上统计路由频次,选取 top-k 高频 expert 仅对其施加 LoRA,跳过冷门 expert。实验表明,仅微调约 30% 的 expert 即可保持甚至超越全量 LoRA 微调的性能,同时显著降低 GPU 显存和训练时间。

相关 4新颖 4实用 5证据 4时效 5
4.45
综合分 / 5
偏好调整 4.45
KEY INSIGHT · 对业务意味着什么核心洞察在于 MoE 路由的高度倾斜性——冷门 expert 对下游任务贡献极小,给它们加 LoRA 是资源浪费。该方法无需修改模型架构,仅在微调前增加一步 profiling,对工业界大规模 MoE 模型(如 Mixtral、DeepSeek-MoE)的高效适配具有直接指导意义,可大幅降低微调成本。
Andrea Manzoni · 2026-03-26 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.45

LMetric: Simple is Better - Multiplication May Be All You Need for LLM Request Scheduling

Alibaba

提出 LMetric,一种极简的 LLM 请求调度策略,仅通过乘法运算即可同时兼顾 KV Cache 命中率和负载均衡两大目标。现有方法使用线性组合等复杂组合器计算调度分数,需要大量工作负载特定的超参调优或模型-硬件感知的模拟器。LMetric 用简单乘法替代,无需超参调优,在多种工作负载下均表现出色,实现了开箱即用的高效调度。

INSIGHT该工作来自阿里巴巴,核心贡献是发现 KV Cache 命中率和负载均衡指标的乘法组合就能得到优秀的调度策略,避免了复杂的超参搜索。对大规模 LLM serving 系统的工程实践有直接参考价值——简单策略往往比精心设计的复杂策略更鲁棒、更易维护。

Dingyan Zhang, Jinbo Han, Kaixi Zhang, Xingda Wei, Sijie Shen, Chenguang Fang, Wenyuan Yu, Jingren Z...
arXiv·2026-03-20·Relevance 4 · Novelty 4 · Practical 5 · Evidence 4 · Timely 5
03 4.35

Diet Your LLM: Dimension-wise Global Pruning of LLMs via Merging Task-specific Importance Score

提出 DIET 方法,一种免训练的结构化剪枝框架,通过维度级全局剪枝实现 LLM 压缩。DIET 在每个任务上独立计算维度重要性分数,再通过融合多任务重要性分数获得全局剪枝策略。与任务无关的方法相比,DIET 能适配特定任务需求;与需要训练的任务感知方法相比,DIET 零训练开销。结合了两种范式的优点——既保持任务适应性,又不增加训练成本。

INSIGHTDIET 的核心创新在于将多任务重要性分数融合为全局剪枝决策,实现了免训练的任务自适应压缩。这对工业界部署 LLM 极具价值——在需要同时服务多个下游任务的场景中,可以快速生成一个均衡的压缩模型,无需为每个任务单独训练剪枝模型,显著降低模型上线成本。

Jimyung Hong, Jaehyung Kim
arXiv·2026-03-26·Relevance 4 · Novelty 4 · Practical 5 · Evidence 3 · Timely 5
04 3.90

VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions

Samsung

提出 VISOR 方法,通过稀疏化视觉与语言 token 的交互来提升大型视觉-语言模型(LVLM)的推理效率,而非传统的视觉 token 压缩方式。现有方法通过减少视觉 token 数量来加速,但这造成信息瓶颈,在细粒度理解和推理任务上性能受损。VISOR 保留所有视觉信息,仅在需要时动态选择性地进行视觉-语言交互,既降低了计算成本又不损失性能。

INSIGHTVISOR 挑战了当前 LVLM 效率优化的主流范式(视觉 token 裁剪),提出了正交的解决思路——稀疏交互而非稀疏表示。这对多模态搜索场景有启发意义:图文理解任务中,保持完整视觉信息但按需交互,可能是更优的效率-性能平衡点。

Adrian Bulat, Alberto Baldrati, Ioannis Maniadis Metaxas, Yassine Ouali, Georgios Tzimiropoulos
HuggingFace·2026-03-24·Relevance 3 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 3.85

TuneShift-KD: Knowledge Distillation and Transfer for Fine-tuned Models

解决 LLM 换代时微调知识迁移的实际问题。当新一代预训练模型发布时,原有微调数据可能因隐私或商业限制而不可用,需要将已微调模型的领域知识蒸馏到新模型。TuneShift-KD 提出了一种参数高效的知识蒸馏与迁移框架,能在无原始训练数据条件下将旧模型的 LoRA 等微调知识转移至新架构的预训练模型。

INSIGHT该工作解决了工业界的真实痛点——模型升级换代时的知识迁移。当搜索/推荐系统依赖的 LLM 从 Llama-3 升级到 Llama-4 时,原有微调数据不可用的情况很常见。TuneShift-KD 提供了一条无需重新收集训练数据的迁移路径,可显著降低模型升级的人力和时间成本。

Yushi Guan, Jeanine Ohene-Agyei, Daniel Kwan, Jean Sebastien Dandurand, Yifei Zhang, Nandita Vijayku...
arXiv·2026-03-26·Relevance 4 · Novelty 3 · Practical 4 · Evidence 3 · Timely 5
06 3.80

MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens

提出 Memory Sparse Attention(MSA)机制,将 LLM 的有效上下文长度扩展至 1 亿 token 级别。现有方法如混合线性注意力、RNN 固定记忆状态、RAG/Agent 等外部存储方案,在超长上下文下存在精度退化和延迟增长问题。MSA 通过端到端的稀疏记忆建模,在保持精度的同时实现高效的长期记忆存取,打破了全注意力架构的上下文长度瓶颈。

INSIGHT100M token 级别的端到端记忆建模是一个重大突破,对需要处理海量历史信息的场景(如用户长期行为建模、大规模文档检索)具有深远影响。MSA 的稀疏记忆方案提供了一种不依赖外部系统(RAG)的纯模型解决方案,可能改变未来搜索系统的长上下文架构设计。

Yu Chen, Runkai Chen, Sheng Yi, Xinda Zhao, Xiaohong Li, Jianjin Zhang, Jun Sun, Chuanrui Hu, Yunyun...
arXiv·2026-03-26·Relevance 3 · Novelty 5 · Practical 3 · Evidence 3 · Timely 5
07 3.80

Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding

提出 AttentionPack 框架,针对大型视觉-语言模型(VLM)的解码阶段进行注意力感知的推理优化。VLM 在处理长视觉和文本序列时,解码阶段的显存开销是主要瓶颈。AttentionPack 通过自适应的注意力感知策略,在 VLM 推理过程中实现高效的显存管理,尤其针对视觉输入多、交互复杂的场景进行了专门优化。

INSIGHT随着多模态搜索(图文混合检索、视觉问答)成为趋势,VLM 推理优化变得关键。AttentionPack 的注意力感知方法为 VLM serving 提供了框架级解决方案。对需要部署多模态搜索服务的团队,该工作提供了在不牺牲质量前提下降低 serving 成本的实践路径。

Fatih Ilhan, Gaowen Liu, Ramana Rao Kompella, Selim Furkan Tekin, Tiansheng Huang, Zachary Yahn, Yic...
arXiv·2026-03-26·Relevance 3 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
08 3.75

The Compression Paradox in LLM Inference: Provider-Dependent Energy Effects of Prompt Compression

通过 28,421 次 API 调用的大规模实验,测试 Prompt 压缩是否能提升 LLM 推理的能效。测试覆盖 OpenAI GPT-4o-mini、Anthropic Claude-3.5-Sonnet、DeepSeek-Chat 三个提供商,五个基准测试(HumanEval、MBPP、GSM8K、MATH、MMLU),四种压缩比。发现了一个"压缩悖论":Prompt 压缩的能效收益高度依赖于服务提供商,在部分提供商上反而增加能耗。

INSIGHT该实验规模和严谨性出色,揭示了一个反直觉的结论:Prompt 压缩并非总能节省推理成本。这对使用 LLM API 的搜索系统有重要指导——在决定是否引入 Prompt 压缩前,应在目标提供商上进行实际 A/B 测试,而非假设压缩一定有益。provider-dependent 的特性提示我们需要针对不同后端做差异化优化。

Warren Johnson
arXiv·2026-03-26·Relevance 3 · Novelty 3 · Practical 4 · Evidence 5 · Timely 5
09 3.55

LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load

对 Qwen 2.5 1.5B(4-bit 量化)在四种边缘设备上的持续推理性能进行系统基准测试:Raspberry Pi 5 + Hailo-10H NPU、Samsung Galaxy S24 Ultra、iPhone 16 Pro、笔记本 NVIDIA RTX 4050 GPU。在固定 258-token 输入下进行 20 次热状态测试,测量吞吐量、延迟、功耗和热行为。发现移动端散热管理超过算力成为首要约束。

INSIGHT该基准测试揭示了边缘 LLM 部署的关键瓶颈:移动端真正的限制因素是热管理而非算力。对计划在端侧部署搜索/推荐模型的团队,这意味着需要重新评估持续负载下的性能,而非仅看峰值指标。iPhone 和 Android 的差异化表现也提示需要平台特定的优化策略。

Pranay Tummalapalli, Sahil Arayakandy, Ritam Pal, Kautuk Kundan
arXiv·2026-03-26·Relevance 3 · Novelty 3 · Practical 4 · Evidence 4 · Timely 5
10 3.45

AscendOptimizer: Episodic Agent for Ascend NPU Operator Optimization

Huawei

针对华为 Ascend NPU 上 AscendC 算子优化的知识瓶颈问题,提出 AscendOptimizer——一个基于经验的智能代理。与 CUDA 生态不同,Ascend 缺少公开参考实现,性能优化涉及 host 端 tiling 程序和 kernel 端指令调度的联合优化。AscendOptimizer 通过 profiling-in-the-loop 进化搜索在 host 端优化 tiling,通过经验池驱动的代理在 kernel 端优化指令流水线。

INSIGHT该工作展示了 AI Agent 在编译器/算子优化领域的新应用模式。在国产 NPU 生态日益重要的背景下,AscendOptimizer 通过"执行转化为经验"的方式弥补了 Ascend 生态文档和参考实现不足的短板。对使用或计划迁移至华为 Ascend 平台的团队具有直接参考价值。

Jiehao Wu, Zixiao Huang, Wenhao Li, Chuyun Shen, Junjie Sheng, Xiangfeng Wang
arXiv·2026-03-26·Relevance 3 · Novelty 4 · Practical 3 · Evidence 3 · Timely 5

其他赛道今日

点击切换
Generative
9
生成式推荐 · 篇入选
Personalization
8
个性化推荐 · 篇入选
AI Search
10
AI 搜索 · 篇入选
Agentic
10
智能体搜索 · 篇入选