2026-05-25 周一 · Infra

独立报告页 · 在站内浏览(含往期切换)→
Generative生成式推荐 · 1 篇Personalization个性化推荐 · 6 篇AI SearchAI 搜索 · 6 篇Agentic智能体搜索 · 10 篇Infra系统与索引 · 6 篇

今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注:语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 9 篇,入选 6 篇,分数 3.20 – 3.65

本期目录 · 6 篇
  1. 01TIDE: Efficient and Lossless MoE Diffusion LLM Inference with I/O-aware Expert Offload
  2. 02Efficient Serving for Dynamic Agent Workflows with Prediction-based KV-Cache Management
  3. 03Factorization-Error-Free Discrete Diffusion Language Model via Speculative Decoding
  4. 04RLHFless: Serverless Computing for Efficient RLHF
  5. 05Roll Out and Roll Back: Diffusion LLMs are Their Own Efficiency Teachers
  6. 06BitCal-TTS: Bit-Calibrated Test-Time Scaling for Quantized Reasoning Models
LEAD STORY · 今日必读

TIDE: Efficient and Lossless MoE Diffusion LLM Inference with I/O-aware Expert Offload

针对扩散式(diffusion)MoE 大模型在单 GPU-CPU 这种显存受限机器上 expert 频繁换入换出、I/O 成为瓶颈的问题,TIDE 观察到扩散解码同一 block 内各步的 expert 激活具有时间稳定性(temporal stability),于是用按区间(interval-based)的 expert 放置策略复用已加载的 expert、减少 I/O 流量。方法不需重训、保证无损(lossless)。在 LLaDA2.0-mini 上吞吐最高提升 1.4x,LLaDA2.0-flash 上最高 1.5x。

相关 3新颖 4实用 4证据 3时效 4
3.65
综合分 / 5
偏好调整 3.65
KEY INSIGHT · 对业务意味着什么扩散 LLM 解码时同一 block 内连续若干步激活的 expert 高度重叠,这一时间稳定性是做 expert offload 缓存复用的直接抓手——把放置周期对齐到 block 而非每步重判,就能省掉大量 CPU-GPU 搬运。对显存吃紧又想跑 MoE 的搜索/推荐推理场景,这类训练无关、无损的 offload 调度可叠加在现有推理栈上;但收益只有 1.4-1.5x 且仅在 LLaDA 系列扩散模型验证,自回归 MoE 不能直接套用。
Zhiben Chen, Youpeng Zhao, Yang Sui, Jun Wang, Yuzhang Shang · 2026-05-19 · arXiv

今日其余入选

5 篇 · 按综合排名
02 3.55

Efficient Serving for Dynamic Agent Workflows with Prediction-based KV-Cache Management

多 agent 工作流里各 agent 共享大量上下文,存在 KV-Cache 复用空间,但实际工作流是动态的——调用哪个 agent、能复用多少 cache 取决于每个任务的具体上下文,固定 LRU 策略会误删高价值 cache。PBKV 用历史工作流规律加当前任务上下文预测后续会调用的 agent,估计 cache 复用潜力,把高潜力条目留在 GPU 显存,并在驱逐和预取时保守使用预测以容忍预测误差。动态工作流上比 LRU 最高加速 1.85x,静态工作流上比 SOTA 的 KVFlow 最高加速 1.26x。

INSIGHT把 KV-Cache 的去留从“最近最少使用”改为“按预测的未来复用潜力”管理,是 agentic 搜索/多轮问答这类共享上下文场景压成本的可借鉴思路。关键设计是预测要保守用——只在驱逐和预取时作为参考,预测错也不致命,这降低了上线门槛。对自建 LLM agent 服务的团队,1.85x 提升主要来自避免高复用 cache 被误删;但需要积累历史工作流轨迹来训练预测器,冷启动阶段收益有限。

Haoyu Zheng, Fangcheng Fu, Jia Wu, Binhang Yuan, Yongqiang Zhang, Hao Wang, Yuanyuan Zhu, Xiao Yan, ...
arXiv·2026-05-07·Relevance 4 · Novelty 4 · Practical 3 · Evidence 3 · Timely 3
03 3.35

Factorization-Error-Free Discrete Diffusion Language Model via Speculative Decoding

离散扩散语言模型并行预测多个被 mask 的 token 时,假设各位置独立(独立分解),会引入分解误差(factorization error),损害 token 间依赖。FeF-DLLM 用精确的前缀条件分解(prefix-conditioned factorization)替代独立预测来保留 token 依赖,并理论证明其采样自真实联合分布;同时结合投机解码(speculative decoding)加速。在 GSM8K、MATH、HumanEval、MBPP 上平均准确率提升 5.04 个百分点,平均推理加速 3.86x。

INSIGHT扩散 LLM 并行解码的速度优势常以“假设位置独立”为代价,本文指出这一分解误差正是质量下降的根因,并给出有理论保证的修正——前缀条件分解保留依赖、投机解码补回速度,做到既快又准。对关注扩散 LLM 作为低延迟生成方案的团队,这说明并行度和正确性并非只能二选一;但方法绑定扩散范式,且 3.86x 加速建立在 4 个推理类 benchmark 上,长文本生成场景仍需验证。

Xun Fang, Yunchen Li, Hang Yuan, Zhou Yu
arXiv·2026-05-14·Relevance 3 · Novelty 4 · Practical 3 · Evidence 4 · Timely 3
04 3.25

RLHFless: Serverless Computing for Efficient RLHF

RLHF 训练里推理(生成 rollout)和训练交替进行,资源需求动态变化,传统 serverful(固定占用服务器)架构难以应对这种细粒度波动,造成 GPU 空闲。RLHFless 把同步 RLHF 搬到 serverless(按需弹性)环境:预计算共享前缀消除冗余计算、按响应长度差异做成本敏感的弹性伸缩、优化负载分布以减少空闲。在物理集群和大规模仿真上比 SOTA 最高加速 1.35x、成本降低 44.8%。

INSIGHTRLHF 的资源画像是“锯齿状”的——rollout 阶段吃推理、训练阶段吃显存与通信,固定资源池必然有人闲着,这是 serverless 弹性能切入的点。成本降 44.8% 主要来自按需伸缩而非买断 GPU。对需要持续做对齐/偏好训练的团队,这提供了一条用弹性算力摊薄成本的路径;但依赖成熟的 serverless/FaaS 基础设施,自建集群团队迁移成本高,且 1.35x 的加速幅度有限。

Rui Wei, Hanfei Yu, Shubham Jain, Yogarajan Sivakumar, Devesh Tiwari, Jian Li, Seung-Jong Park, Hao ...
arXiv·2026-02-26·Relevance 3 · Novelty 4 · Practical 3 · Evidence 4 · Timely 2
05 3.25

Roll Out and Roll Back: Diffusion LLMs are Their Own Efficiency Teachers

SJTU

开源扩散 LLM 存在严重的质量-速度权衡:并行生成快但准确率掉。WINO 是训练无关的解码算法,做“可撤销并行生成”(revokable parallel generation)——先激进地草拟(draft)多个 token,再用更丰富的上下文验证,把不可靠的重新 mask(roll back);WINO+ 进一步把验证过的去噪轨迹注入模型参数,让训练对齐高效推理。GSM8K 上 WINO 把准确率从 73.24 提到 75.82,同时步数减少 6.10x;WINO+ 达 76.58、步数减 6.83x;Flickr30K 上 WINO+ 步数最高减 16.22x。

INSIGHT扩散 LLM 并行生成的“激进草拟+验证回滚”机制类似自回归里的投机解码,但它能在解码内部撤销错误 token 而非整体重来,这让步数大幅压缩的同时还能涨点。训练无关版(WINO)可直接套到现有扩散模型上,是低成本试水扩散推理加速的选择。对搜索/推荐里探索扩散 LLM 的团队,6x 步数压缩说明该范式延迟仍有较大优化空间;但收益依赖模型本身的并行可撤销性,验证开销也需实测。

Fanqin Zeng, Feng Hong, Geng Yu, Huangjie Zheng, Xiaofeng Cao, Ya Zhang, Bo Han, Yanfeng Wang, Jiang...
arXiv·2026-05-16·Relevance 3 · Novelty 4 · Practical 3 · Evidence 3 · Timely 3
06 3.20

BitCal-TTS: Bit-Calibrated Test-Time Scaling for Quantized Reasoning Models

4-bit 量化会扭曲推理模型的置信度信号,导致 test-time scaling(按需多生成)时过早停止思考、答错。BitCal-TTS 不做微调,用在线的 token 级不确定性代理和推理轨迹稳定性代理,配合置信度重标定(confidence rescaling)和结构化输出处理来校准;可直接接入标准 4-bit 推理。在 512 token 上限下:7B 模型准确率 +3.7 个百分点、过早停止率从 14.8% 降到 11.1%;14B +2.8 个百分点、17.1% 降到 11.4%。

INSIGHT量化省显存的代价之一是置信度失真,进而拖累依赖置信度判停的 test-time scaling,这一“量化×推理预算”的交互点常被忽视。BitCal-TTS 用免微调的在线校准修复判停,部署友好。对要在低比特上跑推理模型的成本敏感场景有参考价值;但证据偏弱——仅在 GSM8K 的小评测分片(7B N=54、14B N=35)上验证,作者自陈统计功效有限,落地前需在自有数据上复测。

Sai Babu Patarlapalli, Surya Teja Avvaru
arXiv·2026-05-07·Relevance 3 · Novelty 3 · Practical 4 · Evidence 2 · Timely 3

其他赛道今日

点击切换
Generative
1
生成式推荐 · 篇入选
Personalization
6
个性化推荐 · 篇入选
AI Search
6
AI 搜索 · 篇入选
Agentic
10
智能体搜索 · 篇入选

开源雷达

GitHub / HuggingFace 热门 · 5 个项目
Qwen/Qwen3-TTStags: gradio, region:usspace · ★ 1927 · 2026-01-21 · HuggingFacezai-org/GLM-OCRpipeline: image-text-to-text; tags: transformers, safetensors, glm_ocr, image-text-to-text, conversational, zh, en, frmodel · ★ 1771 · 2026-01-30 · HuggingFaceTencentARC/InstantMeshtags: gradio, region:usspace · ★ 1570 · 2024-04-08 · HuggingFacemoonshotai/Kimi-K2.6pipeline: image-text-to-text; tags: transformers, safetensors, kimi_k25, feature-extraction, compressed-tensors, image-text-to-text, conversational, custom_codemodel · ★ 1333 · 2026-04-14 · HuggingFacezai-org/CogVideoX-5B-Spacetags: gradio, cogvideox, video-generation, thudm, region:usspace · ★ 1036 · 2024-08-23 · HuggingFace