2026-07-23 周四 · Infra

独立报告页 · 在站内浏览(含往期切换)→
Generative生成式推荐 · 3 篇Personalization个性化推荐 · 10 篇AI SearchAI 搜索 · 10 篇Agentic智能体搜索 · 10 篇Infra系统与索引 · 10 篇

今日场景社区搜索(UGC 短文本搜索):用户在社区平台搜索帖子、问答、评论等 UGC 内容,核心指标是搜索相关性(nDCG)和点击率(CTR),关注语义匹配、query 理解、短文本召回、排序模型及 LLM 在搜索中的应用。 — 评分 53 篇,入选 10 篇,分数 3.10 – 4.25

本期目录 · 10 篇
  1. 01A Classifier That Teaches Itself: Self-Improving, Frozen-gate Training (SIFT) for Dynamic Document Classification
  2. 02Where Should Optimizer State Live? Tiered State Allocation for Memory-Efficient Mixture-of-Experts Training
  3. 03HPD-Parsing: Hierarchical Parallel Document Parsing
  4. 04LMEdge: QoS-Aware LLM Inference Orchestration on Edge Clusters
  5. 05Convolution for Large Language Models
  6. 06Di-PS: System-Algorithm Co-Design for Asynchronous and Heterogeneous Cross-cluster LLM Training at Scale
  7. 07ISO: An RLVR-Native Optimization Stack
  8. 08Generative World Renderer at the Speed of Play
  9. 09CECAIServe: Facilitating ML inference serving across the cloud-edge-continuum
  10. 102026 大语言模型推理应用开发框架盘点推荐:国产昇腾 MindIE LLM 成国产化落地核心选择
LEAD STORY · 今日必读

A Classifier That Teaches Itself: Self-Improving, Frozen-gate Training (SIFT) for Dynamic Document Classification

SIFT 面向企业文档分类中标注成本高、模型不敢自更新的问题,以 CPU 上的 SPLADE 稀疏编码器和 LightGBM 作为低成本主路径,仅把低置信样本升级给 LLM 裁决。LLM 标签持续回写训练集,使升级率随生产流量下降,并通过冻结门控约束自训练风险。

相关 4新颖 4实用 5证据 3时效 5
4.25
综合分 / 5
偏好调整 4.30
KEY INSIGHT · 对业务意味着什么这套“便宜模型服务、昂贵模型教学”的架构适合搜索内容治理、意图分类和质量标签生产:将 LLM 成本集中到不确定样本,同时用在线回流积累领域数据。落地时应把门控阈值、冻结策略和审计日志视为核心基础设施,避免反馈环放大错误。
Bogdan Raduta, Horia Velicu, Alexandru Preda, Serban Chiricescu · 2026-07-22 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.10

Where Should Optimizer State Live? Tiered State Allocation for Memory-Efficient Mixture-of-Experts Training

SkewAdam 按 MoE 参数角色分层配置优化器状态:骨干保留 FP32 动量和分解二阶矩,专家仅保留分解二阶矩,路由器使用精确二阶矩。6.78B 模型的状态从 AdamW 的 50.6GB 降至 1.29GB,峰值训练显存由 81.4GB 降至 31.3GB;训练 8200 万 token 后验证困惑度为 108.4,优于 AdamW 的 126.8。

INSIGHTMoE 训练的优化器状态不应按参数一刀切:占参数 95% 的专家层最适合压缩状态,而不足 0.01% 的路由器值得保留精确统计。对需要在 40GB 级加速卡上训练领域 MoE 的团队,这种按角色分配精度的方式比统一量化更易控制收敛风险。

Nuemaan Malik
HuggingFace·2026-07-20·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
03 4.10

HPD-Parsing: Hierarchical Parallel Document Parsing

HPD-Parsing 针对统一 VLM 文档解析器逐 token 生成整页内容的串行瓶颈,将任务拆成全局布局主分支与并发块级内容分支。系统再用渐进式多 token 预测减少每个分支的解码步数,在保留全页结构协调的同时并行生成各区域内容,并在公开文档解析基准上验证效率与精度。

INSIGHT搜索索引链路中的 PDF、图文帖和复杂页面解析可以复用“全局规划、局部并行”的解码范式:布局只需一次全局判断,文本块、表格和公式可并发处理。它把文档长度带来的串行时延转化为可调度的块级任务,适合接入批处理和异构推理队列。

Shu Wei, Jingjing Wu, Lingshu Zhang, Qunyi Xie, Hao Zou
HuggingFace·2026-07-20·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 4.00

LMEdge: QoS-Aware LLM Inference Orchestration on Edge Clusters

LMEdge 将模型家族、规模、量化级别和设备放置联合建模为带准确率、网络与资源约束的 BILP,并用五个轻量预测器加启发式算法完成在线近似。作者收集超过 5.9 万条测量数据,在含 57 个实例的 Kubernetes 边缘集群上测试,较两种基线降低时延并提高资源利用率和服务成功率。

INSIGHT端侧 LLM 调度不能只按显存或最短队列选节点,应把查询难度、模型精度损失、量化配置和网络代价放进同一决策层。对社区搜索的边缘审核、摘要或轻量问答,可先离线训练性能预测器,再以约束启发式替代在线整数规划,兼顾 SLO 与调度开销。

Reza Farahani, Zoha Azimi, Mario Colosi, Schahram Dustdar
arXiv·2026-07-19·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
05 3.80

Convolution for Large Language Models

论文系统比较 Qwen3 Transformer 块内 17 个卷积插入位置,发现对投影后的 Q、K、V 在注意力前施加残差深度卷积效果最佳;微观消融选择核大小 3,且不额外使用归一化或激活。该设计参数增量不足 0.01%,在多个预训练预算下提升七项下游基准平均准确率。

INSIGHT局部卷积可以作为注意力的低成本语言先验,关键不在增加复杂模块,而在 QKV 投影后的正确位置注入局部混合。对自研小模型或搜索领域继续预训练,可把这一改动作为几乎不增加部署体积的结构实验,并重点验证短文本、重复词和局部短语匹配收益。

Yuchuan Tian, Yingte Shu, Wei He, Shuo Zhang, Tianchen Zhao, Chao Xu, Xinghao Chen, Yunhe Wang, Hant...
arXiv·2026-07-22·Relevance 3 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
06 3.60

Di-PS: System-Algorithm Co-Design for Asynchronous and Heterogeneous Cross-cluster LLM Training at Scale

Shanghai AI LabNUDTNTU

Di-PS 以参数服务器为核心,联合设计跨集群参数通信、异步两阶段优化的伪梯度惩罚与故障恢复机制,支持异构和动态资源下训练。系统相对同步跨集群方案最高提效 4.67 倍;生产部署覆盖 9 个集群、逾 1 万张 NPU,训练 100B 模型相对单集群仅增加 6% 开销。

INSIGHT跨地域训练的主要矛盾不是单一通信优化,而是网络波动、异构算力与异步收敛的耦合;Di-PS 用系统与优化算法协同处理这一问题。拥有碎片化算力池的团队可借鉴其参数服务器和惩罚项设计,但需要先评估模型质量容忍度、故障频率及跨域带宽成本。

Shengwei Li, Qiaoling Chen, Zhiquan Lai, Penglong Jiao, Wenwen Qu, Kun Cai, Jiaxing Li, Peng Sun, Xi...
网页来源·2026-05-01·Relevance 3 · Novelty 5 · Practical 3 · Evidence 5 · Timely 2
07 3.50

ISO: An RLVR-Native Optimization Stack

ISO 从权重奇异结构研究 RLVR 更新,提出“谱继承”:固定基础模型奇异值,仅通过输入、输出奇异向量框架变化学习新行为。离线 ISO-Merger 可在无数据、无 rollout、无梯度更新和无在线蒸馏条件下合并同底座专家,在线版本则把固定谱约束直接纳入强化学习优化。

INSIGHT固定权重谱把能力更新限制在更结构化的低自由度空间,为多专家合并和 RL 后训练提供了新的稳定性抓手。若搜索团队维护多个同底座的领域专家,可先用离线合并验证能力互补与遗忘,再决定是否投入昂贵的在线 RLVR;其价值主要在训练栈,而非直接 serving 优化。

Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song
HuggingFace·2026-07-21·Relevance 2 · Novelty 5 · Practical 3 · Evidence 4 · Timely 5
08 3.50

Generative World Renderer at the Speed of Play

AlayaRenderer-Flash 将高成本世界渲染器改写为少步自回归流式模型,并用轻量蒸馏编解码器压缩潜变量编码与帧重建开销,同时保留教师模型的 G-buffer 和文本提示接口。系统把生成速度从 0.56 FPS 提升到 31.54 FPS,实现可交互连续渲染。

INSIGHT从 0.56 到 31.54 FPS 的跃迁说明,实时生成系统往往需要同时重构采样步数、状态接口和编解码器,而非只做算子级加速。对多模态搜索预览或动态内容生成,值得借鉴其“保持上游结构状态、蒸馏下游渲染路径”的分层优化方法。

Guixu Lin, Zheng-Hui Huang, Siqi Yang, Ming-Hsuan Yang, Kaipeng Zhang
HuggingFace·2026-07-21·Relevance 2 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
09 3.35

CECAIServe: Facilitating ML inference serving across the cloud-edge-continuum

CECAIServe 构建跨云、边、端连续体的模块化机器学习推理服务框架,将资源编排与具体推理引擎解耦,并扩展支持常见 LLM 引擎。论文把系统定位为推理调度与 LLMOps 的开放实验平台,便于在不同资源层级、模型运行时和调度策略间进行组合评测。

INSIGHT混合云边部署的长期可维护性来自控制面与执行引擎解耦:统一描述模型、设备和 SLO,再通过适配层接入不同运行时。社区搜索若同时存在中心 GPU、区域节点和端侧设备,可用类似平台先做可复现实验,避免把调度逻辑绑定到单一 serving 引擎。

网页来源·2026-07-14·Relevance 3 · Novelty 3 · Practical 4 · Evidence 3 · Timely 3
10 3.10

2026 大语言模型推理应用开发框架盘点推荐:国产昇腾 MindIE LLM 成国产化落地核心选择

这篇中文工程盘点比较主流 LLM 推理框架的连续批处理、分页 KV Cache、FP8 量化、部署灵活性与硬件绑定,并重点梳理昇腾环境下 MindIE LLM 的国产化路径。文章不提出新算法,但给出了异构算力、模型更新频率和编译部署成本之间的选型视角。

INSIGHT推理框架选型应把峰值吞吐之外的迁移成本、模型适配速度、可观测性和国产硬件支持纳入决策。对搜索线上服务,建议用真实请求长度分布分别压测 TTFT、TPOT、P95/P99 与故障恢复,再决定采用通用框架、硬件专用引擎或双栈部署。

IT之家
网页来源·2026-07-22·Relevance 3 · Novelty 2 · Practical 4 · Evidence 2 · Timely 5

其他赛道今日

点击切换
Generative
3
生成式推荐 · 篇入选
Personalization
10
个性化推荐 · 篇入选
AI Search
10
AI 搜索 · 篇入选
Agentic
10
智能体搜索 · 篇入选

开源雷达

GitHub / HuggingFace 热门 · 5 个项目
zai-org/GLM-4.1V-9B-Thinkingpipeline: image-text-to-text; tags: transformers, safetensors, glm4v, image-text-to-text, reasoning, conversational, en, zhmodel · ★ 779 · 2025-06-28 · HuggingFaceinternlm/Intern-S2-Preview-397Bpipeline: image-text-to-text; tags: transformers, safetensors, intern_s2_preview, image-text-to-text, conversational, custom_code, license:apache-2.0, region:usmodel · ★ 58 · 2026-07-16 · HuggingFaceQwen/Qwen3-ASR-1.7B-hfpipeline: automatic-speech-recognition; tags: transformers, safetensors, qwen3_asr, automatic-speech-recognition, zh, en, yue, armodel · ★ 37 · 2026-06-26 · HuggingFaceQwen/Qwen3-ASR-0.6B-hfpipeline: automatic-speech-recognition; tags: transformers, safetensors, qwen3_asr, automatic-speech-recognition, zh, en, yue, armodel · ★ 32 · 2026-06-26 · HuggingFaceinternlm/Intern-S2-Preview-397B-FP8pipeline: image-text-to-text; tags: transformers, safetensors, intern_s2_preview, image-text-to-text, conversational, custom_code, base_model:internlm/Intern-S2-Preview-397B, base_model:quantized:internlm/Intern-S2-Preview-397Bmodel · ★ 9 · 2026-07-16 · HuggingFace