2026-07-31 周五 · Infra

独立报告页 · 在站内浏览(含往期切换)→
Generative生成式推荐 · 10 篇Personalization个性化推荐 · 10 篇AI SearchAI 搜索 · 10 篇Agentic智能体搜索 · 10 篇Infra系统与索引 · 10 篇

今日场景社区搜索(UGC 短文本搜索):用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性(nDCG)和点击率(CTR),关注语义匹配、query 理解、短文本召回、排序模型及 LLM 在搜索中的应用。 — 评分 59 篇,入选 10 篇,分数 3.50 – 4.30

本期目录 · 10 篇
  1. 01Kalypso: Relational LLM Serving
  2. 02NVIDIA Exemplar Cloud: Lessons for Unlocking Full Performance on AI Infrastructure
  3. 03Advancing the price-performance frontier with GPT-5.6
  4. 04TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM
  5. 05Beyond Prefill-Decode Disaggregation: Dissecting LLM Inference for Heterogeneous Platforms via Dynamic Operator Scheduling
  6. 06How controllers from industrial machinery can coordinate multitask machine learning
  7. 07MODUS: Decoder-Only Any-to-Any Modeling of Diverse Modalities
  8. 08混合检索-文档检索
  9. 09MDTransformer: A Hardware-Software Co-Design of Mode-Division Photonic Transformer Accelerator with Inverse-Designed Coherent Crossbar
  10. 10Developing Healthcare Robotics with GPU-Native Medical Physics Simulation
LEAD STORY · 今日必读

Kalypso: Relational LLM Serving

针对语义过滤、抽取、排序与连接仍由请求级服务逐次执行、无法理解查询计划的问题,Kalypso 提出关系式 LLM Serving,把算子流水线与 KV Cache 复用纳入统一调度。其自适应内存调度器在多类工作负载上将查询完成时间最多缩短至基线的 1/4.57,同时保持查询语义与输出精度不变。

相关 5新颖 4实用 4证据 4时效 4
4.30
综合分 / 5
偏好调整 4.40
KEY INSIGHT · 对业务意味着什么核心创新是让服务层看到算子依赖,而不是只看到独立请求;中间元组直接进入下游算子时可沿用 KV 状态,减少重复 prefill。对 UGC 搜索中的抽取—过滤—重排链路,可先在批处理或离线特征生成场景验证查询计划 API、显存水位控制与 Cache 驻留收益。
Hojae Son, Md Ashraful Islam, Huy Gia Cao, Hui Guan, Marco Serafini · 2026-07-26 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.20

NVIDIA Exemplar Cloud: Lessons for Unlocking Full Performance on AI Infrastructure

NVIDIA

文章用四个真实集群案例解释相同 H100、GB200 或 GB300 硬件为何仍会出现 8%–12% 训练吞吐差距,逐层定位 SMMU、NUMA、NCCL 与容器拓扑配置。GB300 案例把 QPS 从 1 调至 4 后,迭代时间由约 1.09 秒降至 0.83 秒;另一个 H100 案例把 12% 性能差距收敛到 3%。

INSIGHT训练集群性能损失往往由多个 2%–4% 的配置偏差叠加,必须在真实容器、启动器与 Slurm 分配内采集 perf、Nsight Systems 和 NCCL Tests,而非只做宿主机微基准。建议把 SMMU 虚拟化能力、C-state、NUMA 绑定、NCCL QPS 和拓扑文件可见性固化为上线前检查项。

NVIDIA Technical Blog
技术博客·2026-07-30·Relevance 4 · Novelty 3 · Practical 5 · Evidence 5 · Timely 5
03 4.10

Advancing the price-performance frontier with GPT-5.6

OpenAI

OpenAI 从模型、推理系统和 Agent Harness 三层优化 GPT‑5.6 的单位任务成本:生产内核改写使端到端服务成本下降 20%,实验又让 Token 生成效率提升超过 15%。Luna 价格下降 80%,Terra 下降 20%;Sol 的 Fast 模式在能力不变时速度最高达标准模式的 2.5 倍。

INSIGHT可借鉴点不是单一模型升级,而是按任务结果把高智能模型与低成本模型分层路由,并用缓存复用、上下文治理和内核优化共同压低成本。搜索系统可把查询理解、离线标注、结果解释分别建立质量—时延—价格评测,避免所有环节默认使用同一档模型。

OpenAI
技术博客·2026-07-30·Relevance 4 · Novelty 3 · Practical 5 · Evidence 4 · Timely 5
04 4.05

TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM

HUST

TurboVLA 将传统 V→L→A 的 LLM 中心路径改为 V+L→A:视觉与语言独立编码,经轻量双向交互后由紧凑解码器直接生成连续动作块。仅用 0.2B 参数,它在 LIBERO 上取得 97.7% 平均成功率,并在 RTX 4090 上达到 31.2 毫秒延迟、0.9 GB 推理显存。

INSIGHT该结果表明,部署优化可从删除不必要的通用大模型中间层入手,而不只是量化现有架构;任务条件表征可在更小的专用交互模块中形成。对搜索在线链路,可类比审视 query 编码、交叉交互和打分器之间是否存在重复的大模型计算,并优先蒸馏为紧凑专用路径。

Hengyi Xie, Chenfei Yao, Xianjin Wu, Xuanyang Xi, Yiping Tang
HuggingFace·2026-07-28·Relevance 3 · Novelty 4 · Practical 5 · Evidence 4 · Timely 5
05 3.85

Beyond Prefill-Decode Disaggregation: Dissecting LLM Inference for Heterogeneous Platforms via Dynamic Operator Scheduling

DOPS 指出 Prefill—Decode 解耦不足以覆盖异构设备上的负载形状、运行时争用与常驻权重布局成本,因此构建阶段感知 DAG,并联合 Bifocal 动态算子调度器和权重布局仲裁器。NPU—PIM 平台上,Bifocal 相对 PD 基线获得 1.20–2.23 倍几何平均加速,布局优化再带来 1.28–1.33 倍增益。

INSIGHT其关键是把调度粒度下沉到算子,并让放置决策与块级权重布局闭环协同,而不是固定按 prefill/decode 切分。当前收益依赖 NPU—PIM 异构硬件,落地前应先用生产请求长度分布、争用和显存约束重放验证;开源 TriForm 可用于建立硬件敏感性基线。

Jiaqi Yang, Jiayi Li, Yihan Fu, Hongxiao Zhao, Zhan Chen, Qiuping Wu, Yuchao Yang, Bonan Yan
arXiv·2026-07-28·Relevance 4 · Novelty 4 · Practical 3 · Evidence 4 · Timely 5
06 3.85

How controllers from industrial machinery can coordinate multitask machine learning

AmazonCMU

ControlG 将多目标图自监督学习从“每步混合梯度”重构为时间预算分配:先估计各目标难度与两两对抗性,再用 Pareto 感知的对数超体积规划预算,最后由 PID 控制器动态调度目标。它在 9 个数据集上持续优于现有基线,并输出可审计的目标训练时间表。

INSIGHT方法直接处理多任务训练常见的冲突、效用漂移与目标饥饿问题,价值在于调度何时优化哪个目标,而不只是反复调 loss 权重。对于同时优化相关性、点击率与内容质量的搜索模型,可将各目标的在线欠拟合程度作为反馈信号,先在离线多任务训练中验证 PID 预算控制的稳定性。

Karish Grover, Theodore Vasiloudis, Han Xie, Sixing Lu, Xiang Song, Christos Faloutsos
技术博客·2026-07-30·Relevance 4 · Novelty 4 · Practical 3 · Evidence 4 · Timely 5
07 3.70

MODUS: Decoder-Only Any-to-Any Modeling of Diverse Modalities

EPFL

MODUS 用单个 Decoder-only 网络对所有模态进行对称建模,任意模态既可作输入也可作输出,无需模态专用 Head、损失或任务流水线,从而复用强预训练解码器。模型支持通过中间模态进行链式生成与跨模态自验证,并以一个模型在多项基准上达到可与专用及多任务基线竞争的表现;代码与材料已开源。

INSIGHT统一 Token 生成接口能减少多模态系统中为每种输入输出组合维护独立模型的工程复杂度,自验证还提供了推理时质量控制机制。面向社区图文搜索,可探索用同一骨干完成文本、图像和结构信号的互相预测,但报告未给出线上时延与具体增益,需先做吞吐和模态退化测试。

Mingqiao Ye, Zhaochong An, Zhitong Gao, Xian Liu, François Fleuret, Chuan Li, Amir Zadeh, Serge Belo...
arXiv·2026-07-28·Relevance 3 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
08 3.65

混合检索-文档检索

Tencent

腾讯云在对象存储的向量存储与检索接口中提供文档混合检索能力,文档覆盖授权、请求体、返回结构、费用与实际调用案例,可把非结构化内容的持久化、索引和检索统一到托管服务。页面于 7 月 28 日更新,给出了完整 API 路径,但未披露召回率、P95 延迟或规模化压测数字。

INSIGHT对 UGC 搜索团队,价值在于用对象存储原位向量化与混合检索降低数据搬运和多套索引运维成本,并快速验证文档/RAG 场景。它属于产品接口说明而非研究论文,采购或接入前仍需补做稠密—稀疏融合策略、亿级数据延迟、更新一致性、召回质量与成本基准。

腾讯云
网页来源·2026-07-28·Relevance 4 · Novelty 2 · Practical 5 · Evidence 2 · Timely 5
09 3.55

MDTransformer: A Hardware-Software Co-Design of Mode-Division Photonic Transformer Accelerator with Inverse-Designed Coherent Crossbar

NYU Abu Dhabi

MDTransformer 以空间模干涉构建光子张量核,让 TE0–TE3 四个导模成为独立计算通道,并结合相干检测和 IQ 调制完成复数矩阵运算。它实现低于 4-bit 的有效精度与低于 −30 dB 的模间串扰;在 DeiT 与 BERT 工作负载上较现有光子加速器减少 40.4% 面积、63.6% 功耗和 40.6% 能耗。

INSIGHT单波长、模分复用可绕开多波长光源与大规模有源移相器的成本,是软硬件协同设计 Transformer 推理的新路径。现阶段受制于模拟精度、专用光子器件和制造链,短期不适合直接替换 GPU;更现实的动作是持续跟踪低比特搜索模型对精度误差的容忍度与端到端数据搬运开销。

Solomon Micheal Serunjogi, Rachmad Vidya Wicaksana Putra, Ayat Taha, Muhammad Shafique, Mahmoud Rasr...
arXiv·2026-07-28·Relevance 3 · Novelty 5 · Practical 2 · Evidence 4 · Timely 5
10 3.50

Developing Healthcare Robotics with GPU-Native Medical Physics Simulation

NVIDIA

NVIDIA 在 Isaac for Healthcare 中开源 GPU 原生医疗物理仿真框架,把 Warp/Newton 的 XPBD 求解、医学成像与强化学习保持在同一 GPU 上。导管案例用 512 个并行环境训练 1500 轮,单环境物理约 1300 Hz,512 环境物理 60 Hz,256×256 完整仿真渲染 63 FPS;Cosmos-H-Dreams 生成超过 30 FPS。

INSIGHT框架同时保留确定性物理解算与生成式世界模型:前者提供可验证约束,后者扩大长尾场景和视觉多样性,二者共享 GPU 数据路径以避免 CPU—GPU 往返。虽然领域远离搜索,但其“精确模拟器+生成式环境+零拷贝训练”组合可迁移到稀有查询、策略学习和线上故障回放平台设计。

Mostafa Toloui, Cristiana Dinea, Przemysław Korzeniowski, Javier Gamazo Tejero, Lukas Zbinden, Max A...
技术博客·2026-07-28·Relevance 2 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5

其他赛道今日

点击切换
Generative
10
生成式推荐 · 篇入选
Personalization
10
个性化推荐 · 篇入选
AI Search
10
AI 搜索 · 篇入选
Agentic
10
智能体搜索 · 篇入选

开源雷达

GitHub / HuggingFace 热门 · 5 个项目
moonshotai/Kimi-K3Kimi-K3 是 Moonshot AI 发布的多模态对话模型仓库,支持 image-text-to-text,并提供 compressed-tensors 与 8-bit 部署标签。仓库获 8960 次点赞、累计约 38.8 万次下载,是本期最强的开源模型热度信号。model · ★ 8960 · 2026-06-13 · HuggingFaceinternlm/Intern-S2-Preview-397BIntern-S2-Preview-397B 是 InternLM 的 397B 多模态模型预览版,支持 image-text-to-text 与自定义推理代码,采用 Apache-2.0 许可证。其体量和近期更新使其适合用于评估超大模型加载、并行推理与显存规划。model · ★ 64 · 2026-07-16 · HuggingFacemoonshotai/PerceptionBenchPerceptionBench 面向多模态大模型的原子视觉感知评测,数据规模为 1K–10K,支持 datasets、Pandas 与 Polars。它可作为多模态模型发布前的轻量回归基准,已获得 30 次点赞和约 2200 次下载。dataset · ★ 30 · 2026-07-23 · HuggingFacebytedance-research/GRNGRN 是 ByteDance Research 发布、关联 arXiv:2604.13030 的 MIT 许可证模型仓库。本期热度为 26 次点赞,可作为跟踪国内互联网团队新模型和可复现实验的补充入口。model · ★ 26 · 2026-04-16 · HuggingFaceAlibaba-DAMO-Academy/ClinFusion-8BClinFusion-8B 是阿里达摩院基于 Qwen3-VL 的 8B 医疗多模态模型,关联 arXiv:2607.24743,并采用 Apache-2.0 许可证。规模适中且权重可用,便于验证 VLM 推理栈、量化和领域部署流程。model · ★ 3 · 2026-03-05 · HuggingFace