今日场景今天具身智能赛道的主线是让机器人在真实部署里动得更快、更稳。W2A 只在训练时用视频模型教动作模型,部署时把视频模型拿掉;PTS 不改模型,只让机器人在等待推理时不停下、沿规划好的路径走得更快。JADE 让视觉语言模型在每一步去噪时都参与生成动作,ODE Policy 把动作的连续性直接写进策略。跨机器人复用是另一条线,PointPilot 预测物体怎么动来替代预测关节动作,Pixel 把低成本硬件、人穿戴采集和策略学习放在一起设计。ReGATE 让人形机器人在相机被挡住时仍能抓起箱子。还有一份公开的真机失败数据集,适合拿来训练奖励模型。 — 评分 225 篇,入选 10 篇,分数 2.95 – 4.49

本期目录 · 10 篇
  1. 01ReGATE: Recurrent Gated Visual Fusion for Reactive Humanoid-Object Interaction
  2. 02Pixel: A Co-Designed Full-Stack Robot System for Learning General-Purpose Mobile Manipulation
  3. 03Vision-Language Models Are Joint Denoisers in Robotic Action Generation
  4. 04W2A: Distilling World Priors into Action Models for Real-Time Robotic Control
  5. 05Rollout then Recycle: 3,718 Labelled Real-Robot Episodes from Benchmarking 7 Policies on 12 Tasks
  6. 06ODE Policy: Robot Learning via Action Dynamics, Not Actions
  7. 07Same Path, Less Time: Training-Free Fast Execution of Vision-Language-Action Models under Inference Latency
  8. 08PointPilot: Unified Robotic Manipulation via Object-Centric 3D Point Flow Prediction
  9. 09Simulate, train, and operate robots with Google Cloud physical AI
  10. 10智元“AI WAVE”将开启新品七连发,全栈技术体系支撑机器人上岗
LEAD STORY · 今日必读

ReGATE: Recurrent Gated Visual Fusion for Reactive Humanoid-Object Interaction

人形机器人去抱箱子,手一靠近,箱子就会挡住头上的深度相机,可控制器还得把抓起、搬走、放下这一整套做完。这篇论文让机器人主要靠关节状态那条通路行动,深度画面只当作一路由学出来的门控缩放的修正,设计上希望画面不可靠时少放进来;前几帧攒下的信息存在循环层的记忆里,画面断了也不会马上丢。仿真里抓取静止箱子的成功率是 85.2%,同样测法下对比方法 VisualMimic 只有 48.5%。在 Unitree G1 真机上,相机看过箱子一眼后被完全挡住,机器人仍然抓到了箱子。视线会被挡住时,以关节状态为主、按需采信画面更稳。

相关 5新颖 4实用 4证据 4时效 5
4.40
综合分 / 5
偏好调整 4.49
Hao Zhu, Jorge Peña-Queralta · 2026-11-02 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.30

Pixel: A Co-Designed Full-Stack Robot System for Learning General-Purpose Mobile Manipulation

做移动操作的机器人,硬件、采数据的设备、全身控制和策略学习通常各做各的,拼到一起时常常互相拖后腿。CMU 这篇把四块一起设计:一台造价不到 15,000 美元的轮式人形机器人,上半身比例对齐人体;再配一套人穿戴着就能采示范的低成本设备,采数据时不需要机器人在场。因为身体比例对得上,人的示范能直接教给机器人,只用人穿戴设备采的示范,就能训练出做移动操作的策略。按任务完成程度打分,完整的机器人在三个消融任务上都是满分,关掉躯干后平均只剩 47.4%,说明这些关节确实被策略用上了。想低成本搭整套平台的团队,可以把它当作一个现成的起点。

Tony Tao, Jason Jingzhou Liu, Ruslan Salakhutdinov, Deepak Pathak
arXiv·2026-11-02·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
03 4.30

Vision-Language Models Are Joint Denoisers in Robotic Action Generation

现在常见的一类机器人模型,由视觉语言模型看图、读指令,再由一个动作模块用扩散的方式把噪声一步步去成动作。可视觉语言模型通常只在开头给一个固定条件,后面的去噪它并不参与。这篇论文发现,让它每一步都参与去噪,遇到训练里没见过的情况时动作更准。具体做法是,视觉语言模型在每一步都读一遍当前带噪的动作,再通过一层带门控的注意力把读到的信息交给动作模块;训练时还直接让它从带噪动作还原干净动作。在四个真实双臂任务上,平均成功率比 π0.5 高 20.8 个百分点。两个模型一起去噪后需要的采样步数更少,部分抵消了多跑视觉语言模型的开销。

Xicheng Gong, Wenxuan Song, Chengze Liu, Qiwei Li, Qize Yu, Jiaolong Yang, Haoang Li, Yadong Mu
arXiv·2026-10-31·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
04 4.30

W2A: Distilling World Priors into Action Models for Real-Time Robotic Control

让机器人先预测未来几帧画面再决定动作,策略会更懂物理,但每一步控制都要跑一遍视频模型,慢到没法实时控制。这篇论文只在训练时用视频模型:先用 PCA 把视频扩散模型的中间表示压到很少几维,再给动作模型加一项训练损失,让它自己的中间表示去对齐这份压缩表示;部署时视频模型整个拿掉。作者的假设是,视频表示虽然维度很高,对动作真正有用的信息放进一个小得多的子空间就够了。在 LIBERO 上平均成功率 95.9%,推理速度比代表性的先预测画面再出动作的模型快约 21 倍。视频预训练的知识可以在训练时教给动作模型,推理时不必再付这笔钱。

Xiaopeng Zhang, Yongjin Mu, Yueyang Weng, Chengzhi Zhao, Yanjie Li
arXiv·2026-11-02·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
05 4.15

Rollout then Recycle: 3,718 Labelled Real-Robot Episodes from Benchmarking 7 Policies on 12 Tasks

机器人评测每次都会产生大量失败录像,可公开的大数据集几乎全是成功的示范。这篇把 ArmnetBench 评测里的全部 3,718 段录像公开了,除了遥操作示范,主要是 7 种模仿学习和 VLA 策略在 12 个桌面任务上的执行记录。其中 73% 的执行是失败的。同一个任务的所有策略都用同一批示范训练,在同一套低成本机械臂上运行,每段执行由操作员标成成功、完成但收尾质量差、失败三类。所以同一个任务上能看到很多种策略各自怎么失败。想训练奖励模型或做失败检测的团队,终于有了一批成规模、带标签的真机失败数据。

Praveen Selvaraj, Lorenzo Uttini, Ville Kuosmanen
arXiv·2026-11-02·Relevance 5 · Novelty 3 · Practical 4 · Evidence 4 · Timely 5
06 4.00

ODE Policy: Robot Learning via Action Dynamics, Not Actions

大多数机器人策略在每个控制步直接输出一个动作值,前后动作是否连贯全靠模型自己学。这篇论文改为学习动作怎么变化:用神经常微分方程学出动作随时间变化的方向,部署时每个动作都从上一个动作积分得到,执行出来的轨迹天然连续。同一场景常有几种合理做法,比如从障碍物左边或右边绕过,只学平均方向会直接撞上去。所以每段动作开始时,一个小模块从学出来的几个候选方向里抽一个偏移,每个候选对应一种绕法;这段动作的每一步都在变化方向上加上这个偏移,整段就只走一条路。在模仿学习里只训练一轮时,它的成功率是常用的流匹配策略的 5.9 倍,生成动作快 10.8 倍;在 14 个真实任务上它的成功率最高。

Jindou Jia, Jingliang Li, Kuangji Zuo, Tuo An, Yuxuan Hu, Mengfei Zhao, Bofan Lyu, Jiaqi Bai 等 12 人
arXiv·2026-11-01·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
07 4.00

Same Path, Less Time: Training-Free Fast Execution of Vision-Language-Action Models under Inference Latency

部署中的机器人有两种浪费时间的方式:每次等模型算下一段动作时停下来,以及照着示范里人那种小心的慢速度执行。这篇论文不改模型、不重新训练,只改执行方式。机器人沿策略规划好的路径走,但走得更快,路径只在新观测到来时才更新。夹爪动作时保持原速,加速的上限由电机能力和推理延迟决定。在 LIBERO 上人为加入推理延迟后,任务吞吐量对 π0.5 比最强的可部署对照高 33%,对 SmolVLA 高 104%,成功率持平或更高。停顿和慢动作的损失,不碰模型也能拿回来。

Fuyi Chen
arXiv·2026-11-01·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
08 4.00

PointPilot: Unified Robotic Manipulation via Object-Centric 3D Point Flow Prediction

不同机器人的动作格式各不相同,混在一起的示范很难当成一种监督。这篇论文换了一个预测对象。它不预测关节动作,而是预测任务相关物体在三维空间里的点怎么移动,机器人的夹爪也当成一个物体。执行时不用训练任何模块:抓住前,夹爪跟着自己那些点的预测移动;抓住后,把物体和夹爪当成一个刚体,由物体上各点的当前和预测位置拟合出一次旋转加平移,套到夹爪位姿上,再交给各台机器人的控制器。因为监督信号和机器人型号无关,不同机器人的示范可以放在一起训练。在 RoboTwin 仿真里,只用 ALOHA 数据训练的策略不经微调,就部署到了没见过的 ARX 和 Piper 机械臂上。预测物体怎么动,比预测关节怎么动更容易跨机器人复用。

Yihan Fang, Yuxin Tian, Ruixiang Wang, Zhanqi Zhang, Xing Hu, Zhen Yang, Huayi Zhou, Yongyi Su 等 10 人
arXiv·2026-11-02·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
09 3.20

Simulate, train, and operate robots with Google Cloud physical AI

Google

机器人团队开发一个策略,通常要在仿真、模型训练和真机部署之间来回切换工具,数据和模型在几套系统之间搬来搬去。Google Cloud 这篇博客介绍它面向机器人开发者的物理 AI 方案,把仿真、模型训练和真实部署放到同一个云平台上。它不是新算法,价值在于把各个环节接起来:整条流程在一个平台上跑,从仿真训练到上真机的周转会更短。值不值得迁移,要看团队现有的工具链和云上算力的成本。

Alan Christophe, Robert Riemer
技术博客·2026-10-20·Relevance 4 · Novelty 2 · Practical 4 · Evidence 2 · Timely 3
10 2.95

智元“AI WAVE”将开启新品七连发,全栈技术体系支撑机器人上岗

AgiBot

智元在十月下旬连续七天发布七项成果,覆盖数据集、作业平台、重载机器人、Agent 框架、仿真平台、基座大模型和群体经验学习。最后让 6 台 G2 机器人进一家真实便利店,连续 24 小时直播上货、补货、做热食。它的主张是机器人落地靠整条技术栈配合,单个模型再强也跑不通。其中仿真平台称复杂任务上真机和仿真的一致性超过 95%。这是厂商发布,没有给出评测方法;但把机器人放进真实门店连续值班,比单次演示更能暴露长时间运行的问题。

网页来源·2026-10-22·Relevance 4 · Novelty 2 · Practical 3 · Evidence 2 · Timely 3

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 1 个项目