AIRoA-0: Long-Horizon, Precise, Cross-Embodiment Manipulation from Handheld Data

Yueh-Hua Wu, Kei Ota, Hanlong Li, Hayata Yuasa, Jason Wang, Kengo Ikeuchi, Kensuke Chiyoma, Makoto Sugiura 等 20 人 · arXiv 2611.03815 · 发表 2026-11-02
13 分钟阅读时长 5164字 4.65综合分 第 1 名11-05 Embodied AI 日报
目录 · 9 节1它到底在解决什么问题?2整体流程:四个部分各管一件事3动作怎么表示:只看夹爪自己4怎么在看不到全局的情况下做长任务?5推理时怎么让动作又稳又快?6结果说明了什么7我认为它的局限8一个机器人团队可以怎么试9结论
相关 5新颖 4实用 5证据 4时效 5

做具身数据和机器人策略的团队值得细读:它回答的是一个更基础的问题,不采机器人数据,只靠人录的演示,能不能训出好用的双手操作模型。机器人模仿学习一般要先在机器人上遥操作采数据,AIRoA-0 一条机器人数据都没采。它只用人拿着手持夹爪录下的 16,151 小时双手演示训练,机器人只在测试时才出场。在一个训练数据从没录过的场地,它只靠两只手腕上的相机,完成分拣零件、给扫地机器人换拖布和刷子、叠毛巾等十项任务,平均成功率 78%。同样用这些任务的演示做后训练,另外四个视觉语言动作模型(VLA)里最好的只有 27%。采数据不必绑在某一台机器人上,装同款夹爪的机器人都能直接用。

它到底在解决什么问题?

遥操作数据的规模跟着机器人数量走:有几台机器人、几个操作员,就只能采这么多。手持夹爪把这件事反过来,论文用的是 YUBI(作者团队开源的手持夹爪):人两只手各拿一个夹爪,像平时一样干活,夹爪上有手腕相机,还会记录夹爪在空间里的位置和张开程度。之后同一款夹爪装到机械臂上当末端,机器人看到的画面、做出的动作,和人录数据时是同一套东西。

问题在于这种数据很难学。三个难点在数据里和部署时分别是什么样子(示意):

难点在数据里是什么样子部署时会怎样
只有人在做没有一条数据是机器人失手后再补救机器人碰到意外,数据里找不到参照
只有手腕相机两个局部视角,看不到整张桌子同一个画面可能对应任务里好几步
很多人在很多地方录一百多种任务、背景五花八门测试场地一定是没见过的

论文的思路是:每个难点在系统的哪一层出现,就在那一层解决。

整体流程:四个部分各管一件事

A-0 的模型骨架直接沿用 π0.5:一个 SigLIP 图像编码器、一个 Gemma 2B 的视觉语言主干,加一个用 flow matching 训练的 3 亿参数动作模块,从 π0.5 公开的预训练权重出发。在此基础上分四个部分:

部分做什么解决哪个难点
数据处理过滤、异常检测等清洗进训练前先清洗多人录的数据
预训练视觉预算门控 + 预测当前子任务背景干扰、看不到全局
后训练阶段预测 + 最近动作的记忆长任务里分不清在第几步
推理平滑阶段预测 + 流式解码动作动作要连贯、对变化要反应快

下面这张论文的模型图把这些部件放在一起,然后按数据流拆开讲。

A-0 的模型结构:浅色框是 π0.5 原有的部分,浅蓝框是预训练加的,深蓝框是后训练加的。两路手腕画面先经过视觉预算门控再进主干;阶段分类头读主干的输出,预测当前处在哪个阶段;最近十个夹爪状态经过记忆模块压缩后也送进主干。
A-0 的模型结构:浅色框是 π0.5 原有的部分,浅蓝框是预训练加的,深蓝框是后训练加的。两路手腕画面先经过视觉预算门控再进主干;阶段分类头读主干的输出,预测当前处在哪个阶段;最近十个夹爪状态经过记忆模块压缩后也送进主干。

动作怎么表示:只看夹爪自己

为什么要单独讲动作表示?因为人和机器人唯一共享的东西就是夹爪。人没有机器人底座,也没有关节角。A-0 的状态和动作都只用夹爪来描述:模型的输入除了两路手腕画面和指令,还有一个夹爪状态:一只夹爪相对另一只夹爪的位姿,加上两只夹爪的张开程度,共 11 个数。每个动作是夹爪接下来要到达的位姿,而且是相对于"拍下这一帧时夹爪所在位置"来写的。

举个例子(示意):拍照时左夹爪在某处,模型一次输出一串未来动作,第 1 个动作写成"在当前位置基础上往前 1 厘米",第 5 个写成"往前 4 厘米再转 10 度"。每个动作都是相对同一个起点的目标,而不是在上一个动作上再加一点,所以误差不会沿着这串动作越积越多。也因为没有用到底座或关节,同一个任务后训练出的权重,可以不改动地跑在 Franka、TX-G2 人形机器人、OpenArm 开源双臂和一对 UR(Universal Robots 公司)工业臂上。论文没说明在后面讲的流式解码里,下一次拍照时这串里还没执行的动作怎样转换成以最新位置为起点。

怎么在看不到全局的情况下做长任务?

视觉预算:让模型自己学会看哪里

手腕相机拍到的大部分东西和任务无关,而无关的部分恰恰是每个场地都不一样的部分。A-0 在每个图像 token 进入主干之前加了一个门控:一个小网络对照任务指令给这个 token 打分,输出一个保留概率,token 按这个概率缩放后再送进去。另有一个预算损失,要求一张图里所有 token 的平均保留概率接近一个目标值,后训练时这个目标是 0.9。

预算只限制平均值,至于哪些区域多保留,完全由动作损失来教,没有人工标注该看哪里。论文在 25 个子任务上画出了门控的权重:夹爪和正在操作的物体被保留,桌面、背景和房间其他地方被淡化。可以把预算理解成一笔总量固定的额度,花在画面的哪些地方,由动作做得好不好来决定。

后训练里门控还用了第二次。动作模块算 attention 时,会在它给每个图像 token 的打分上加一个偏置,偏置由这个 token 的保留概率换算而来。保留概率为 1 时偏置是 0,打分不变;保留概率接近 0 时偏置接近 −4,这个 token 经过 softmax 后分到的权重就小得多。部署时这两处都开着。

视觉预算门控在四个子任务上的权重:每格是模型收到的左右手腕画面,等高线圈出保留概率高的区域,画面变淡的地方被门控压低。可以看到权重集中在夹爪和正在操作的物体上,桌面和背景被淡化。
视觉预算门控在四个子任务上的权重:每格是模型收到的左右手腕画面,等高线圈出保留概率高的区域,画面变淡的地方被门控压低。可以看到权重集中在夹爪和正在操作的物体上,桌面和背景被淡化。

两层语言和阶段预测

数据里每段演示都有两层文字:任务指令说整件事(例如"更换扫地机器人的零件"),子任务指令说当前这几秒在做什么("取下第一块旧拖布放进盒子")。全库一共 1065 万段子任务,平均每段 5.5 秒。

预训练时,每个样本配任务指令或子任务指令之一,模型既能听一句话做完整件事,也能一步步听指挥。给的是任务指令时,主干还要额外预测当前子任务的文字。这个预测只在训练时用,不会喂给动作模块。它的作用是逼主干在表示里编码"任务进行到哪了",动作模块读的正是同一份表示。

后训练更进一步。一个长任务被切成几个阶段,每个阶段是几步连续的子任务。每个阶段都有一句写好的说明。例如零件分拣分成三个阶段,第一个阶段的说明是“把手指件、翻板件和齿轮放进 1、2、3 号格”。后训练加了一个阶段分类头。它读主干对当前画面的表示,预测任务处在哪个阶段。预测出哪个阶段,就把这个阶段的说明作为文字交给动作模块。这和预训练时动作模块学着照做的子任务指令是同一种形式。论文模型图里,这条连线标作“stage as text”。论文没说明阶段文字从哪里接进动作模块。它只说每次查询时画面编码一次。训练标签直接来自演示里已有的子任务标注,不用额外标。为什么需要它?因为两个手腕画面常常同时符合任务里的好几步,不显式说清在哪一步,动作模块只能在动作分布里硬猜。

Hoot 说预训练和后训练:动作模块听到的那句话从哪来收起 ✕
后训练让模型自己说出“现在在第几步”。动作模块听到的还是一句话,形式和预训练时一样。

预训练

动作模块听到
数据里写好的任务指令或子任务指令
谁给出这句话
数据标注
主干额外做的事
给任务指令时,预测当前子任务的文字,只在训练时用

目的:逼主干在表示里记住任务进行到哪了。

后训练

动作模块听到
预测出的那个阶段的说明
谁给出这句话
阶段分类头,读主干对当前画面的表示
训练标签
演示里已有的子任务标注,不用额外标

目的:两个手腕画面分不清在哪一步时,明确告诉动作模块。

左边是预训练,右边是后训练。动作模块照做的一直是一句文字说明。区别在于这句话是谁给的。后训练时由阶段分类头自己判断,所以长任务里不用人一步步提示。

出处论文 §5.1 和图 7(stage as text)

后训练还加了一段最近动作的记忆。记忆里放最近 10 个夹爪状态,也就是上面那 11 个数。录数据时它们来自手持夹爪的追踪,部署时是机器人实际测得的值。每个状态都带上距今多久。4 个可学习的查询向量参考指令和当前状态,对这 10 个状态做 attention,把整段历史压成 4 个 token 放进输入。为什么记时间而不是记第几步?因为不同机器人查询策略的频率不同。训练时按 5 到 15 Hz 随机抽取历史,同一个策略就能在这个范围内的任意频率下用。训练时有四分之一的时间故意不给这段记忆,让模型没有它也能工作。

推理时怎么让动作又稳又快?

阶段是每次查询重新预测的,偶尔判错一次,动作模块就会去做另一个步骤。所以推理时对各阶段的预测概率做指数滑动平均,取平均后最可能的阶段。偶然的一次误判几乎拉不动平均值,真正换阶段时又能跟上。

动作解码用的是流式解码,这个做法来自 FlashVLA。标准的 flow matching 每一串动作都要从纯噪声出发,动作模块算 10 遍。流式解码维护一个缓冲区,里面放着几串噪声程度不同的动作,每次查询时,动作模块根据最新画面给缓冲区里的每串动作都去掉一部分噪声。最前面那串去完最后一点噪声后交给机器人的控制器,控制器按自己的节奏跟着这串动作走,后面补进一串新噪声。论文没说明缓冲区里的动作具体怎样换算到最新夹爪位置,只说这件事由运行框架负责。

FlashVLA 里各串动作的噪声等级是均匀排开的,每次去掉多少噪声由槽位数决定。槽位少时,执行前最后一步要去掉的噪声太多,相邻两串动作之间会出现接缝。槽位多时,每串动作都基于很早的画面定型,场景一变反应就慢。

A-0 的改进是让步长不均匀:离执行越近,修正越小。它只用两个槽位,噪声等级是 0.1 和 1。新进来的一串动作先从纯噪声一大步降到 0.1,执行前再根据最新画面从 0.1 修到 0。

每次查询也更便宜。按论文的计算,稳态下每次查询画面只编码一次,动作模块算 2 遍,而标准解码是 10 遍。一次查询在 H200 上约 60 毫秒。

结果说明了什么

主实验在 Franka 双臂平台上做,场地里没有任何一条训练数据。表里是每个任务多次测试的平均成功率(%)。四个对比模型都从各自公开权重出发,用同样的任务演示后训练,而且每个任务都在多组设置里取最好成绩;A-0 十个任务只用一套配方。

任务后训练数据(小时)A-0π0.5XR-1GR00T N1.7MolmoAct2
叠毛巾3.373222108
字母积木3.484130240
橙子金字塔3.4902521328
零件分拣4.0833013712
颜色分拣4.19745392019
扫地机器人换件5.37311413
燃油支架6.39334334711
拉开笔袋8.87336311523
叠杯子金字塔17.98071112336
耳机25.8301318103
十项平均7827231614

A-0 在每个任务上都最高。好几分钟的长任务上差距尤其明显:扫地机器人换件,最好的基线只有 14%,A-0 是 73%。这是整套系统的结果,表里没有把各个部件拆开单独测。

每个任务的后训练数据也不多,十个里有六个只用了 3 到 6 小时。这意味着有了预训练好的模型,加一个新任务只要录几个小时的手持演示。

扫地机器人换件任务中一次自主运行的四个时刻:取下旧拖布、拿新拖布、两块新拖布装好、拔出刷子。图中是一次自主运行里的两分钟,全程只在开始时给过一句指令。
扫地机器人换件任务中一次自主运行的四个时刻:取下旧拖布、拿新拖布、两块新拖布装好、拔出刷子。图中是一次自主运行里的两分钟,全程只在开始时给过一句指令。

训练数据里没有一条机器人遇到干扰时的演示,但 A-0 会按眼前看到的东西行动。颜色分拣时,有人在机械臂把绿色零件送过去的途中把一排盒子推开,夹爪下方变成了红盒子。机械臂没有停下重来,而是一个连贯动作移到绿盒子上方放下。这说明它是按画面里盒子的位置放零件,而不是记住盒子原来在哪;非均匀流式解码则让动作在每次查询拿到新画面时保持连贯。

颜色分拣时人为推开盒子:从左到右依次是搬运中、盒子被推开、机械臂转向绿盒子、放下零件,全程约 5 秒。
颜色分拣时人为推开盒子:从左到右依次是搬运中、盒子被推开、机械臂转向绿盒子、放下零件,全程约 5 秒。

要判断手持数据能不能靠规模取胜,最直接的证据是预训练数据量的实验。作者用全量、一半、四分之一、八分之一、十六分之一的数据各预训练一次,每个都取第 10 万步的检查点,再在同样 16 组任务上后训练。这 16 组任务的演示没有进过任何一次预训练,几个模型的后训练设置完全相同。数据多的模型在后训练后损失始终更低,差距不会被后训练追平。损失和预训练数据小时数大致服从幂律,从约 1000 到 16000 小时,数据每翻一倍,后训练后的损失降低约 2.4%。手持数据越录越多,模型就越好,这是这条路线能不能走下去的关键。

我认为它的局限

第一,比较不完全公平。基线是按各自的最佳设置调过的,这一点对 A-0 不利;但 A-0 的预训练数据就是同一批手持数据,基线的预训练数据来自别处,所以 78% 对 27% 里有多少来自数据本身、多少来自方法,表格分不出来。成功率表也只比较了完整系统,没有去掉单个模块的对照。

第二,扩展规律看的是损失,不是成功率。2.4% 的降幅是在留出演示上的动作损失,扩展实验没有报告对应的真机成功率,损失降低多少能换来多少成功率还不清楚。

第三,跨机器人只有展示,没有数字。TX-G2 上展示了 4 项任务,OpenArm 3 项,UR 2 项,但成功率只在 Franka 上测过。换到这三台机器人后成功率会掉多少,现在不知道。

一个机器人团队可以怎么试

  1. 先在自己的机械臂上装好 YUBI 夹爪和手腕相机当末端,因为 A-0 只能驱动这样的机器人。然后拿公开权重和配方,用手持夹爪在自己场地录一个 3 到 6 小时的任务做后训练,看成功率能否接近论文里的同类任务,这一步只要一台八卡 H200 机器,不到四小时。
  2. 把同一任务再录一份遥操作数据做对照,看手持数据在自己的机械臂上差多少。
  3. 长任务单独试阶段预测:按演示里的子任务切出阶段,对比有无阶段头时卡在哪一步。

结论

维度评价
问题重要性高。数据采集是具身智能最大的瓶颈,这篇证明了不用机器人也能采到可用的数据
方法创新性中。各部件多来自已有工作,贡献在于把它们组成一套能跑长任务的系统
实验证据中高。十项真机任务有成功率,但只在 Franka 上测;另三台机器人只有展示,也缺模块消融
工程成本中。数据和权重开源,后训练一台八卡机器四小时
是否值得尝试值得。已有手持夹爪的团队可以直接拿配方试

最关键的启发是:只要状态和动作都定义在人和机器人共用的那个工具上,人录的数据就能直接变成机器人的训练数据,规模跟着录数据的人走,而不是跟着机器人走。

读完这篇,你觉得

点一下即可,无需登录;再点一次撤回。只统计匿名次数,不记录你是谁。

相关论文RELATED

  1. Embodied · 2026-10-28Zero-HLM: Generalizable Humanoid Loco-Manipulation without Real Robot Data人形机器人要学会走到桌前、拿起香蕉再放进篮子这类长任务,通常要靠人遥操作采上百条真机示范,桌子挪个位置往往就得重采。Zero-HLM 改为全部在仿真里造数据。它用手机拍一圈真实房间,重建成既像照片、又能做物理交互的仿真场景,再把少量遥操作示范自动改写成上千条新示范。每条新示范随机换一个机器人起点和物体、放置目标的位置,手的轨迹跟着目标一起移动,只留下在仿真里跑成功的。只用这些数据训练的策略直接上真机,三个任务平均成功率 66.7%,高于用真机示范训练的 46.7%。换到真机示范没覆盖的位置后,成功率从 23% 提到 69%。
  2. Embodied · 2026-11-16What Makes a VLA Reactive? A Study of Execution Strategies for Dynamic ManipulationVLA 模型一次预测未来一小段动作,可物体在动时,这段动作还没执行完就过时了。作者拿预训练的 π0.5 在两个动态仿真基准和三个真机任务上,系统地比较了预测多长、每次执行多少步、同步还是异步推理等执行方式。结论是预测大约一秒的动作最好;执行步数短时,异步推理帮得更多;让前后两段轨迹衔接连贯的方法,比只降延迟的方法更有效。最出乎意料的是传送带抓取任务。用强化学习微调策略能修好针对性的失败,但同一个模型什么都不训练,只把执行步数改成 5,成功率就达到 71%,和训练后一样好。机器人反应快不快,执行方式和策略本身一样重要,评测时要放在一起看。
  3. Embodied · 2026-11-10On Agentic Manipulation Policies机器人操作不一定非要靠大量演示数据训练专用策略。这篇论文让一个通用大模型当 agent,直接给机械臂下指令,边做边看情况调整,不用任何演示,也不做针对任务的训练,成功率反而远高于专门训练的 VLA 策略。作者的参考实现 AMP1 在 RoboLab-120 基准上零样本成功率达到 85.6%,领先的 VLA 策略只有 49.2%;在三台真机、十二个任务上也几乎全部成功。系统没给它抓、推、放这类现成技能,它自己摸索出寻找藏起来的物体、拿物体当工具、校准相机等办法。通用模型直接当控制器,可能比专门训练的策略更通用、更稳。
  4. Embodied · 2026-10-29OpenJaws: An Open Hardware UMI Framework with Stereo Localization for Generalist Manipulation用手持夹爪(UMI)在野外采机器人示教数据已经很流行,但动作标签准不准,取决于从腕部相机视频里还原夹爪轨迹的那一步。原版 UMI 用单目相机加 IMU(惯性测量单元),单目看不出真实尺度,还要预先建图、贴标记物来稳住。OpenJaws 把相机换成一台百元级的双目相机,两只镜头的间距是标定好的,三角化直接给出真实尺度。在作者新做的带真值评测集上,只比两者都能跟住的片段,双目重建的轨迹误差约 2.9 毫米,原版方案是 18.4 毫米,而且原版平均只跟住 37% 的帧。整套夹爪约 400 美元,软硬件全部开源。
  5. Embodied · 2026-10-27Coupling Execution Horizon and Sampling Depth in Flow-Matching VLA Policies这篇论文发现,基于流匹配的视觉语言动作模型里,求解动作的迭代步数和每次执行的动作步数是耦合的,最优选择还会反转。这类模型从一段随机噪声出发,用数值求解一步步把它推成一段平滑的动作。部署时通常把两者分开调:执行步数用来摊薄推理延迟,迭代步数则保持很高以求精确。频繁重新规划时,迭代步数少确实更差;一次执行很长一段动作时,迭代步数少反而更好,因为粗略求解让动作更集中在平均轨迹附近,减少了开环执行中误差的累积。每次只执行 5 步时,迭代 10 步更好。每次执行 20 步时,迭代 2 步反而更好。这个规律在多个基准和真机上都成立,不用训练就能降延迟、提成功率。

讨论

欢迎补充实验细节、复现经验或不同看法。需 GitHub 登录。

正在加载讨论…