02 4.40
VLA 每一步都要处理几百个视觉 token,推理很慢,可下一步动作往往只取决于画面里的一小块。这篇论文在冻结的 VLA 前面加了一个小打分器,从示范轨迹里学该留下哪些 token。训练时有两个要求:留下的 token 要让原模型给出和看全图时一样的动作,还要能配合示范动作预测几步之后的画面变化。部署时打分器只挑一次,原模型参数和出动作的方式都不变。
03 4.40
不同机器人的动作写法不同,有的记关节角,有的记末端位移,所以一台机器人的示范很难直接给另一台用。这篇论文训练了一个动作编解码器,把动作、前后两帧画面的变化和指令对齐到同一个空间,用来表示接下来一小段时间要完成的动作意图。每台机器人的身体差异只放在一小组专属 embedding 里,换新机器人时只录一段不超过 10 秒的动作,花半小时左右更新这组 embedding。之后训练一个大模型从画面和指令预测意图,每个任务只给少量示范,在两台新真机上平均成功率 76.7%,全量微调的现成机器人模型是 70.0%。把身体校准和任务学习拆开,新机器人只需要很少的数据。这很像推荐里共享表示加每个场景一小组参数的拆法。
04 4.40
人形机器人单手拎着东西走路时,身体两侧受力不平衡,会越走越偏、朝向慢慢歪掉,最后可能撞上障碍。这篇论文训练行走策略时让三份环境同时跑:空手、左手拎重物、右手拎重物,给同样的速度指令,谁走出来的位移和朝向偏离三份的平均值越多,谁就被扣分。策略还会根据估计出的外部受力调整内部特征,并保证左右镜像时动作也正好镜像。仿真里,转向速度的跟踪误差比基线方法 FALCON 低了八成以上。真机上单手拎 1.5 公斤做无地图导航,40 次全部无碰撞到达终点,FALCON 则全部因碰撞失败。把同一指令在不同负载下的结果放在一起比,偏差被直接压住了。这类成对一致性约束,在推荐里也比单纯加扰动更直接。
05 4.30
灵巧手的示范数据很贵,遥操作要同时协调很多手指关节。这篇论文从现成的人手抓取数据出发,按抓法分组,把每段人手动作迁移到机器人手上,再换物体形状、起点和放置位置,扩成大量示范。关键一步是在物理仿真里带着机械臂一起训练手指控制。只用悬空手训练的版本单独测几乎都能成功,一接上机械臂的跟踪误差,成功率就不到三成,把机械臂放进训练回路后升到 95.50%。最终从 19 段人手序列生成了 25270 条示范,只用这些数据微调的 VLA 在真机上能按语言指令做出全部八种抓法。示范不经物理验证直接拿去训练,策略几乎学不会。用规则或模拟器造训练样本时也一样,要先在带真实约束的环境里跑通,只留成功的样本。
06 4.35
主流 VLA 在 LIBERO 上的成功率已经超过 95%,但这里面有多少是真正的泛化?作者做了一个不用训练的对照:拿当前画面去示范库里找最像的几帧,把它们后面的动作加权平均后直接执行,成功率就有 91.7%。在加了扰动的 LIBERO-Plus 上,这个检索策略的掉分比所有被测 VLA 都少。作者再把九个公开 VLA 的视觉语言主干拿来当检索向量,发现微调主要是让主干变成更好的检索向量,而 VLA 输出的动作也离示范很近。在示范这么密的基准上,高分很大一部分靠查表就能拿到。做推荐的人对这件事不陌生:报复杂模型的效果时顺手报一个最近邻基线,才知道模型到底多学到了什么。
07 4.30
灵巧手操作需要预判手指和物体接下来怎么动,很多方法靠显式预测未来来获得这种预判。这篇论文训练时先学一个以动作为条件的世界模型,用场景深度、手的几何结构和示范轨迹,预测手上各点的三维运动和画面特征的变化,连相机拍不到的手指也算在内。然后冻结它,让策略内部的表示去对齐世界模型的预测表示,把这份预判能力转进策略。部署时只留策略,输入只有 RGB 画面、语言和机器人状态,不需要深度,也不预测未来。在 11 个仿真灵巧任务上,总成功率从 49.4% 提到 60.5%。预判能力可以在训练时教给策略,推理时不必真的去生成未来。这和推荐里训练期用带未来信息的教师模型、线上只留学生模型是一个思路。
08 4.10
让大模型直接操控机械臂会出现具体的危险,比如把手机放进水碗,端着牛奶从插线板上方经过。作者建了一个覆盖五类风险的机器人安全基准,从该拒绝的指令到画面里藏着的注入指令,仿真和真机都闭环执行,主流大模型普遍会造成伤害。他们的办法是在原有 agent 外面加三道关:任务开始前、每个动作执行前、松开夹爪或倒水这类不可逆操作前,各用一个快速打分模型根据当前画面判断是否安全。规划模型和三道关读的是同一份安全规则。加上之后,基线里表现最好的模型之一在仿真里的伤害率从 11.23% 降到 0,端到端耗时平均只多 1.66%。机器人的安全审核要看画面,只看指令文字不够。做 agent 系统的人可以借用这种分层审核。
10 3.40
NNTT
机器人搬行李、码货时,最怕货堆坍塌或物品掉落,而光靠现有控制程序很难事先判断。NTT 的做法是动手前先预演:对控制程序给出的每个候选动作,用世界模型生成一段接下来的视频,评估会不会塌、会不会掉,再挑最可能成功的执行。这个世界模型在视频生成模型里接了一个物理模块,从画面估计每个物体的位置、速度和质量,再按运动方程算出下一步怎么动。结果用来指导视频生成,物体不容易凭空消失或变形,也能应对训练数据里没有的情况。在一个用小机器人模拟码货上架的任务里,成功率从 73.1% 提到 92.3%。先显式算出物理量,生成的未来才靠得住,判断依据也看得见。这和推荐里先用模拟器给候选打分再上线是一回事。