02 4.40
VLA 模型的动作模块通常在每一层都去读语言模型主干的信息,但其实只有中后段很窄的几层真正影响动作。作者在三个开源 VLA 模型上做了这样的实验:桌上有香蕉和苹果,一次让机器人拿香蕉,另一次两者换个位置、让它拿苹果,把前一次某一层的内部激活抄进后一次,看机器人会不会改去拿香蕉,逐层试下来得出了这个结论。指令里目标物体那个词在前中层决定抓哪个物体,往哪边动的空间信息则在中后层。按这个发现,只让 MolmoBot 的动作模块读其中 3 层,推理计算量最多省 33%,成功率几乎不变。
03 4.30
机器人执行一条指令时,要做什么和动作能不能做到,是两类不同的要求,而且会被重新组合成没见过的任务。现有策略把它们混在一个表示里学,遇到新组合就容易泛化不好,生成的动作也可能不平滑或机械臂够不着。这篇把动作轨迹的生成拆成几项能量相加:指令里的物体、位置等语义各对应一项,由网络学出来,给候选轨迹打分,越符合这条要求分数越好;动作平滑、机械臂好不好发力这些物理约束写成可求导的显式项,一起引导扩散模型生成轨迹。拆开以后,新组合只是把已有的几项重新加起来,真机和公开基准上组合泛化和动作可行性都更好。
04 4.10
机器人操作出错时,现有方法要么每帧只给一个出错或没出错的分数,要么要等整段视频录完才能分析。这篇把出错检测改成边看边判:模型一段一段读实时视频,用一个记忆库存下看过的画面,出错时同时给出这次失误从哪一刻开始到哪一刻结束,以及一句话描述发生了什么。通用视频模型不懂机器人操作,作者先拿现有机器人数据集额外做了一轮预训练。最终模型定位失误时间段的 mIoU 是 0.232,最强的在线基线是 0.194。对做线上监控的人来说,能实时说出哪里错了,比事后打分更有用。
05 4.00
现有机器人操作基准大多默认工作台前只有机器人在动,可真实环境里人常常就在旁边:用手一指暗示想要哪个,临时拿走要用的东西,顺手把任务做了一半,或者站在机械臂要经过的地方。HARP-Bench 把这些情况当成任务本身的一部分,分成提示、打断、帮忙和同处一个空间四类,每个日常任务都配一个没人在场的对照版本,方便直接比较。作者测了 VLA、模仿学习和规则策略,有人在场时它们都明显变差;用这个基准采集的演示数据训练后,这些情况下的表现会提升,真机实验也印证了这一点。
06 4.00
机器人部署后要不断学新技能,可一学新的就忘旧的,想记牢旧的又学不进新的。LifelongVLA 给 VLA 模型挂了两组 LoRA:一组只用新任务的数据训练,学得快;另一组只用旧技能的复习样本和蒸馏信号训练,学习率更低,变得慢,用来守住学过的东西。一个门控按当前输入决定两组各占多少。复习时每个旧技能只随机留少量样本,不存整条带图像的演示。依次学完多个任务后,平均成功率 83.2%,比最强基线高 13 个点,遗忘率也低了 8.2 个点。
07 4.00
用海量人类操作视频来训练机器人策略,难点不只是人手和机械臂动作不同,还在于同样的操作,人和机器人的画面会被视觉编码器编到两片互不相干的特征里,混在一起训练效果就打折扣。HARP 用少量人和机器人做同一件事的配对演示当桥梁,把机器人的视觉特征往人类那边对齐,同时让不同配对的演示彼此仍然分得开;大量不配对的视频则用来训练一个模型,从相邻两帧画面的变化里推出这一步做了什么动作,得到一种人和机器人通用的动作编码,策略先学预测这种编码,再由一个小模块把它转成机器人的控制指令。对齐之后,人类视频才真正帮上忙:在 CALVIN 上平均能连续完成 4.481 个任务,真机成功率比最强基线高 7.1%。
08 4.00
移动机器人做收拾房间这种长任务,要一直知道自己在哪、周围什么变了、任务做到哪一步,只看当前画面很难答上来。SERF 维护一张随时间更新的特征地图,把环境里的物体和机器人自己的身体都表示成同一空间里的一堆特征点:物体动了就跟着刚体跟踪更新,机器人的点按关节角度算出位置。VLA 策略除了图像,还分别以机械手和机器人底座为中心,从这张图上取近处和大范围的特征当输入。在 BEHAVIOR-1K 的三个家务任务上,平均完成进度从 44.0% 提到 58.7%,去没到过的区域时提升更明显。
09 3.95
叠衣服难,是因为布料大半被自己挡住,而且同样一拉,厚布和薄布的变化完全不同。人看几眼就能猜出衣服的形状和料子,这篇让机器人也这么做:用一个 transformer 世界模型,在大量仿真布料数据上训练,输入最近几帧看到的局部点云,补全整件衣服的形状,并预测下一个动作会让它变成什么样。料子的软硬不用重新训练,模型从输入的这几帧历史里自己推出来,所以换衣服、换料子、换机器人都不用更新权重。接上一个按目标形状规划动作的模块后,双臂叠衣服在仿真和真机上的重建精度、预测准确度和成功率都有提升。