02 4.50
Michigan State University
Cisco
University of Michigan
IBM
给动作策略再加未来预测,本意是让模型想到动作会怎样改变世界,可一段动作里画面往往几乎不动,完整未来的损失就被静止背景带走。这篇工作只在冻结的视觉特征里监督当前帧到未来帧的残差,残差更集中在机械臂和被操作的物体上。据此做出的残差世界-动作模型总参数约二十三亿,不用在基准以外的机器人轨迹上预训练。真机上打开、放置和码放三项任务平均成功率 80.0%,比最强对照高出 10 个百分点,单段动作推理只要 92.7 毫秒。要学的是画面里正在变的部分,而不是把没动的背景再抄一遍。对要在真机上闭环部署的人来说,计算可以花在变化上,而不必再背一个沉重的视频生成模型。
03 4.40
Amazon
Rice University
University of MarylandUUT Austin
University of Michigan
人形在带铰链的环境里做全身操作,过去多半靠几何对准,可要用力拧开圆形门把手,还得在真实接触里随时改力,整机还不能失去平衡。这套方法把策略学习围绕手指能感觉到的接触来组织,并根据触觉历史在线改运动。上肢策略与预先训练好的行走控制器一起协调,完全在仿真里训练,再零样本搬到装有多指手的 Unitree G1 上。仿真里用完整触觉时开门成功率 80.9%,只用是否接触则是 73.6%。真机上四种市售旋钮、每种十次、不再微调,它明显优于只靠本体感觉适应的对照。在不能靠关节回推出力的手上,光看本体感觉,看不出该用多大力。对要人形去开真实房门的人来说,力和接触历史得写进适应环里。
04 4.40
HKUST (Guangzhou)BBrainCo
Chongqing University
Wuhan University
灵巧抓取的策略通常按一只胳膊配一只手来训练,每多一种搭配就要再训一条。难处在于不同机器人的关节数量和布局都不一样,观察和动作没有共用接口。这条强化学习策略把每台机器人映到带有效掩码的标准关节接口上,用运动学树偏置注意力,再用短时记忆从最近交互里推断这具身体的动力学。它在十八种臂手搭配上训练,在见过的组合上稳定成功率 89.01%,在训练时没见过的六种搭配上是 51.18%。在真实 Flexiv 臂上,仿真里蒸馏出的学生策略可零样本部署,不必再做真机微调。先把不同臂和手写成同一套关节接口,一条策略才有机会跨身体复用。对产线里要换手或换臂的人来说,这比每换一副搭配就重训一条更省事。
05 4.20
RRobbyant
接触丰富的灵巧操作离不开触觉,可压阻、磁感和视觉触觉的信号形貌不同,策略很难直接吃进去。这篇工作把不同传感器的触点先映到同一套指尖坐标里,用一个编码器在潜空间里做自监督预测,得到可插进现有策略的触觉 token。编码器保持冻结,在二十六项真机双臂任务上,它把四种策略的平均成功率提高了 13.9 到 24.8 个百分点。若只是把原始触觉信号加进去,最多只能拿到大约一半的提升,有时还会干扰本来已经会用的视觉。先把不同传感器读成同一套指尖表示,策略才能用上接触,而不是被原始信号拽偏。对要在多种手上复用触觉数据的人来说,关键是先有一套跨传感器的表示。
06 4.50
不同原理的触觉传感器观测格式对不上,一套表示很难从一种硬件转到另一种。这篇工作把触觉表示锚定在六维力和力矩上,让不同传感器都与力和力矩成对,而不要求传感器之间直接对齐触觉信号。他们从四个家族的二十四只传感器上收集了超过一亿对观测,靠重建力和力矩把不同读数映到同一套特征里。在核心基准上,单帧力误差比最强对照降低 17.1%,跨传感器检索第一名命中率提高 13.11 个百分点。接到策略后,四项真机任务平均成功率 46.25%,最强对照是 23.75%。不同触觉传感器要对齐,先对齐它们共同的力和力矩。对混用多种触觉硬件的人来说,这不必再做传感器两两配对。
07 4.50
世界-动作模型会同时预测未来画面和机器人动作,可未来状态把任务相关的变化和大量不动的背景缠在一起,模型就不容易抓住真正影响执行的那些改变。这篇工作在预测未来状态的同时,再单独预测相邻观测在潜空间里的差值,给时间上的变化一条明确的学习信号。部署时可以把负责未来和差值的分支拿掉,不增加额外推理开销。在 LIBERO 上平均成功率 98.8%,在三项真机操作上是 88.3%,比最强对照高出 15 个百分点。训练时把变化单独学出来,部署时可以把预测未来的分支卸掉,不必为此拖慢控制。对已经在用这类模型、却担心推理变慢的人来说,这把训练信号和上线路径分开了。
08 4.50
世界-动作模型一边出动作、一边预测未来,可第一稿动作片段常常有缺陷。若未来预测并不以这稿动作为条件,它就反映不出这些动作会怎样改写视觉表示,执行前也就很难据此把动作改好。这篇工作让策略先提出完整一段动作,再用它修正多个时间范围的未来潜变量,把修正后的未来注入同一个动作头的第二遍,得到真正执行的片段。在不做分布外微调的 LIBERO-Plus 上成功率 84.76%,在三种真机分布外条件下平均 64.4%,真机上一段动作的两遍推理平均只要 101.2 毫秒。先用自己提出的动作去改对未来的想象,再根据改过的未来把动作收紧。对要在发出去之前改一稿的人来说,未来预测应当看到即将执行的那一段。
09 3.85
视觉-语言-动作模型要泛化操作,往往还得靠昂贵的真机数据。现成的人类视频本来是更可扩展的路,可现有方法抽出的潜动作常常和场景噪声缠在一起,迁过去的知识就被稀释了。这篇工作用一个人和机器人共用的动作意图来做迁移,先从视频里抽出意图,在共享空间里对齐两个领域,再解码成可执行的动作。在十二项真机任务上平均成功率 82.08%,比同样用人类视频预训练的对照 70.42% 更高。人和机器人之间要迁的,应是干净的动作意图,而不是和某一场景绑在一起的潜动作。对想用人类视频补真机示范不足的人来说,先约定双方都认得的意图,再解码成关节动作,比直接对齐视频特征更稳。
10 3.40
WWitsense AI
University of Huddersfield
视觉-语言-动作模型在常用仿真基准上已接近满分,可这些分数并不等于物体或相机稍一移动还站得住。这篇综述沿设计、训练和部署的生命周期,梳理了二〇二二年十二月到二〇二六年十月的八十八项工作。训练数据已从遥操作真机扩展到社区轨迹和第一人称人类视频,模型也分成了三十到七十亿参数的主流,以及能在消费级 GPU 上跑的十亿以下一组。更要紧的是,标准 LIBERO 上超过 90% 的模型,在物体稍稍离开训练位置时成功率会掉到零。改相机视角或起始姿态时,成功率会从约 95% 降到 30% 以下。只看接近满分的仿真分数,看不出模型在稍有变化的场景里有多脆。对要选模型或报结果的人来说,应补上扰动测试,并写清训练数据和延迟。