02 4.40
双臂机器人的示教里,两只手谁先动往往只是操作员的习惯,模仿学习却分不清哪些先后是任务要求、哪些只是碰巧,于是一只手被暂停时,另一只手也跟着等。作者查了四个公开双臂数据集,可以换顺序的任务里极少录到多种顺序,多采同样顺序的数据也解决不了。CTR 把每只手的录像切成片段,在保住必要先后关系(抽屉开了才能放东西)的前提下重新排时间,不用新采数据。
03 4.40
人形机器人边走边拿东西时,躯干、手臂和腿要一直配合,现有的视觉语言动作模型和世界动作模型从预训练里继承的是语义和画面变化规律,身体该怎么协调还得靠下游任务慢慢学。这篇换了预训练目标,直接拿一个由文字生成全身动作的模型当主干并冻结,只训练把摄像头画面接进去的小分支和手部控制。换成同样结构、随机初始化再训练,物体交互任务的成功率从 51.67% 掉到 18.33%,说明继承来的动作规律确实有用。真机八个任务平均成功 60%,仿真榜单上则只小幅领先。把动作本身当预训练目标,下游只需学怎么接上画面,这和推荐里冻结预训练模型、只训适配层是同一种做法。
04 4.40
让两只灵巧手配合,难处在于要指定哪只手动、什么时候交接,过去多靠给每种行为写奖励或技能序列,换个任务就得重写。这篇试的是另一条路:奖励只围绕物体来写,看物体有没有到达目标位姿、该碰它的手有没有碰到,变的只是训练环境。比如把目标放到另一只手的工作区,物体不交接就到不了,抓取、手内调整和交接都这样训练出来了。三个专家策略再蒸馏成一个,真机上换没见过的物体做四个任务,不做任务微调,成功率 76.3%。仿真扫码任务上它达到 85.0%,不会交接的两个单臂策略只有 60.4%。工程量从写奖励挪到了设计训练分布,做推荐的人调样本分布时也是这种取舍。
05 4.40
腕部相机几乎是机械臂策略的标配,可手指一合,真正接触的地方相机也看不到。已有工作证明触觉有帮助,却没回答它能不能直接顶替腕部相机。作者在夹爪内侧贴了两片低成本触觉阵列,把读数当成两路额外图像输入同一个 ACT 策略,演示数据和训练设置都不变。在取物、插插头、擦白板三个接触密集的任务上,加触觉、去掉腕部相机的策略,成功率都高于只用视觉、带腕部相机的策略,其中两个任务差异显著,从不透明袋子里取物时分别是 81.7% 和 50.0%。两路都加并没有稳定变好。视觉把手带到接触点,接触之后的状态要靠触觉,给排序模型加特征时,也是能补上盲区的信号最值钱。
06 4.40
导航模型通常只用得上最近几帧画面,要它绕回一个早已看不见的目标基本做不到,把全部历史帧塞进去,注意力质量下降,计算开销也很重,按固定间隔抽帧又会丢信息。Compass 1 把走过的轨迹画成一张二维地图,标上关键帧编号和朝向,和稀疏的关键帧一起当普通图片输入,模型结构不改。只给地图没用,主干会忽略它,所以训练时加了问答监督,问目标出现在哪一帧、现在该往哪个方向走。真实场景的综合成功率 79.4%,最强对比方法 17.8%。绕回看不见目标的最难任务上,对比方法全部失败,它做到 58%。历史要压缩,还要有监督逼模型去用,长期行为序列建模卡的也是这一点。
08 4.65
世界动作模型同时预测未来画面和机器人动作,通常从视频预训练出发,已有工作默认视频模型学到的文字和画面对应关系在加上动作训练后还在,数据和标注该怎么配也缺少系统的指导。这篇用约 47,000 小时的通用视频、第一视角视频、手持夹爪演示和机器人数据逐项做对照,发现文字标注的质量直接影响控制。同样的训练量,把子任务描述从一句动宾短语写成逐步过程,再补上场景和光照,换了背景、光照等条件的仿真任务上成功率从 47.20% 升到 55.04%。第一视角视频和手持夹爪演示混合训练,也好于只用其中一种。写得更细的文字描述,最后变成了更好的动作,做多模态预训练值得先查标注。
09 4.30
视觉语言动作模型的主干算得慢,机器人又不会停下来等,动作总是基于过时的画面算出来,主干越大越严重,部署时只好选小主干。DASH 把慢的主干和快的动作头拆成并行进程,动作头读取主干最新的语义输出,再配上自带视觉编码器算出的最新画面特征,控制频率只由动作头决定。主干从最小换到最大,控制频率稳定在 20 Hz,同步方案从 9.7 Hz 掉到 4.1 Hz。光拆开还不够,用对齐数据训练的异步版本并不比同步好,要在训练时故意给动作头配上旧的语义特征和新的画面,成功率才超过同步。训练样本的时间错位要和线上一致,这和推荐里训练与线上特征时效要对齐是同一回事。
10 4.40
想让冻结的通用机器人策略在具体任务上变好,常见做法是用强化学习搜索它生成动作时的初始噪声,可噪声空间里哪个方向对应什么动作没有规律,线上交互又贵,探索很低效。AnchorQ 先把朝六个方向平移这类粗动作反推回噪声,每一步得到一小批有含义的候选(论文叫锚点),再在候选附近采样微调,价值网络挑出得分最高的那个。同样 50 万步交互,一组仿真任务的成功率达到 95.5%,直接搜噪声的 DSRL 是 48.3%。真机上交互预算很少,它在三个任务上也都胜过 DSRL。先圈出一批有含义的候选再局部细化,读起来就是搜索里先召回再精排的思路,探索预算紧的时候比在连续空间里盲搜省得多。