02 4.65
人类操作视频要教会机器人,先得让同一个动作在不同数据源里表达一致。Open-HumanWAM 将双手位置、朝向和开合统一到相机坐标,并筛掉不可见、抖动和长时间静止片段。在动作只能读当前帧、不能读未来视频的配置中,万小时人类数据预训练后再做相同机器人后训练,随机场景成功率从未做这步预训练的2.1%升至28.7%。结果按各评估设置分别选最优 checkpoint,不是同一个模型同时取得所有场景的最优表现。
03 4.65
Apple
机器人走进没扫描过的房间,找椅子和坐稳不是同一个问题。HALO 在程序生成的房间里合成视觉、语言与全身动作数据;高层拆任务,中层从 RGB 生成动作计划,低层再用深度和本体感知纠正执行。单技能真实测试在未见环境共做360次,成功率为91%。它证明了这组技能能从仿真迁移,不等于长任务也有同样成功率;既有动作生成先验、任务分解模板和底层物理约束仍是系统的重要部分。
04 4.40
机器人转身再回来,眼前相同的座位,可能只有刚才的画面能告诉它东西先放在哪。WholeBodyMem 用 SAM3 跟踪任务物体,扣除相机运动后,挑物体出现、消失或移动等事件帧保存;动作模型再读取这些历史画面和物体特征。真实 G1 测试共60次,整套方案成功率从基础策略的36.7%升至88.3%。提升不只来自多存帧,还包含物体特征和决策模块;跟踪器从未认出的线索,也不会自动进入记忆。
05 4.40
等机器人做错再接管,纠正数据里就容易混进不必要的补救动作。PHIL 用扩展现实(XR)头显把策略未来轨迹叠加到真实工作区,让人提前接管;接管时模型继续提建议,把同一状态出发、同一时长的被拒建议与随后执行的纠正动作配对,再用偏好训练和原示范模仿共同更新策略。每个条件五次纠正 rollout 的实验中,扩散策略平均成功率从 HG-DAgger 的44.0%升至70.3%。这是预览、主动纠正和偏好学习的组合效果,不是单独证明某个界面能保证安全。
06 4.40
机器人知道要拿哪件东西,却可能把注意力放错地方。A3-VLA 从示范里找交互前不动、交互后发生变化的区域,再用 SAM2 跟踪成目标候选;训练时,语言对目标区域、状态对机器人区域的注意力总量低于门槛才受罚,同时让目标特征与指令更相似。RoboTwin 对照中,π0 的平均成功率提高9.8个百分点。候选区域只是软监督,不是精确真值;推理时只运行微调后的 VLA,不额外调用分割模块。
07 4.40
拖重物光复现动作不够,还要能随负载改变出力。Ctrl-F 把接触力作为高低两层的接口:底层先在无物体仿真中抵抗反向外力,学会一边跟动作、一边按指令出力;高层再根据物体实际运动与参考轨迹的差距调整力。G1 硬件演示能拖动加装14公斤负载的锁轮车,20公斤时失败。当前物体状态依赖 AprilTag,陌生动作还需重训,不能把一套统一力接口理解为任何动作都能直接执行。
08 4.40
教灵巧手操作,不能只看手指像不像人,还得看物体有没有按目标运动。这项方法从人类手物交互数据学习预测未来手和物体轨迹,把手轨迹映射到机器人,再用 PPO 同时奖励手的跟随和物体对预测轨迹的跟随。实验覆盖抓取、铰接物体操作和绕障抓取;物体跟随奖励的消融显示,它对学习效率很重要。系统仍需物体模型、姿态估计和人工接触奖励;换一种机器人手后也会重新映射并训练策略,不是同一策略零训练跨手。
09 4.10
先编译、再剪 token,各自的加速比例不能直接叠起来。VLA-Triage 实测发现,编译已经缩短某个阶段后,后续优化可省的时间也变了。CogACT 在 A10G 上同样做75%剪枝,省下的时间从未编译时的74.2毫秒,缩到编译后的33.5毫秒。量化还会换算子,剪枝又会改矩阵尺寸,因此要在实际部署的执行模式下重测组合。这里计时从图像预处理之后到动作输出,不包括整条机器人控制回路。
10 4.10
机器人 agent 说做完了,不等于任务真的完成。RoboARCade 在仿真中隔离 agent 与真实物体状态、评分规则,只给视觉、深度或三维交互界面,再由外部判定子任务。在已有成功案例的任务子集上,先读一段同任务成功示范,平均子任务评分从53.5%升至73.0%;这不是整项任务成功率。示范能减少卡在错误路线上的超时,但精确放置和误报完成仍常见。评估要把会讲步骤、真的做成和知道何时结束分开。