02 4.30
让 VLM 直接操控人形机器人有两道难关:模型要从图像里知道物体在哪、有多远,机器人还要把“手伸到那里”“转一下躯干”这类高层指令稳稳做成全身动作。HITCH 给 VLM 配了一套接口:VLM 在图像上点一个位置,系统返回这个点的三维坐标;VLM 对骨盆、躯干、双手、行走和视线下指令,再由一个学出来的控制器转成全身动作。实验发现,测得准、执行得准,任务成功率都会明显上升。再用教师策略通过这套接口解五个基础任务的轨迹去微调 VLM,没有用 SIMPLE 任务的轨迹,它在 SIMPLE 上的成功率也从 3.3% 升到 51.1%。在真机 G1 上,它没用任何真机数据就搬箱子成功了 13 次(共 20 次)。
03 4.30
家里或办公室的路常被椅子、玩具、推车挡住,机器人得判断哪些东西可以推开、哪些必须绕开:同样是推车,空的能推,装着易碎玻璃器皿的就不能碰。MessyNav 不靠仿真里训练,也不需要人给每个场景写说明。它先让视觉语言模型结合图像和上下文,判断每个物体是可以推扫、拿起还是应该避开,再据此规划动作。在 15 个真实场景里,它走到目标且没有不安全操作的比例是 67%,把判断和规划放进同一个提示里的做法只有 40%。分开做的好处在于,物体能不能动要先看清它的状态,比如上面堆的东西稳不稳,再谈怎么走。
04 4.20
现有人形机器人大多按单人训练,没法和身边的人配合:对方伸手拥抱或击掌时,它不会预判,也不会跟着调整。Social Humanoid 让一台宇树 G1 根据人的动作生成配合动作,比如拥抱,或打完招呼后一起合影。它分两层:上层模型把人和机器人的动作转成同一套离散编码,据此生成机器人的回应,人被挡住时还能接着预测对方的动作;下层控制器负责在机器人身上执行。训练数据来自把五个人与人互动的动作捕捉数据集迁移到机器人身上,得到 260 小时的人与人形机器人互动数据。仿真里生成的动作有 90% 到 100% 能被下层控制器完整执行,真机上每个场景的成功率与仿真一致。
05 4.20
机器人操作大模型部署后会出错,比如碰撞或掉东西。常见做法是让人接管示范纠正再微调,但学到的只是在这个画面下就做这个动作,场景一变就不灵,往往要几十到上百次干预。OopsieRecover 想让模型从少数几次纠正里学到错在哪、该怎么避开。它让视觉语言模型根据场景、接管前后的动作和一句口头说明,提出几种可能的原因,再拿所有纠正去检验,留下最能解释它们的那一种。这个原因被写成一条规则:什么时候生效,以及此时哪种动作要扣分,比如放杯子时把杯子倾斜。部署时原模型先生成多个候选动作,选扣分最低的。在 CoffeeMug 任务的新场景里,只用 8 次纠正成功率就到 84%,用三倍纠正量微调的 HG-DAgger 只有 28%。
06 4.20
移动操作机器人很难每次都站在示范时的位置上干活,而模仿学习的策略对相机视角很敏感,底盘位置稍有偏差就可能失效。已有方法用新视角合成来扩充示范,但只能处理静态场景,物体被抓起移动之后就没法重新渲染,而这恰好是最关键的阶段。MoMaSplat 利用示范采集时本来就有的多视角画面,分别重建静态场景和被操作的物体,再从没见过的底盘位置渲染整段操作,并把动作按新位置换算,生成合成示范。真实任务测试把底盘放在没见过的位置上,用它生成的示范训练出的策略平均成功率是 37%。最强基线只有 17%,不做扩充更低,只有 6%。
07 4.05
视触觉传感器通过一块弹性体的形变成像,同一路图像里混着接触外观、几何形状和切向形变几种信息,但已有策略通常直接把触觉图当普通图像输入,没人说得清到底哪种信息在起作用。这项研究在真机上做了控制变量对比:从同一路触觉图像里分出外观图、法向图和深度图、以及弹性体表面标记点的位移流场,用相同的示范和同样的策略骨干,单独或组合使用。在真机试验中,加入触觉后总成功率从 57.8% 提到 78.9%。单个信号里,标记点位移流场最有用,成功率 74.4%,在维持已建立的接触阶段作用尤其大。做触觉模仿学习时,按物理信号拆开分别编码,比把触觉图当 RGB 直接输入更好。
08 4.00
想让根据图像和指令直接输出动作的 VLA 模型懂物理动力学,一个办法是接视频世界模型预测未来画面,但在线生成视频会给控制回路带来很高延迟。PDRVLA 只在训练时借用它。模型里有一个轻量模块,用一组可学习的查询向量从中间层特征里取出固定数量的物理 token。训练时让这些 token 预测未来的 RGB、深度和光流特征,也就是装下未来画面会怎么变,同时把这些 token 交给冻结的预训练视频世界模型当条件,让它去还原未来画面,还原的误差也用来训练这个模块。部署时不再生成视频,动作模块直接把这些 token 和最后一层特征一起使用。它在 LIBERO 上的任务成功率是 99.3%。消融显得克制:加入世界模型监督,未来特征预测的误差只相对降低了 1.32%。
09 4.00
VLA 的仿真评测很慢,主要是资源没用满:在单卡上跑五百个 RoboTwin Easy 回合要近六个小时,因为仿真占满 CPU 核,而 GPU 平均利用率只有 14.3%。RoboScope Kit 把每个模型包成一个统一的 Policy 类,再给每个基准套一层适配器,统一两边交换的观测和动作格式,基准自己的规则和评分不动。然后把仿真进程和模型副本分成两个池子,先短时试跑不同数量的组合,选出能跑通且最快的那组,再把任务确定性地分到多块 GPU。在 LIBERO-Long 上,这样比官方 StarVLA 评测快 4.45 倍,成功率相当。换到 RoboTwin Easy 并用四块 GPU,评测速度是单卡基线的 25.04 倍,成功结果完全一致。
10 3.20
Google
做具身系统的团队正在把它拆成两层:云端的具身推理模型负责空间推理、任务规划和进度跟踪,机器人本体上的轻量 VLA 或小模型负责实时电机控制。谷歌云在一篇介绍机器人创业公司的文章里描述了这种架构,并说云上的算力主要用于仿真、训练和机队调度。案例包括人形机器人 Apollo 接入 Gemini Robotics 模型,以及 Dyna Robotics 用谷歌云 GPU 集群训练模型,并且每天向生产现场发布更新。这是一篇产品宣传性质的文章,对做具身系统的人,参考价值主要在云端规划加本地执行的分工。