02 4.30
做移动操作的机器人,硬件、采数据的设备、全身控制和策略学习通常各做各的,拼到一起时常常互相拖后腿。CMU 这篇把四块一起设计:一台造价不到 15,000 美元的轮式人形机器人,上半身比例对齐人体;再配一套人穿戴着就能采示范的低成本设备,采数据时不需要机器人在场。因为身体比例对得上,人的示范能直接教给机器人,只用人穿戴设备采的示范,就能训练出做移动操作的策略。按任务完成程度打分,完整的机器人在三个消融任务上都是满分,关掉躯干后平均只剩 47.4%,说明这些关节确实被策略用上了。想低成本搭整套平台的团队,可以把它当作一个现成的起点。
03 4.30
现在常见的一类机器人模型,由视觉语言模型看图、读指令,再由一个动作模块用扩散的方式把噪声一步步去成动作。可视觉语言模型通常只在开头给一个固定条件,后面的去噪它并不参与。这篇论文发现,让它每一步都参与去噪,遇到训练里没见过的情况时动作更准。具体做法是,视觉语言模型在每一步都读一遍当前带噪的动作,再通过一层带门控的注意力把读到的信息交给动作模块;训练时还直接让它从带噪动作还原干净动作。在四个真实双臂任务上,平均成功率比 π0.5 高 20.8 个百分点。两个模型一起去噪后需要的采样步数更少,部分抵消了多跑视觉语言模型的开销。
04 4.30
让机器人先预测未来几帧画面再决定动作,策略会更懂物理,但每一步控制都要跑一遍视频模型,慢到没法实时控制。这篇论文只在训练时用视频模型:先用 PCA 把视频扩散模型的中间表示压到很少几维,再给动作模型加一项训练损失,让它自己的中间表示去对齐这份压缩表示;部署时视频模型整个拿掉。作者的假设是,视频表示虽然维度很高,对动作真正有用的信息放进一个小得多的子空间就够了。在 LIBERO 上平均成功率 95.9%,推理速度比代表性的先预测画面再出动作的模型快约 21 倍。视频预训练的知识可以在训练时教给动作模型,推理时不必再付这笔钱。
05 4.15
机器人评测每次都会产生大量失败录像,可公开的大数据集几乎全是成功的示范。这篇把 ArmnetBench 评测里的全部 3,718 段录像公开了,除了遥操作示范,主要是 7 种模仿学习和 VLA 策略在 12 个桌面任务上的执行记录。其中 73% 的执行是失败的。同一个任务的所有策略都用同一批示范训练,在同一套低成本机械臂上运行,每段执行由操作员标成成功、完成但收尾质量差、失败三类。所以同一个任务上能看到很多种策略各自怎么失败。想训练奖励模型或做失败检测的团队,终于有了一批成规模、带标签的真机失败数据。
06 4.00
大多数机器人策略在每个控制步直接输出一个动作值,前后动作是否连贯全靠模型自己学。这篇论文改为学习动作怎么变化:用神经常微分方程学出动作随时间变化的方向,部署时每个动作都从上一个动作积分得到,执行出来的轨迹天然连续。同一场景常有几种合理做法,比如从障碍物左边或右边绕过,只学平均方向会直接撞上去。所以每段动作开始时,一个小模块从学出来的几个候选方向里抽一个偏移,每个候选对应一种绕法;这段动作的每一步都在变化方向上加上这个偏移,整段就只走一条路。在模仿学习里只训练一轮时,它的成功率是常用的流匹配策略的 5.9 倍,生成动作快 10.8 倍;在 14 个真实任务上它的成功率最高。
07 4.00
部署中的机器人有两种浪费时间的方式:每次等模型算下一段动作时停下来,以及照着示范里人那种小心的慢速度执行。这篇论文不改模型、不重新训练,只改执行方式。机器人沿策略规划好的路径走,但走得更快,路径只在新观测到来时才更新。夹爪动作时保持原速,加速的上限由电机能力和推理延迟决定。在 LIBERO 上人为加入推理延迟后,任务吞吐量对 π0.5 比最强的可部署对照高 33%,对 SmolVLA 高 104%,成功率持平或更高。停顿和慢动作的损失,不碰模型也能拿回来。
08 4.00
不同机器人的动作格式各不相同,混在一起的示范很难当成一种监督。这篇论文换了一个预测对象。它不预测关节动作,而是预测任务相关物体在三维空间里的点怎么移动,机器人的夹爪也当成一个物体。执行时不用训练任何模块:抓住前,夹爪跟着自己那些点的预测移动;抓住后,把物体和夹爪当成一个刚体,由物体上各点的当前和预测位置拟合出一次旋转加平移,套到夹爪位姿上,再交给各台机器人的控制器。因为监督信号和机器人型号无关,不同机器人的示范可以放在一起训练。在 RoboTwin 仿真里,只用 ALOHA 数据训练的策略不经微调,就部署到了没见过的 ARX 和 Piper 机械臂上。预测物体怎么动,比预测关节怎么动更容易跨机器人复用。
09 3.20
Google
机器人团队开发一个策略,通常要在仿真、模型训练和真机部署之间来回切换工具,数据和模型在几套系统之间搬来搬去。Google Cloud 这篇博客介绍它面向机器人开发者的物理 AI 方案,把仿真、模型训练和真实部署放到同一个云平台上。它不是新算法,价值在于把各个环节接起来:整条流程在一个平台上跑,从仿真训练到上真机的周转会更短。值不值得迁移,要看团队现有的工具链和云上算力的成本。
10 2.95
AAgiBot
智元在十月下旬连续七天发布七项成果,覆盖数据集、作业平台、重载机器人、Agent 框架、仿真平台、基座大模型和群体经验学习。最后让 6 台 G2 机器人进一家真实便利店,连续 24 小时直播上货、补货、做热食。它的主张是机器人落地靠整条技术栈配合,单个模型再强也跑不通。其中仿真平台称复杂任务上真机和仿真的一致性超过 95%。这是厂商发布,没有给出评测方法;但把机器人放进真实门店连续值班,比单次演示更能暴露长时间运行的问题。