今日场景今天具身赛道的主线,是把机器人学习的各个环节做成可以复用的底座。UMI-Live 让人拿着夹爪在现场采示范,后台自动整理成训练数据;ProWorld 用生成的视频、LocoManiLab 用统一的仿真平台,各自替代一部分真机评测;Metatron 和 FORGE 把人形机器人的全身控制做成通用的一层,上层只需给出目标。另外几篇分别处理连走多步的规划、换控制器后的数据迁移,以及接住飞来物体这种要求快速反应的动作。 — 评分 190 篇,入选 10 篇,分数 4.05 – 4.52

本期目录 · 10 篇
  1. 01UMI-Live for In-The-Wild Bimanual Robotics Data Collection
  2. 02FORGE: Feasible Online Reduced-Order Reference Generation and Whole-Body Execution for Agile Humanoid Locomotion
  3. 03Vector-Quantized World Model: Latent Feedback Motion Planning for Robot Manipulation
  4. 04Catch It All!: Generalizable Dynamic Catching with a Dexterous Hand
  5. 05METATRON: A Promptable Whole-Body Execution Layer for Humanoids
  6. 06ProWorld: Multi-View World Model with Proprioceptive Feedback for Closed-Loop Policy Evaluation
  7. 07Cross-Controller Transfer via In-Context Behavior Adaptation
  8. 08LocoManiLab: A Unified Testbed for Data, Policies, Controllers, and Deployment in Humanoid Loco-Manipulation
  9. 09JEDI: Joint-Embedding Demonstration Compression for In-Context Imitation Learning
  10. 10以全域务实创新 启具身部署新程|智元创新日重磅发布全栈技术成果
LEAD STORY · 今日必读

UMI-Live for In-The-Wild Bimanual Robotics Data Collection

教机器人做事,最贵的一环往往是采示范数据:遥操作要把整套机器人搬到现场。UMI 的思路是让人手持一对夹爪直接示范,可硬件要自己搭、要标定、录像要逐条处理,门槛仍然不低。UMI-Live 把相机、激光雷达、计算和电池都装进夹爪,操作员按一个键就能接着录下一段,后台同时把录好的片段重建成可训练的数据。训练数据大部分来自手持夹爪,采集地点和灯光都与测试现场不同,只混入少量真机遥操作,微调后的 π0.5 在双臂把橘子放进碗的任务上 10 次全部成功。它的价值不在新算法,而在一套能照着复现的采数流水线,作者同时公开了约 40 小时数据。

相关 5新颖 4实用 4证据 4时效 5
4.40
综合分 / 5
偏好调整 4.52
Govind Velamoor, Adrian Lin, Sam Jung, Spencer Mateega, Brandon Y. Yang, Amish Sethi · 2026-10-29 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.40

FORGE: Feasible Online Reduced-Order Reference Generation and Whole-Body Execution for Agile Humanoid Locomotion

要让人形机器人既能快跑、倒退、侧移、原地急转,又能单腿跳,通常得为每种动作单独准备参考轨迹或单独训练策略。FORGE 分两步做:先在一个简化的身体模型上训练参考动作生成器,受力按把整个身体当成一个刚体来算,关节姿态按完整机器人来算,按速度指令实时生成全身参考动作;再把它冻结,训练第二个策略在完整的机器人动力学上跟踪这些参考。在 Unitree G1 上,一个生成器加一个跟踪策略就覆盖了每秒 2.8 米的前进、每秒 2 米的后退、单腿跳,以及这些指令之间的连续切换。简化模型算得便宜,所以参考动作能在线生成,覆盖的指令范围也宽。

Adrian B. Ghansah, Yujin An, Jeeseop Kim, Soon-Jo Chung
arXiv·2026-10-27·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
03 4.30

Vector-Quantized World Model: Latent Feedback Motion Planning for Robot Manipulation

让机器人玩汉诺塔这种要连走很多步的任务,靠视觉世界模型 规划常常越往后算越偏。VQ-WM 把画面压成有限个离散状态,先在这些状态之间搜索一条到目标的最短路,再让带视觉反馈的控制器一段段走过去。关键在于离散状态怎么选。它不按 embedding 距离聚类,而是在学到的世界模型里试跑控制器,记下从各个状态出发几次调用能走到某个候选状态,再挑出尽量少的候选,让数据里每个状态都能在几次调用内走到其中一个。这样路线上的每一步,控制器都够得着。只用短的随手操作数据训练,它在真机汉诺塔上完成率 100%,而现有 VLA 等基础模型只有在训练数据里恰好有完整解法时才能做成。

Xuezhou Xu, Chung-Pang Wang, Zhenzhen Li, Benjamin Riviere
arXiv·2026-10-19·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
04 4.30

Catch It All!: Generalizable Dynamic Catching with a Dexterous Hand

人形机器人接住扔过来的东西,难在物体千差万别:毛绒玩具几乎不弹,薯片袋会变形,硬球一碰就弹开;人形机器人手腕力矩又小,动作太猛会伤硬件。作者只在仿真里用简单几何体训练强化学习策略,抓握奖励按指尖到物体表面的距离来给,手指贴得越紧奖励越高,策略由此学会握稳。超出额定力矩的惩罚在训练中逐步加重,策略也就学会了不超限。训练好的策略不用任何真机数据,直接部署到 Unitree G1,全程只用机器人自身视角的一个摄像头。面对训练时没见过的物体,手掌朝上在低处托接的成功率是 38.9%,手举在高处迎着接的成功率是 36.1%,而专家遥操作同一任务只有 6.8%。这么快的动作靠遥操作采不到好数据,仿真强化学习更现实。

Arth Shukla, Kehlani Fay, Huaze Liu, Darin Djapri, Alexiy Buynitsky, Nicklas Hansen
arXiv·2026-10-28·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
05 4.30

METATRON: A Promptable Whole-Body Execution Layer for Humanoids

人形机器人走路、被推后恢复、拿东西、坐下,通常各要训练一个控制器,可这些任务都需要同样的平衡和全身协调。Metatron 把两件事拆开:先训练一个通用的全身策略然后冻结,它只接收部分目标,比如某个时刻手要到哪、走多快、用什么风格;具体任务写成普通代码,每个控制步给策略发这样的目标,由策略补全成协调的全身动作。这些任务代码还可以让写代码的 agent 根据动作数据去调,不用重新训练策略。在真机 Unitree G1 上,一个冻结的模型就支撑了走路、恢复、遥操作捡物和坐到家具上。行走中被推一把时,推力超过 600 牛两种参考轨迹跟踪方案就全部摔倒,Metatron 在更大的推力下仍有 75% 的次数站稳。

Chen Tessler, Yifeng Jiang, Alec Otto, Yi Shi, Umar Iqbal, Gal Chechik, Xue Bin Peng
arXiv·2026-10-27·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
06 4.20

ProWorld: Multi-View World Model with Proprioceptive Feedback for Closed-Loop Policy Evaluation

在真机上一遍遍试跑来评估机器人策略又慢又贵,于是有人想用 世界模型生成的画面当测试场。难点有两个:策略下一步要的不只是一张图,还有多路相机画面和机器人自身的关节状态;生成模型还容易把没抓住的东西画成抓起来了,让策略显得比实际更强。ProWorld 同时预测多视角视频和机器人状态,一起反馈给被测策略;训练时还专门加入在高保真仿真里收集的失败操作,压住这种虚高。在 3 个策略、4 个操作任务上,它算出的成功率和真机成功率的 Pearson 相关系数达到 0.95,说明它给出的高低排序基本能代替真机试跑。

Zijun Wang, Tianyi Yan, Haokun Lin, Panwen Hu, Bohang He, Siyu Ren, Xiaoyu Guo, Weijia Liufu 等 15 人
arXiv·2026-10-11·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 3
07 4.40

Cross-Controller Transfer via In-Context Behavior Adaptation

同一个动作指令,换个控制器机器人就会动成不一样的样子:控制的是关节还是末端位置、给的是位置还是速度、刚度设高还是设低,同一串数字的含义都不同。把这些数据直接混在一起训练一个策略,指令的含义会互相打架。作者的办法是先让策略看一小段交互记录,里面是发出的指令和机器人随后实际怎么动,由一个 Transformer 把这段记录总结成当前控制器的特征,策略据此调整动作。在真机实验里,这比直接混合数据的平均成功率高 33 个百分点;在插 USB、擦桌面这类接触多的任务上,策略连做法都会跟着控制器变,而不只是调动作幅度。

Jonathan Yang, Chelsea Finn, Dorsa Sadigh
arXiv·2026-10-29·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
08 4.10

LocoManiLab: A Unified Testbed for Data, Policies, Controllers, and Deployment in Humanoid Loco-Manipulation

人形机器人边走边操作的研究,各家用的策略、控制器和任务都不一样,很难比出谁更好。LocoManiLab 把采数据、训练、评测和真机部署放进同一套测试平台:五类家居场景里有 234 个任务,配有仿真里遥操作采集的示范,并在同一个控制器下评测了十二个策略。结果是,换到没见过的任务和场景,成功率普遍下降,画面扰动越大掉得越多,不同策略之间的泛化能力差别明显。作者还在仿真里复刻了 3 个真机任务,仿真和真机给出的策略排名相近,所以作者认为可以先在仿真里比较策略,再上真机。

Dewei Wang, Jinrui Han, Jiyuan Shi, Chenyun Zhang, Xianbo Lu, Jiabao Wu, Jiqin Feng, Jipeng Kong 等 14 人
arXiv·2026-10-28·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
09 4.30

JEDI: Joint-Embedding Demonstration Compression for In-Context Imitation Learning

让机器人看几段示范就做新任务、不改参数,最大的限制是上下文装不下:一段示范有几百步多视角画面,隔帧抽样后仍要几千个 token,所以现有方法一般只放一两段。JEDI 把每段示范压成少量向量,训练目标不是复原示范里的动作,而是用这些向量预测当前这一轮任务下一阶段的关键画面;训练时还拿任务不同或步骤顺序不同的示范当反例,逼它记住做法细节。在两段示范只差物体摆放顺序的测试中,JEDI 照示范顺序做的比例是 84.1%,只压缩动作的版本只有 52.2%,差不多一半对一半。压缩示范时该留下的,是能预测接下来怎么做的信息。

Jiazhao Liang, Zhewen He, Shuaihang Yuan, Hao Huang, Yi Fang
arXiv·2026-10-29·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
10 4.05

以全域务实创新 启具身部署新程|智元创新日重磅发布全栈技术成果

AgiBot

智元在今年的创新日上提出一个新的度量单位 Worken(有效智能工时),想回答机器人到底干了多少有用的活。智元的类比是:蒸汽机用马力衡量,电用千瓦时衡量,大模型用 token 衡量,机器人则该按它自主、持续完成有价值工作的工时来衡量,而不只是数造了多少台。同场还发布了新一代具身基座模型 GO-3 Preview,称在三个具身评测榜单上都排第一,并计划年底开源;另有开源的具身操作系统灵渠 OS、皮下式关节液冷系统和新一代灵巧手。行业比拼的重点正在从出货量转向机器人能自己干多少活。

网页来源·2026-10-30·Relevance 5 · Novelty 3 · Practical 4 · Evidence 3 · Timely 5

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 5 个项目