2026-11-10 周二 · 具身智能

今日场景今天具身智能赛道保留已经发布的操作与控制卡片,并补上新露出来的工作。新内容包括按任务进度检索演示来做上下文适应、推理时引导扩散策略绕开未见障碍,以及把跟踪扭矩和平衡残差分开的全身控制。 — 评分 116 篇,入选 17 篇,分数 4.14 – 4.44

本期目录 · 17 篇
  1. 01Meituan-Robotics-0: A Vision-Language-Action Foundation Model for Desktop Manipulation
  2. 02On Agentic Manipulation Policies
  3. 03VICTR: Value-Informed In-Context Learning for Vision-Language-Action Models
  4. 04SURE:Spatiotemporal Uncertainty Representation for Efficient Vision-Language-Action Learning
  5. 05ForPC: Force-Aware Whole-Body Control for Precise Humanoid Cart Pushing
  6. 06Horizon-Coupled Obstacle Guidance for Relative-Action Diffusion Policies
  7. 07STEP: Spatiotemporal Training with Explicit Prediction for Perceptive Humanoid Locomotion
  8. 08ODEAction: From Predicting Chunks to Evolving Actions
  9. 09DKWBC: Decoupling Motion Tracking and Balancing for Humanoid Whole-Body Control
  10. 10Spatial-UMI-Dream: Scaling World Action Models with Metric Geometry for UMI Manipulation
  11. 11Should the Action Expert Train the VLM? Action-Token Supervision and Gradient Routing in Mixture-of-Transformer VLAs
  12. 12From Pixels to Actions -- Towards Native Vision-Language-Action Policies
  13. 13WorldContact: A Contact-Centric World Model for Scalable Robot Learning
  14. 14SLA: Scaling Spatial-Language-Action Model via Continual Pre-training
  15. 15Boston Dynamics adds wheels to Atlas humanoid to test whole-body control
  16. 16Make a Robot Arm Feel Weightless with NVIDIA Holoscan 5
  17. 17AI WAVE收官丨便利店24小时直播战报出炉,智元推动Physical AI走向真实场景
LEAD STORY · 今日必读

Meituan-Robotics-0: A Vision-Language-Action Foundation Model for Desktop Manipulation

通用的桌面操作需要从很杂的数据里学到行为先验,还要能换到不同机器人、在闭环出错后恢复,并把任务状态记住更久。这篇工作把海量视觉语言样本和覆盖十二种本体的机器人轨迹,通过三阶段训练变成可执行控制。它先用离散动作标记预训练骨干,再换上从头初始化的连续动作头,用流匹配在统一的末端执行器动作块上做跨本体控制。最后用成功演示、先由人决定要不要接手再补上正确动作的纠正,以及带结果标签的自主试跑做真机后训练。作为独立策略,它在 RoboTwin 2.0 上的成功率是 93.6%。采集时先回退策略出错的片段,再由人接上正确动作;用这些纠正片段训练后,网线插接任务的成功率达到 70%。

相关 5新颖 4实用 4证据 4时效 4
4.30
综合分 / 5
偏好调整 4.44
Meituan Robotics Team, Caicheng Wang, Chen Zhao, Chengpeng Jin, Duo Xu, Fengjiao Chen 等 38 人 · 2026-11-09 · arXiv

今日其余入选

16 篇 · 按综合排名
02 4.30

On Agentic Manipulation Policies

📖 深度解读 · 16 分钟 →

机器人操作不一定非要靠大量演示数据训练专用策略。这篇论文让一个通用大模型当 agent,直接给机械臂下指令,边做边看情况调整,不用任何演示,也不做针对任务的训练,成功率反而远高于专门训练的 VLA 策略。作者的参考实现 AMP1 在 RoboLab-120 基准上零样本成功率达到 85.6%,领先的 VLA 策略只有 49.2%;在三台真机、十二个任务上也几乎全部成功。

Chen Chen, Omid Bagherieh, Naveen Nikamanth Appiah Balaji, Jesse T. Gonzalez, Negin Heravi 等 13 人
arXiv·2026-11-06·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
03 4.30

VICTR: Value-Informed In-Context Learning for Vision-Language-Action Models

机器人基础模型可以靠上下文里的演示来适应新行为,而不再微调。但只按视觉相似度去取演示片段,不一定对应现在执行到哪一步。这篇工作用一个上下文价值函数,根据参考演示视频、语言指令和当前观察估计任务相对进度,再按这个进度去取演示上下文。即使训练时没见过的任务,也能把当前状态对齐到演示里的相应阶段。在真实操作任务上,微调后的基线成功率是 6.2%,该方法把成功率提高到 23.8%。

Luca Macesanu, Tianluo Zhang, Aditya Patil, Archit Sharma, Kevin Angers, Christopher M. Clark 等 8 人
arXiv·2026-11-09·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
04 4.30

SURE:Spatiotemporal Uncertainty Representation for Efficient Vision-Language-Action Learning

视觉-语言-动作策略很吃演示数据。操作里靠近的多个动作都可能成功,同类演示的快慢也不一样,若把每一帧演示动作都当成唯一正确答案,模型会白学很多没有必要的细节。这篇工作把每个平移和旋转维度划成顺序排列的许多小区间,再用共享权重的转置卷积给各个区间打出分数,让相邻区间的分数彼此相关。然后在这些分数上做归一化得到各区间的概率,连续动作取各区间中心按该概率加权的平均。在 LIBERO-Spatial 上,它用一成演示数据比同骨干的 OpenVLA-OFT 高出 21.4 个百分点;只用四分之一数据时成功率达到 95.0%。

Jingye Zhang, Choo Sin Wai, Dake Zhong, Zhifang Liu, Yuhong Zhang, Siyao Xiao, Guorui Song 等 11 人
arXiv·2026-11-06·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
05 4.30

ForPC: Force-Aware Whole-Body Control for Precise Humanoid Cart Pushing

人形机器人若能推已有的轮式推车,就能不改造场地搬运重物。可双手抓住车把后,接触力会反过来干扰平衡,载荷一变,这套耦合也会变。这篇工作用两阶段强化学习做力感知全身控制。第一阶段在不同手部负载和上身姿态下学一个步态先验并冻结它,后续任务策略把它的输出当作已经学会的受力支撑,只再学有限残差。第二阶段训练时,教师把仿真里的接触力和运动状态编成隐变量;部署时学生只从关节运动、力矩和车头朝向等机载观测推断它们。残差策略据此在有限范围内协调手臂、腰、腿和底盘速度。相对只走路的基线,推车速度误差最多降低 68.2%。策略只在仿真里训练,就能零样本迁到实体 Unitree G1,推动载重 30 千克的推车。

ZhenYu Zou, Xing Liu, ShiChuang Wang, YunLong Dong, LiNan Deng, Feng Hua, Jun Wan, Cheng Cheng
arXiv·2026-11-09·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
06 4.30

Horizon-Coupled Obstacle Guidance for Relative-Action Diffusion Policies

机器人上线后常常要避开训练时没见过的障碍,但又不能重新采集演示或再训练。已有的策略级引导往往只在一次预测出的动作序列的每一步上单独改一改,局部躲开了,却组不成一段完整、仍然朝向任务的绕行。这篇工作在推理时引导已经训好的相对动作扩散策略:先把累计的相对动作展开成工作空间轨迹,用带正负号的距离场判断轨迹是否穿进障碍,再在去噪时把每处避障修正分摊回所有贡献过的动作增量。在四个操作任务、七种有障碍场景里,无碰撞完成任务的比例是 75.0%;对照是对绝对动作逐步做引导,成功率只有 5.7%。

Guangyuan Wang, Haishan Xia, Zitao Zhang, Kejia Chen, Yuanchen Sun, Zhenguo Sun, Donghao Zhang 等 9 人
arXiv·2026-11-09·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
07 4.30

STEP: Spatiotemporal Training with Explicit Prediction for Perceptive Humanoid Locomotion

人形机器人上台阶、跨沟要靠深度相机看地形,但哪块地形要紧,取决于机器人自己的身体状态,以及两者在动作之后怎样变化。已有方法要么只把视觉和本体感觉的特征融合在一起,要么用一种信号预测同一时刻的另一种,都没有直接约束做完一个动作后状态会怎样变。STEP 在训练时加了两个预测任务:遮住一种信号,用另一种预测它的特征;再根据当前状态和执行的动作,预测下一时刻的融合状态。部署到真机上,它在台阶、高台、宽沟、梅花桩和倒着走楼梯等地形上,100 次试验成功 98 次,倒着走时它看不到身后的地形。相机画面缺失或延迟时,这两个预测任务也让策略更稳。

Youhao Lyu, Chenghao Sun, Zhenxuan Ding, Shuting Zhang, Ziyang Dong, Wenhao Cui
arXiv·2026-11-05·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
08 4.20

ODEAction: From Predicting Chunks to Evolving Actions

视觉-语言-动作模型通常按块预测动作,连续执行被切成一段段分开生成的片段,块与块交接处就可能不连续。这篇工作不再预测动作块,而是学习动作空间上的转移场:转移向量描述当前动作随积分时间变化的速率。执行时把当前已执行的动作当作初值,用欧拉法一类数值积分沿着这个场往前走;每积分一步就得到下一个要执行的动作,再以它为新的起点继续走,而不一次预测整段未来动作。它做成一个不绑定特定视觉语言骨干的动作头。在 LIBERO、EBench、RoboTwin 和真机上,它比对照的动作块基线更好,EBench 上的平均成功率相对提高了 61.8%。

Qishen Wang, Pengxiang Ding, Shifeng Bao, Mingyang Sun, Hengtao Li, Yi Gao, Baohua Yin, Yang Liu 等 17 人
arXiv·2026-11-09·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 4
09 4.20

DKWBC: Decoupling Motion Tracking and Balancing for Humanoid Whole-Body Control

人形机器人的全身控制既要跟上多样的参考动作,又要在重力、扭矩限制、接触切换和外界扰动下保持平衡。现有强化学习跟踪器往往让同一个网络同时输出跟踪和平衡,相近的参考姿态却可能对应很不一样的动力学需求,学习会变难,控制输出也容易出现高频抖动。这篇工作把基于模型的跟踪和学出来的平衡残差分开:用逆动力学前馈和关节比例微分反馈提供跟踪扭矩,残差策略只学为了站稳而额外需要的关节扭矩修正。仿真和真机实验显示,同一个平衡策略可以泛化到不同动作数据,在有负载和真实扰动时仍能跟上参考动作并保持平衡。在所有评估过的训练数据规模上,它都比重训的 SONIC 跟踪更准、成功率更高。

Dingkun Wei, Zehong Shen, Huaijin Pi, Xueyang Wang, Xing Zhu, Hujun Bao, Yujun Shen, Xiaowei Zhou
arXiv·2026-11-09·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 4
10 4.05

Spatial-UMI-Dream: Scaling World Action Models with Metric Geometry for UMI Manipulation

让人手持夹爪采集演示数据(UMI)很省事,也不依赖具体的机器人,但夹爪上的相机离物体近、还跟着手一起动,画面里分不清是相机在动还是物体在动,精细操作需要的真实距离和尺寸只能从 RGB 画面里间接猜。Spatial-UMI-Dream 用带深度的 UMI 数据预训练一个世界动作模型,同时预测未来画面、真实尺度的深度和动作。作者还搭了一个专门测换机器人、换环境的仿真基准。在机器人和环境同时换掉时,它的成功率为 72.15%,比最强的对比方法高 10.30 个百分点;在六个真实任务上平均成功率为 85.0%。补上深度,手持采集的数据更容易迁移到不同的机器人上。

Weiduo Yuan, Ze Yuan, Sihan Liu, Jionghao Wang, Liang Heng, Zhenyu Zhao, Yue Wang
arXiv·2026-11-04·Relevance 5 · Novelty 4 · Practical 3 · Evidence 4 · Timely 4
11 3.90

Should the Action Expert Train the VLM? Action-Token Supervision and Gradient Routing in Mixture-of-Transformer VLAs

训练 VLA 模型时,主流做法会挡住动作专家传回视觉语言模型的梯度,这篇论文发现这个默认做法并不总对。这类模型把一个预训练的视觉语言模型和一个输出连续动作的动作专家拼在一起;挡梯度是怕破坏视觉语言模型原有的能力,同时还另外让它学着预测编码了同一动作的离散 token。作者把这两件事拆开分别试,发现挡梯度看起来没坏处,主要是因为动作 token 的监督在补位。开环驾驶里,有这项监督时挡不挡梯度差不多;没有它时,放开梯度能让轨迹预测误差降低约 25%。两部分从头一起训练时,放开梯度让闭环驾驶的路线完成度提高约 17%,没有动作 token 监督时提高约 40%,机械臂操作也同样变好。挡梯度不该当成默认配方。

Asher James Hancock, Boyi Li, Yuxiao Chen, Shuhan Tan, Wenhao Ding, Thomas Tian, Yan Wang 等 9 人
arXiv·2026-11-03·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 4
12 3.90

From Pixels to Actions -- Towards Native Vision-Language-Action Policies

VLA 模型通常先用视觉编码器把图像压成特征再推理动作,这篇论文发现这一步会丢掉控制需要的信息,去掉独立的编码器反而控制得更好、更稳。机械臂操作靠的,往往正是最容易在压缩里丢掉的细节,比如局部几何、边缘、深度和细微的状态变化。NEO-VLA 去掉了独立的视觉编码器,图像只经过轻量的卷积切块,就和语言一起穿过整个主干,动作专家可以从不同深度取用已经结合了指令的视觉表示。对照实验里,这种原生结构稳定胜过带编码器的版本,全量微调和单纯加大规模都追不回这个差距。控制策略不该只拿视觉编码器的最终输出。

Weichen Fan, Haiwen Diao, Penghao Wu, Siyuan Hu, Ziqi Huang, Tianqi Liu, Mingze Sun, Ziyi Wang 等 17 人
arXiv·2026-11-04·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 4
13 3.75

WorldContact: A Contact-Centric World Model for Scalable Robot Learning

让机器人适应新物体和新任务需要大量交互数据,而购物袋这类软体物体的物理仿真很慢,仿真器得用很小的时间步,才能算清快速运动、防止物体互相穿透。WorldContact 用少量高质量轨迹训练一个以接触为中心的世界模型,用更大的时间步预测物体的运动,状态推演比原仿真器快 10 倍,这里不含渲染和读写盘的时间。用它扩充的数据微调一个现有的 VLA 策略后直接上真机,提袋子任务的单次成功率,从只用仿真数据时的 65% 提高到 95%。对软体操作来说,学出来的世界模型可以成为一个便宜的数据来源。

Caoliwen Wang, Mengdi Wang, Heng Zhang, Shixun Huang, Siyuan Chen, Chao Liu, Anpei Chen 等 10 人
arXiv·2026-09-17·Relevance 5 · Novelty 4 · Practical 3 · Evidence 3 · Timely 2
14 3.80

SLA: Scaling Spatial-Language-Action Model via Continual Pre-training

VLA 模型的视觉表示大多继承自二维的视觉语言预训练,空间理解往往要到具体任务微调时才补上,换个任务就得重来。SLA 把空间能力放进继续预训练:从预训练好的 π0.5 策略出发,一边学预测动作,一边让中间层的视觉特征对齐一个冻结的三维感知模型给出的空间表示。作者还把来源各异的机器人数据整理到一起,训练时随机丢掉机器人状态输入,逼模型多看画面。这些附加部件只在训练时使用,推理结构和原来完全一样。在八种真实部署条件下,它的成功率每一种都是对比方法里最高的。

Fuhao Li, Wenxuan Song, Qizhou Huang, Ziyang Zhou, Jingbo Wang, Junwu E, Pengwei Wang, Yan Wang 等 10 人
arXiv·2026-11-05·Relevance 4 · Novelty 4 · Practical 4 · Evidence 2 · Timely 4
15 3.50

Boston Dynamics adds wheels to Atlas humanoid to test whole-body control

Boston Dynamics 给 Atlas 人形机器人的脚换上了轮子,当作测试全身控制的实验平台,并明确说这不是产品。硬件上只多了一个定制转接件,把现成的滑板车轮圈装到原来的踝关节电机上;软件上把每个轮子当成能连续转动的踝关节来建模就行。控制上,经典的基于模型的电机控制负责基本稳定,全身强化学习策略根据本体感觉和速度指令实时调整姿态和用力,应对模型没考虑到的扰动和接触不理想的情况。这些动作都在仿真里学会后直接上真机,Atlas 能在平地上快速滑行,也能切回迈腿越过障碍。工程师的结论是,两种控制结合起来,比单用任何一种都更灵活。

技术博客·2026-11-09·Relevance 4 · Novelty 3 · Practical 3 · Evidence 3 · Timely 5
16 3.35

Make a Robot Arm Feel Weightless with NVIDIA Holoscan 5

用手拖着机械臂做示教时,控制一慢或一抖,重力补偿就会发沉、发颤。它本应让电机只出刚好托住自重的力,好让人轻松地带着手臂走。它要求根据当前关节状态,持续、低抖动地计算逆动力学。NVIDIA 的这篇教程用 Holoscan 搭了一个三节点的控制图:高频读取关节状态,用 Pinocchio 算逆动力学,再把力矩指令发给机械臂。关键做法是把控制节点放在同一个线程上,避免跨线程交接,队列只保留最新的样本。再把控制线程绑定到一个 CPU 核上,万次里最慢那几次的延迟在 C++ 版里降到约五分之一,在 Python 版里降低约 9.6 倍。实时控制的抖动,很多时候来自运行时的调度,而不在算法本身。

技术博客·2026-11-09·Relevance 3 · Novelty 3 · Practical 4 · Evidence 2 · Timely 5
17 3.25

AI WAVE收官丨便利店24小时直播战报出炉,智元推动Physical AI走向真实场景

AgiBot

机器人能不能在真实营业的门店里连续干活,比单项任务做得好不好更难验证。智元让 6 台精灵 G2 机器人在一家便利店里连续一整天在岗并全程直播,累计完成 1730 项任务,最后有 4 台通过考核,留了下来。这场直播是智元 AI WAVE 系列发布的收尾,同期发布的还有新一期数据集、仿真平台、具身 agent 框架和基座大模型等七项成果。公开信息只给了任务总数和留下的台数,没有拆出各类任务的成功率,但这类长时间、真实环境的连续测试,正是具身智能从演示走向上岗必须过的一关。

网页来源·2026-11-09·Relevance 4 · Novelty 2 · Practical 3 · Evidence 3 · Timely 5

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 5 个项目