2026-11-11 周三 · 具身智能

今日场景今天的具身智能论文大多在问同一件事:通用机器人模型怎么从演示走到稳定部署。Kimodo-Policy 和 SWAM 在换预训练的底子,前者直接冻结动作生成模型当主干,后者用大规模视频和人手演示预训练世界动作模型,发现文字标注的细致程度会影响控制。DASH 把慢主干从控制回路上拆下来,CTR 重排双臂示教的时间,去掉策略从示教顺序里学到的虚假依赖。触觉传感器在接触密集的任务上能顶替腕部相机,AnchorQ 用一小批有含义的候选动作微调冻结策略。 — 评分 222 篇,入选 10 篇,分数 4.20 – 4.69

本期目录 · 10 篇
  1. 01Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation
  2. 02Learn the Task, Not the Schedule: Reducing Spurious Cross-Arm Coupling in Bimanual Imitation Learning
  3. 03Kimodo-Policy: Learning Kinematic Action Models for Humanoid Loco-Manipulation
  4. 04SimDuoReal: Object-Centric Bimanual Policy for Emergent Dexterity
  5. 05Tactile Sensors Are an Effective Substitute for Wrist Cameras in Contact-Rich or Occluded Manipulation
  6. 06Compass 1: Towards Open-World and Persistent Embodied Navigation from Monocular RGB Videos
  7. 07Gemini Robotics 2.5 accelerates real-world general dexterity
  8. 08SWAM: Scaling World Action Models with Cross-Modal Alignment
  9. 09Decoupled Asynchronous System for Humanoids (DASH): Latency-Agnostic Scaling of Vision-Language-Action Models for Humanoid Manipulation
  10. 10Sample-Efficient Reinforcement Learning for Policy Improvement via Flow-Reversed Action Anchors
LEAD STORY · 今日必读

Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation

仿真一直是机器人学走路的训练场,NVIDIA 现在想把它用到对齐齿轮、插线缆这种细活上,难点在于零件只有毫米级,按任务分开训练既费 GPU,成功率也上不去。它在 CoRL 上公布的一批工作里,AlphaNIST 最能说明进展:一个策略学会 NIST 装配板上的全部任务,训练时只拿到成功或失败这一个信号。它的训练成功率超过 98%,每个任务单独训一个策略只有 81%,用掉的 GPU 时间还少了约 39 倍。背后的采样方法很朴素,优先练策略成功率约一半的任务,把练习集中到还没学会的技能上。训练资源该投给半会不会的部分,做推荐的人给难样本加权时也在做同一件事。

相关 5新颖 4实用 5证据 4时效 5
4.65
综合分 / 5
偏好调整 4.69
2026-11-09 · 技术博客

今日其余入选

9 篇 · 按综合排名
02 4.40

Learn the Task, Not the Schedule: Reducing Spurious Cross-Arm Coupling in Bimanual Imitation Learning

📖 深度解读 · 18 分钟 →

双臂机器人的示教里,两只手谁先动往往只是操作员的习惯,模仿学习却分不清哪些先后是任务要求、哪些只是碰巧,于是一只手被暂停时,另一只手也跟着等。作者查了四个公开双臂数据集,可以换顺序的任务里极少录到多种顺序,多采同样顺序的数据也解决不了。CTR 把每只手的录像切成片段,在保住必要先后关系(抽屉开了才能放东西)的前提下重新排时间,不用新采数据。

Shuyuan Hu, Deng-Ke Wu, Yifan Jin, Qianhang Luo, Mingchen Ju, Kai Ye, Bo Zhao
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
03 4.40

Kimodo-Policy: Learning Kinematic Action Models for Humanoid Loco-Manipulation

人形机器人边走边拿东西时,躯干、手臂和腿要一直配合,现有的视觉语言动作模型和世界动作模型从预训练里继承的是语义和画面变化规律,身体该怎么协调还得靠下游任务慢慢学。这篇换了预训练目标,直接拿一个由文字生成全身动作的模型当主干并冻结,只训练把摄像头画面接进去的小分支和手部控制。换成同样结构、随机初始化再训练,物体交互任务的成功率从 51.67% 掉到 18.33%,说明继承来的动作规律确实有用。真机八个任务平均成功 60%,仿真榜单上则只小幅领先。把动作本身当预训练目标,下游只需学怎么接上画面,这和推荐里冻结预训练模型、只训适配层是同一种做法。

Yunheng Wang, Jiaxi Zhang, Wei Lu, Yuetong Fang, Taowen Wang, Yixiao Feng, Shuning Zhang, Junzhe Xu 等 15 人
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 4.40

SimDuoReal: Object-Centric Bimanual Policy for Emergent Dexterity

让两只灵巧手配合,难处在于要指定哪只手动、什么时候交接,过去多靠给每种行为写奖励或技能序列,换个任务就得重写。这篇试的是另一条路:奖励只围绕物体来写,看物体有没有到达目标位姿、该碰它的手有没有碰到,变的只是训练环境。比如把目标放到另一只手的工作区,物体不交接就到不了,抓取、手内调整和交接都这样训练出来了。三个专家策略再蒸馏成一个,真机上换没见过的物体做四个任务,不做任务微调,成功率 76.3%。仿真扫码任务上它达到 85.0%,不会交接的两个单臂策略只有 60.4%。工程量从写奖励挪到了设计训练分布,做推荐的人调样本分布时也是这种取舍。

Qiyang Yan, Yulin Liu, Akash Sharma, Haozhi Qi, Guanya Shi, C. Karen Liu
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 4.40

Tactile Sensors Are an Effective Substitute for Wrist Cameras in Contact-Rich or Occluded Manipulation

腕部相机几乎是机械臂策略的标配,可手指一合,真正接触的地方相机也看不到。已有工作证明触觉有帮助,却没回答它能不能直接顶替腕部相机。作者在夹爪内侧贴了两片低成本触觉阵列,把读数当成两路额外图像输入同一个 ACT 策略,演示数据和训练设置都不变。在取物、插插头、擦白板三个接触密集的任务上,加触觉、去掉腕部相机的策略,成功率都高于只用视觉、带腕部相机的策略,其中两个任务差异显著,从不透明袋子里取物时分别是 81.7% 和 50.0%。两路都加并没有稳定变好。视觉把手带到接触点,接触之后的状态要靠触觉,给排序模型加特征时,也是能补上盲区的信号最值钱。

Aijia Yang, Arsh Tangri, Sergey Zakharov, Krishna Murthy Jatavallabhula
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
06 4.40

Compass 1: Towards Open-World and Persistent Embodied Navigation from Monocular RGB Videos

导航模型通常只用得上最近几帧画面,要它绕回一个早已看不见的目标基本做不到,把全部历史帧塞进去,注意力质量下降,计算开销也很重,按固定间隔抽帧又会丢信息。Compass 1 把走过的轨迹画成一张二维地图,标上关键帧编号和朝向,和稀疏的关键帧一起当普通图片输入,模型结构不改。只给地图没用,主干会忽略它,所以训练时加了问答监督,问目标出现在哪一帧、现在该往哪个方向走。真实场景的综合成功率 79.4%,最强对比方法 17.8%。绕回看不见目标的最难任务上,对比方法全部失败,它做到 58%。历史要压缩,还要有监督逼模型去用,长期行为序列建模卡的也是这一点。

Hai Zhang, Siqi Liang, Yanjun Guo, Shoufeng Zhang, Yunhao Wang, Hangyu Du, Haoguang Mai, Hongchen Li 等 20 人
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
07 4.40

Gemini Robotics 2.5 accelerates real-world general dexterity

通用机器人策略已经能听懂指令、做不少事,要到能部署的可靠程度仍然很难。DeepMind 这次发布 Gemini Robotics 2.5,称它是自家能力最强的视觉语言动作模型,这类模型读入画面、机器人状态和文字指令,直接输出接下来的一串动作。官方把这次升级的卖点落在手更灵巧、执行更可靠、行为更安全上,标题强调的则是在真实世界里做通用的灵巧操作。今天这条赛道的其他论文也在补同样的缺口,比如用触觉补上相机看不到的接触,用强化学习把冻结的通用策略调得更可靠。把可靠和安全放进头条卖点,比拼的重心在往部署挪,这和线上系统不能只看离线指标是同一种考虑。

技术博客·2026-11-09·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
08 4.65

SWAM: Scaling World Action Models with Cross-Modal Alignment

世界动作模型同时预测未来画面和机器人动作,通常从视频预训练出发,已有工作默认视频模型学到的文字和画面对应关系在加上动作训练后还在,数据和标注该怎么配也缺少系统的指导。这篇用约 47,000 小时的通用视频、第一视角视频、手持夹爪演示和机器人数据逐项做对照,发现文字标注的质量直接影响控制。同样的训练量,把子任务描述从一句动宾短语写成逐步过程,再补上场景和光照,换了背景、光照等条件的仿真任务上成功率从 47.20% 升到 55.04%。第一视角视频和手持夹爪演示混合训练,也好于只用其中一种。写得更细的文字描述,最后变成了更好的动作,做多模态预训练值得先查标注。

Yu Zhou, Xinyuan Xia, Xuankun Yang, Yinghao Yang, Wendi Chen, Bowen Liu, Jianhan Ma, Weicheng Duan 等 11 人
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 5 · Evidence 4 · Timely 5
09 4.30

Decoupled Asynchronous System for Humanoids (DASH): Latency-Agnostic Scaling of Vision-Language-Action Models for Humanoid Manipulation

视觉语言动作模型的主干算得慢,机器人又不会停下来等,动作总是基于过时的画面算出来,主干越大越严重,部署时只好选小主干。DASH 把慢的主干和快的动作头拆成并行进程,动作头读取主干最新的语义输出,再配上自带视觉编码器算出的最新画面特征,控制频率只由动作头决定。主干从最小换到最大,控制频率稳定在 20 Hz,同步方案从 9.7 Hz 掉到 4.1 Hz。光拆开还不够,用对齐数据训练的异步版本并不比同步好,要在训练时故意给动作头配上旧的语义特征和新的画面,成功率才超过同步。训练样本的时间错位要和线上一致,这和推荐里训练与线上特征时效要对齐是同一回事。

Bingzhang Wang, Nathan Zhao, Jialeng Ni, Jiajin Zheng, Yin Zhang, Kehua Chen, Jian Yao
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
10 4.40

Sample-Efficient Reinforcement Learning for Policy Improvement via Flow-Reversed Action Anchors

想让冻结的通用机器人策略在具体任务上变好,常见做法是用强化学习搜索它生成动作时的初始噪声,可噪声空间里哪个方向对应什么动作没有规律,线上交互又贵,探索很低效。AnchorQ 先把朝六个方向平移这类粗动作反推回噪声,每一步得到一小批有含义的候选(论文叫锚点),再在候选附近采样微调,价值网络挑出得分最高的那个。同样 50 万步交互,一组仿真任务的成功率达到 95.5%,直接搜噪声的 DSRL 是 48.3%。真机上交互预算很少,它在三个任务上也都胜过 DSRL。先圈出一批有含义的候选再局部细化,读起来就是搜索里先召回再精排的思路,探索预算紧的时候比在连续空间里盲搜省得多。

Carl Qi, Weijun Dong, Xiaojie Wang, Peiyi Chen, Rahul Sajnani, Mingyuan Zhang, Amy Zhang 等 11 人
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 5 个项目