2026-11-17 周二 · 具身智能

今日场景今天的具身智能赛道在问,策略和数据怎样更稳地从仿真或一种机器,走到真机和另一种机器上。有的工作只在仿真里用强化学习,让开源推理模型学会直接给出末端动作,再搬到真实双臂上;有的让双足人形完成从室内到室外的长程行走,并先在场地孪生里适配。行走配方被写进与身体对齐的公共关节空间,以便在不同人形间复用;目标导航则用新视角去改预测深度造成的地图错误。还有人从模型失败处长出再训练示范,或把视觉失效写成回到本体感觉的切换。接触丰富的操作里,有人让语言模型写出规划器能改的目标程序,有人用触觉补上只靠位姿看不到的力,也有人指出插入任务上没有一种视觉表示能处处最好。 — 评分 74 篇,入选 10 篇,分数 3.86 – 4.50

本期目录 · 10 篇
  1. 01Training Reasoning Models in Simulation to Natively Use Real Robots
  2. 02X-Nav Technical Report: Real-World Long-Horizon Indoor-to-Outdoor Navigation on a Humanoid Robot
  3. 03Reusing Locomotion Training Recipes Across Humanoids via Body-Aligned Virtual Joints
  4. 04ERA: Error-Resistant Autonomous Object Navigation with Predicted Depth
  5. 05Agentic-Teacher: An Agentic Data Engine for Failure-Driven VLA Post-Training
  6. 06Imitation Policies Learn a Proprioceptive Anchor: A Predictive Law for Perception Noise and Its Closed Loop Cost
  7. 07PROOF: Perceptive Robustness via Out-of-Distribution Fallback for Legged Locomotion
  8. 08Objectives as Policies: Vision-Language Model Cost Programs for Contact-Rich Manipulation
  9. 09On the Utility of Pre-Trained Visual Representations for Policy Learning of Contact-Rich Insertion Tasks
  10. 10TouchTwin: Scaling Human Touch Data via Real-to-Sim-to-Real
LEAD STORY · 今日必读

Training Reasoning Models in Simulation to Natively Use Real Robots

开源推理模型要直接操控真机,通常还差前沿闭源模型一大截,而且往往要靠示范或外部框架。作者只用仿真里的强化学习,让一个 27B 开源推理模型自己观察环境、写出思考过程并给出下一步末端位姿,训练中不用真机示范。仿真里在 LIBERO 上的成功率从 1.6% 提到 74.4%,已接近高推理强度下的前沿闭源模型。放到真实双臂上,试验中成功了六成,未训练的底座模型一次都没有成功,换任务时也比靠示范微调的动作模型更稳。先在仿真里把会用机器人训会,再搬到真机,不必先堆示范。推理、编程和视觉基准上也没有测到明显退步。对做通用机器人智能体的人来说,这把机器人使用当成基础模型后训练的一环。

相关 5新颖 4实用 4证据 4时效 5
4.40
综合分 / 5
偏好调整 4.50
Jiaming Tang, Zhuoyang Zhang, Junxian Guo, Fangzhou Zhao, Yilong Zhao, Zekai Li 等 11 人 · 2026-11-16 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.40

X-Nav Technical Report: Real-World Long-Horizon Indoor-to-Outdoor Navigation on a Humanoid Robot

AGIBOT

双足人形要从室内走到室外执行一条语言下达的长程任务,一路经过房间、门和马路,相机还跟着步态晃,这样的任务很少被真正跑通。作者只用自带彩色相机做导航,一个模型预测动作,另一个预测目标,再由智能体流程把简短指令拆成子任务并加上避障。在灵犀 X2 上,它完成了从办公楼大堂到隔壁商店、大约一百米的任务,途中能改目的地并绕过障碍。用场地数字孪生的数据适配后,孪生里闭环成功率从 40% 提到 80%,再把模型放到真机上。长程室内到室外任务,要先把指令拆开,并在场地孪生里把模型适配好。对要让人形自己走到工位的人来说,这给出了一条可部署的流程,而不只是在仿真基准上刷分。

Jiaxin Huang, Chengxing Lin, Xiaoyu Luo, Sirui Chen, Jingyu Guo, Aolin Li, Kairui Chen, Rui Zhen 等 13 人
arXiv·2026-11-16·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
03 4.40

Reusing Locomotion Training Recipes Across Humanoids via Body-Aligned Virtual Joints

人形行走策略常常直接输出各关节的原生角度,奖励和动作限制也写在这套各不相同的坐标里,一台机器上调好的配方很难搬到另一台。作者在原有底层控制之前加了一层与身体对齐的虚拟关节空间:策略按统一的解剖约定输出,再映射到各机的原生关节。同一套未修改的配方用在三条腿轴布局不同的人形上,只有这一接口能在三台上都跟准速度、让脚朝向行进方向,训练也更稳。装到宇树 G1 真机上,航向角速度从原生坐标的每秒 5.31 度降到 0.89 度,漂移大约只有原来的六分之一。先把动作写到对齐身体的公共坐标里,训练配方才更容易在不同人形之间复用。对要在多款人形上复用行走训练的人来说,这比每台再调奖励省事。

Sol Choi, Mingon Kim, Seokin Seo, Jongeun Choi, Donghyeon Kim, Yisoo Lee
arXiv·2026-11-16·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 4.40

ERA: Error-Resistant Autonomous Object Navigation with Predicted Depth

只用彩色图像预测深度,就可以在没有深度相机时做目标导航,可如果把预测深度当成传感器读数写进地图,视点相关的误差会越积越多,探索还没来得及用新视角纠正就结束了。作者做了一个不必再训练的系统:一边走一边用新视角修正地图,没有前沿时仍从可到达的视点继续找,并在多视角确认目标后才停下。在三个基准上,它是不使用深度传感器、也不额外训练的方法里最强的。把同一套预测深度接到已有系统上,成功率从 10.8% 提到 61.7%,真机上也做了部署。预测深度的误差要靠走动带来的新视角来改,而不能当成可靠读数一次写进地图。对要降低传感器配置的室内导航来说,关键是让地图可改、探索可继续。

Shunyang Huang, Shuo Wang, Wenyuan Xie, Mingyu Lin, Yue Ding, Hongtao Lu
arXiv·2026-11-16·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 4.10

Agentic-Teacher: An Agentic Data Engine for Failure-Driven VLA Post-Training

要提高已经预训练好的视觉-语言-动作模型,需要的是针对它失败之处的示范,而不是任意一次成功执行。编码智能体可以自己在环境里滚出轨迹,可成功跑完并不等于这些数据适合再训练。作者做一个由失败驱动的数据引擎:分析失败回放、选干预状态,迭代写出闭环代码策略,再从模型容易失败的状态采集成功续段,并加上噪声、删空转、用底座模型损失过滤。在仿真里,LIBERO-10 的成功率从 79.4% 提到 87.8%,另外两个套件上也有提升,更新后的策略不再需要编码智能体。再训练用的示范,应当从模型失败的地方长出来,并先经过筛选。对这类模型的后训练来说,这把找弱点、造数据和筛数据连成了同一条流水线。

Yuqing Xie, Yixian Zhang, Feng Gao, Shu' Gongyue Teng, Jiaji Rao, Sukai Wang, Guanghui Ren, Ya Zhang 等 12 人
arXiv·2026-11-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
06 4.10

Imitation Policies Learn a Proprioceptive Anchor: A Predictive Law for Perception Noise and Its Closed Loop Cost

模仿策略常常在带噪声的物体位置读数上训练,并学会把读数打折。示范时人朝物体走,机器人自身状态里已经带着物体在哪的信息,训练好的策略会把这个本体感觉锚点与读数合在一起,噪声越大,读数权重越低。锚点误差属于学习器自己,远小于用示范做线性估计得到的值,所以经典方法会高估这个权重。用测到的锚点误差去预测预留条件下的灵敏度,平均绝对误差只有 0.025,经典方法则是 0.37。折扣并不能原样带到线上:闭环里策略自己产生状态,对持续读数偏差会更敏感。结果都在仿真里,噪声是人为加的。训练时对噪声读数的折扣,不能当成部署时同样生效。对有噪声感知下的模仿学习来说,要单独检查闭环对偏差有多敏感。

Christopher Malili
arXiv·2026-11-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
07 4.05

PROOF: Perceptive Robustness via Out-of-Distribution Fallback for Legged Locomotion

腿式机器人靠视觉做感知运动时,能在复杂地形上跑得较稳,但可一旦遇到遮挡、反光或光照剧变,视觉失效,运动也常一起垮掉。作者把严重的感知失效不当成普通噪声,而是当成应当停用外部视觉、改回本体感觉的条件。教师网络同时学会靠视觉运动和靠本体感觉兜底,学生网络则估计外部特征及其不确定性,在分布外输入上把这些特征压下去。在装了深度相机的宇树 Go2 上,正常视觉下能完成跨越大间隙、高台和窄梁等动作,严重遮挡和强光照变化时仍能稳定行走。视觉不可靠时,应当关掉外部特征并回到本体感觉,而不是继续信任已经坏掉的观测。对室外或灯光复杂的四足运动来说,这把感知失效写成可切换的控制模式。

Siyuan Wang, Dongjie Zhu, Jinxuan Lu, Wenjun Xu, Jiankun Wang
arXiv·2026-11-16·Relevance 5 · Novelty 3 · Practical 4 · Evidence 3 · Timely 5
08 4.05

Objectives as Policies: Vision-Language Model Cost Programs for Contact-Rich Manipulation

把视觉语言模型和模型预测控制连在一起,本可以同时用上语义推理和基于物理的规划,可接触丰富的操作还缺一种两者都读得懂的任务表示。作者让预训练视觉语言模型写出可编辑的目标程序:分阶段规定代价和完成条件,先在由真实场景重建的数字孪生里用规划器执行并改程序,再部署到真机,模型权重不用更新。在四个桌面任务的仿真里,两轮反馈后成功率达到 90%。把仿真中成功的程序拿到真机并改动物体位置后,四十次执行里成功了三十二次。语言模型不必直接输出力矩,它可以先写出规划器能执行和修改的目标程序。对接触丰富的桌面操作来说,这把语义指令落到可在孪生里试错、再搬到真机的代价程序上。

Zihao Lu, Trong Gia Hung Nguyen, Fuquan Wang, Yifan Zhu
arXiv·2026-11-16·Relevance 5 · Novelty 4 · Practical 3 · Evidence 3 · Timely 5
09 4.10

On the Utility of Pre-Trained Visual Representations for Policy Learning of Contact-Rich Insertion Tasks

视觉模仿学习做真实机器人操作时,往往既费数据,又容易被无关的视觉变化带偏。预训练视觉表示本应带来帮助,可哪一种最适合机器人,已有结论常冲突。作者把问题收到接触丰富的插入任务上,比较常用视觉基础模型与一种显式刻画接触的表示,并沿遮挡和公差做扰动,再看结论能否搬到真机。哪怕两个插入任务几乎一样,最优表示也会不同,很小的改动会让趋势难测。仿真和真机都表明,接触中心的信息对这类策略最有稳定帮助,只是在真实视觉噪声下很难估计得可靠。接触丰富的操作,不能指望同一种视觉预训练表示到处都最好。对做插入、装配的人来说,更值得投入能稳定估计接触的感知,而不是只换更大的视觉模型。

Leon Kim, Dinesh Jayaraman, Michael Posa
arXiv·2026-11-16·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
10 3.85

TouchTwin: Scaling Human Touch Data via Real-to-Sim-to-Real

灵巧操作越来越依赖人类示范,再通过仿真把一条示范放大许多倍。这类流水线通常靠视觉重建手怎么动,可哪根手指碰到了、用了多大力,仍然观察不到,因为手部位姿只说明手指停在表面何处,而不是它被驱动着合上了多少。预留录制上,只模仿观察到的位姿,抓取力只有记录值的 0.31 倍;作者用带触觉的手套录下真实触碰,在仿真里按记录的接触和闭合力量放,训练出的策略抓取力达到记录值的 0.99 倍,接触预测也更准。只看手停在哪,补不出它到底用了多大力,触觉记录才能把这个力的缺口补上。对要放大灵巧示范的人来说,仿真回放应对齐的是触碰和力,而不只是看得见的手部位姿。

Huiwen Han, Nuo Chen, Ziyao Zeng, Dayou Li, Hao Wang, Amir Hossein Rahmati, Xiaoning Qian 等 9 人
arXiv·2026-11-16·Relevance 4 · Novelty 4 · Practical 3 · Evidence 4 · Timely 5

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 5 个项目
internlm/WildClawBench-TrajectoriesWildClawBench Trajectories What 12 frontier models did on 60 real-world agent tasks, step by step, with the score of every run 720 graded trajectories. 12 models. 15,678 model steps. 17,206 tool calls. 90 hours of agent time. Every model on this list ran the full WildClawBench su; tags: task_categories:text-generation, language:en, language:zh, license:mit, size_categories:n<1K, format:json, modality:tabular, modality:textdataset · ★ 8 · 2026-07-30 · HuggingFacedeepseek-ai/DeepSeek-V4.1-Flash-1017pipeline: image-text-to-text; tags: transformers, safetensors, deepseek_v41, text-generation, image-text-to-text, conversational, license:mit, eval-resultsmodel · ★ 5785 · 2026-10-17 · HuggingFaceinternlm/WildClawBenchWildClawBench Hard, practical, end-to-end evaluation for AI agents — in the wild. WildClawBench is an agent benchmark that tests what actually matters: can an AI agent do real work, end-to-end, without hand-holding? We drop agents into a live OpenClaw environment — the same open-; tags: benchmark:official, task_categories:visual-question-answering, task_categories:image-text-to-text, task_categories:question-answering, language:en, language:zh, license:mit, size_categories:n<1Kdataset · ★ 73 · 2026-03-24 · HuggingFaceinternlm/Sage-S2.1-Flashtags: safetensors, glm5_next, region:usmodel · ★ 46 · 2026-11-15 · HuggingFaceinternlm/Sage-S2.1-Flash-FP8tags: safetensors, glm5_next, fp8, region:usmodel · ★ 5 · 2026-11-13 · HuggingFace