2026-11-18 周三 · 具身智能

今日场景今天的具身智能赛道在问,模型和数据怎样穿过不同身体、不同传感器,以及仿真和真机之间的缝。一组世界-动作模型不再把几乎不动的背景再预测一遍,而是去学画面里真正在变的部分,有的在执行前先用自己提出的动作去改对未来的想象,再把动作收紧。另一组把异质触觉收成可共用的表示,有的锚定到六维力和力矩,有的先映到同一套指尖坐标。人形这边,有人只靠眼镜视频在仿真里生成可验证的全身轨迹,不必先在真机上录示范,有人用触觉历史在真机上零样本拧开圆形门把手,也有一条抓取策略想跨过多种臂和手。同日的综述提醒,仿真基准上接近满分,并不等于物体或相机稍一移动还站得住。 — 评分 180 篇,入选 10 篇,分数 3.49 – 4.70

本期目录 · 10 篇
  1. 01Ego2Sim2Humanoid: Agentic Real-to-Sim for Learning Loco-Manipulation VLAs without Robot Demonstrations
  2. 02ResWAM: Learning What Changes, Not What Stays, for World-Action Models
  3. 03TMA: Sim-to-Real Forceful Humanoid Manipulation via Tactile-Driven Motor Adaptation
  4. 04DexFormer 2.0: Towards a Cross-Embodiment Foundation Policy for Dexterous Grasping
  5. 05Learning Heterogeneous Tactile Representation for General Dexterous Manipulation
  6. 06TaF-Foundation: Wrench-Grounded Cross-Sensor Tactile Representations
  7. 07DiffWAM: Learning World Action Model from Consecutive Visual Difference
  8. 08ThinkWAM: Rethinking Latent Futures for Action Refinement
  9. 09Action Intent as a Bridge: Transferring Manipulation Knowledge from Human-Centric Videos to Robots
  10. 10Vision-Language-Action Models: A Life-Cycle Survey of Design, Training and Deployment
LEAD STORY · 今日必读

Ego2Sim2Humanoid: Agentic Real-to-Sim for Learning Loco-Manipulation VLAs without Robot Demonstrations

用第一人称眼镜录下人的操作,虽然不必占用真机,可人的身材和手型跟机器人不同,把人手动作直接搬过去,常常够不着也抓不稳。这套方法从眼镜画面和头部轨迹重建场景,规划出机器人够得着、不穿透物体的站位和抓取,再在物理仿真里补全全身动作,并按机器人相机视角渲染训练画面。只靠这批转换数据、不用目标任务的真机示范,微调后的全身 VLA 在 Unitree G1 上二十次试验里,有九次举起瓶子(45%),有五次把帽子戴到头上(25%)。先把人的录像变成物理上站得住的机器人轨迹,再拿去微调。对要给人形收集边走边操作数据的人来说,录制时可以只戴眼镜,不必把机器人也占上。

相关 5新颖 5实用 4证据 3时效 5
4.55
综合分 / 5
偏好调整 4.70
Chen Liu, Nikolaus Correll · 2026-11-17 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.50

ResWAM: Learning What Changes, Not What Stays, for World-Action Models

Michigan State UniversityCiscoUniversity of MichiganIBM

给动作策略再加未来预测,本意是让模型想到动作会怎样改变世界,可一段动作里画面往往几乎不动,完整未来的损失就被静止背景带走。这篇工作只在冻结的视觉特征里监督当前帧到未来帧的残差,残差更集中在机械臂和被操作的物体上。据此做出的残差世界-动作模型总参数约二十三亿,不用在基准以外的机器人轨迹上预训练。真机上打开、放置和码放三项任务平均成功率 80.0%,比最强对照高出 10 个百分点,单段动作推理只要 92.7 毫秒。要学的是画面里正在变的部分,而不是把没动的背景再抄一遍。对要在真机上闭环部署的人来说,计算可以花在变化上,而不必再背一个沉重的视频生成模型。

Chongyu Fan, Gaowen Liu, Ramana Rao Kompella, Jason Corso, Sijia Liu
arXiv·2026-11-17·Relevance 5 · Novelty 4 · Practical 4 · Evidence 5 · Timely 5
03 4.40

TMA: Sim-to-Real Forceful Humanoid Manipulation via Tactile-Driven Motor Adaptation

AmazonRice UniversityUniversity of MarylandUT AustinUniversity of Michigan

人形在带铰链的环境里做全身操作,过去多半靠几何对准,可要用力拧开圆形门把手,还得在真实接触里随时改力,整机还不能失去平衡。这套方法把策略学习围绕手指能感觉到的接触来组织,并根据触觉历史在线改运动。上肢策略与预先训练好的行走控制器一起协调,完全在仿真里训练,再零样本搬到装有多指手的 Unitree G1 上。仿真里用完整触觉时开门成功率 80.9%,只用是否接触则是 73.6%。真机上四种市售旋钮、每种十次、不再微调,它明显优于只靠本体感觉适应的对照。在不能靠关节回推出力的手上,光看本体感觉,看不出该用多大力。对要人形去开真实房门的人来说,力和接触历史得写进适应环里。

Yiting Chen, Kelin Yu, Sarthak Kaingade, Bryan Trinh, Kaiyu Hang, Roberto Martin-martin, Nima Fazeli 等 8 人
arXiv·2026-11-17·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 4.40

DexFormer 2.0: Towards a Cross-Embodiment Foundation Policy for Dexterous Grasping

HKUST (Guangzhou)BrainCoChongqing UniversityWuhan University

灵巧抓取的策略通常按一只胳膊配一只手来训练,每多一种搭配就要再训一条。难处在于不同机器人的关节数量和布局都不一样,观察和动作没有共用接口。这条强化学习策略把每台机器人映到带有效掩码的标准关节接口上,用运动学树偏置注意力,再用短时记忆从最近交互里推断这具身体的动力学。它在十八种臂手搭配上训练,在见过的组合上稳定成功率 89.01%,在训练时没见过的六种搭配上是 51.18%。在真实 Flexiv 臂上,仿真里蒸馏出的学生策略可零样本部署,不必再做真机微调。先把不同臂和手写成同一套关节接口,一条策略才有机会跨身体复用。对产线里要换手或换臂的人来说,这比每换一副搭配就重训一条更省事。

Lixin Xu, Ke Zhang, Xinyu Liu, Jie Tan, Senming Tan, Jiaju Yin, Yating Feng, Xiaoyi Lin, Xiyue Dong 等 10 人
arXiv·2026-11-17·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 4.20

Learning Heterogeneous Tactile Representation for General Dexterous Manipulation

Robbyant

接触丰富的灵巧操作离不开触觉,可压阻、磁感和视觉触觉的信号形貌不同,策略很难直接吃进去。这篇工作把不同传感器的触点先映到同一套指尖坐标里,用一个编码器在潜空间里做自监督预测,得到可插进现有策略的触觉 token。编码器保持冻结,在二十六项真机双臂任务上,它把四种策略的平均成功率提高了 13.9 到 24.8 个百分点。若只是把原始触觉信号加进去,最多只能拿到大约一半的提升,有时还会干扰本来已经会用的视觉。先把不同传感器读成同一套指尖表示,策略才能用上接触,而不是被原始信号拽偏。对要在多种手上复用触觉数据的人来说,关键是先有一套跨传感器的表示。

Bing Han, Yichuan Peng, Haoyu Dong, Yuanmeng Hu, Yongyi Jia, Fangjing Wang, Kecheng Zheng 等 19 人
arXiv·2026-11-09·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 3
06 4.50

TaF-Foundation: Wrench-Grounded Cross-Sensor Tactile Representations

不同原理的触觉传感器观测格式对不上,一套表示很难从一种硬件转到另一种。这篇工作把触觉表示锚定在六维力和力矩上,让不同传感器都与力和力矩成对,而不要求传感器之间直接对齐触觉信号。他们从四个家族的二十四只传感器上收集了超过一亿对观测,靠重建力和力矩把不同读数映到同一套特征里。在核心基准上,单帧力误差比最强对照降低 17.1%,跨传感器检索第一名命中率提高 13.11 个百分点。接到策略后,四项真机任务平均成功率 46.25%,最强对照是 23.75%。不同触觉传感器要对齐,先对齐它们共同的力和力矩。对混用多种触觉硬件的人来说,这不必再做传感器两两配对。

Jiaming Jiang, Yuzhe Huang, Baokun Yang, Hao Liang, Li Gao, Haoran Guo, Pei Lin, Shengcheng Luo 等 11 人
arXiv·2026-11-17·Relevance 5 · Novelty 5 · Practical 3 · Evidence 5 · Timely 5
07 4.50

DiffWAM: Learning World Action Model from Consecutive Visual Difference

世界-动作模型会同时预测未来画面和机器人动作,可未来状态把任务相关的变化和大量不动的背景缠在一起,模型就不容易抓住真正影响执行的那些改变。这篇工作在预测未来状态的同时,再单独预测相邻观测在潜空间里的差值,给时间上的变化一条明确的学习信号。部署时可以把负责未来和差值的分支拿掉,不增加额外推理开销。在 LIBERO 上平均成功率 98.8%,在三项真机操作上是 88.3%,比最强对照高出 15 个百分点。训练时把变化单独学出来,部署时可以把预测未来的分支卸掉,不必为此拖慢控制。对已经在用这类模型、却担心推理变慢的人来说,这把训练信号和上线路径分开了。

Xinheng Zhang, Haoyu Xiong, Chao Jing, Xiaohan Zhang, Linshan Li, Hongbang Fan, Xingyu Chen
arXiv·2026-11-17·Relevance 5 · Novelty 4 · Practical 4 · Evidence 5 · Timely 5
08 4.50

ThinkWAM: Rethinking Latent Futures for Action Refinement

世界-动作模型一边出动作、一边预测未来,可第一稿动作片段常常有缺陷。若未来预测并不以这稿动作为条件,它就反映不出这些动作会怎样改写视觉表示,执行前也就很难据此把动作改好。这篇工作让策略先提出完整一段动作,再用它修正多个时间范围的未来潜变量,把修正后的未来注入同一个动作头的第二遍,得到真正执行的片段。在不做分布外微调的 LIBERO-Plus 上成功率 84.76%,在三种真机分布外条件下平均 64.4%,真机上一段动作的两遍推理平均只要 101.2 毫秒。先用自己提出的动作去改对未来的想象,再根据改过的未来把动作收紧。对要在发出去之前改一稿的人来说,未来预测应当看到即将执行的那一段。

Haoyun Tang, Baqiao Deng, Enjin Zhou, Songwen Tian, Keyao Xu, Bowen Jing, Kun Wang, Ke Ma 等 10 人
arXiv·2026-11-17·Relevance 5 · Novelty 4 · Practical 4 · Evidence 5 · Timely 5
09 3.85

Action Intent as a Bridge: Transferring Manipulation Knowledge from Human-Centric Videos to Robots

视觉-语言-动作模型要泛化操作,往往还得靠昂贵的真机数据。现成的人类视频本来是更可扩展的路,可现有方法抽出的潜动作常常和场景噪声缠在一起,迁过去的知识就被稀释了。这篇工作用一个人和机器人共用的动作意图来做迁移,先从视频里抽出意图,在共享空间里对齐两个领域,再解码成可执行的动作。在十二项真机任务上平均成功率 82.08%,比同样用人类视频预训练的对照 70.42% 更高。人和机器人之间要迁的,应是干净的动作意图,而不是和某一场景绑在一起的潜动作。对想用人类视频补真机示范不足的人来说,先约定双方都认得的意图,再解码成关节动作,比直接对齐视频特征更稳。

Zhiqian Xia, Lianyang Ma, Haifeng Xia, Siyu Xia, Wei Wang, Xiaochun Cao
arXiv·2026-11-03·Relevance 5 · Novelty 4 · Practical 3 · Evidence 3 · Timely 3
10 3.40

Vision-Language-Action Models: A Life-Cycle Survey of Design, Training and Deployment

Witsense AIUniversity of Huddersfield

视觉-语言-动作模型在常用仿真基准上已接近满分,可这些分数并不等于物体或相机稍一移动还站得住。这篇综述沿设计、训练和部署的生命周期,梳理了二〇二二年十二月到二〇二六年十月的八十八项工作。训练数据已从遥操作真机扩展到社区轨迹和第一人称人类视频,模型也分成了三十到七十亿参数的主流,以及能在消费级 GPU 上跑的十亿以下一组。更要紧的是,标准 LIBERO 上超过 90% 的模型,在物体稍稍离开训练位置时成功率会掉到零。改相机视角或起始姿态时,成功率会从约 95% 降到 30% 以下。只看接近满分的仿真分数,看不出模型在稍有变化的场景里有多脆。对要选模型或报结果的人来说,应补上扰动测试,并写清训练数据和延迟。

Suvarna Kadam, Soran Parsa
arXiv·2026-11-13·Relevance 4 · Novelty 2 · Practical 4 · Evidence 3 · Timely 4

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 5 个项目
internlm/WildClawBench-TrajectoriesWildClawBench Trajectories What 12 frontier models did on 60 real-world agent tasks, step by step, with the score of every run 720 graded trajectories. 12 models. 15,678 model steps. 17,206 tool calls. 90 hours of agent time. Every model on this list ran the full WildClawBench su; tags: task_categories:text-generation, language:en, language:zh, license:mit, size_categories:n<1K, format:json, modality:tabular, modality:textdataset · ★ 8 · 2026-07-30 · HuggingFaceinternlm/Sage-S2.1-Flashtags: safetensors, glm5_next, region:usmodel · ★ 90 · 2026-11-15 · HuggingFaceinternlm/WildClawBenchWildClawBench Hard, practical, end-to-end evaluation for AI agents — in the wild. WildClawBench is an agent benchmark that tests what actually matters: can an AI agent do real work, end-to-end, without hand-holding? We drop agents into a live OpenClaw environment — the same open-; tags: benchmark:official, task_categories:visual-question-answering, task_categories:image-text-to-text, task_categories:question-answering, language:en, language:zh, license:mit, size_categories:n<1Kdataset · ★ 73 · 2026-03-24 · HuggingFaceinternlm/Sage-S2.1-Flash-FP8tags: safetensors, glm5_next, fp8, region:usmodel · ★ 14 · 2026-11-13 · HuggingFaceinternlm/WildClawBench-HarborWildClawBench-Harbor All 60 WildClawBench tasks as Harbor task directories. Point harbor run at this folder and any Harbor agent (Claude Code, Codex CLI, OpenHands, Gemini CLI or your own) takes the benchmark with the official graders, in the official Docker image, with no WildCl; tags: language:en, language:zh, license:mit, size_categories:n<1K, library:harbor, arxiv:2605.10912, region:us, agentdataset · ★ 3 · 2026-08-12 · HuggingFace