2026-11-06 周五 · 具身智能

今日场景机器人要记得刚才发生了什么,也要分清现在该怎么动、该使多大力。WholeBodyMem 保留消失的物体线索,Ctrl-F 把出力从参考动作里单独拿出来;RoboARCade 则提醒我们,动作执行完还得有独立的完成判定。这期关注的不是一条漂亮轨迹,而是观察、决策和执行之间能否闭环。 — 评分 196 篇,入选 10 篇,分数 4.09 – 4.73

本期目录 · 10 篇
  1. 01La-JEPA: Compact Robot Policies with Latent World Modeling
  2. 02Open-HumanWAM: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models
  3. 03Perceptive Humanoid Motion from Simulation
  4. 04Memory before Goal: Role of Pre-History Memory for Humanoid Loco-Manipulation
  5. 05Correct Robots Before They Make Mistakes: Proactive Human-in-the-Loop Intervention via Preference Learning
  6. 06A³-VLA: Automatic Perception-Guided Attention Alignment for Robot Manipulation
  7. 07Ctrl-F: Force as an Interface for Humanoid Loco-Manipulation
  8. 08Learning Object-Centric Motion Priors from Human for Robotic Dexterous Manipulation
  9. 09Where Is VLA Inference Time Spent? Bottlenecks and Optimization Interactions Across GPUs
  10. 10RoboARCade: Benchmarking Agentic Robot Control
LEAD STORY · 今日必读

La-JEPA: Compact Robot Policies with Latent World Modeling

机器人训练时学预测未来,不代表执行动作时也得先生成未来。La-JEPA 在预训练视觉特征里联合学习动作和未来特征,但动作分支不能直接看未来;执行时去掉未来 token,把观察的每层 KV 算一次缓存,只反复去噪动作。在保留原算子的 CUDA 计算图配置下,S 型完整策略调用速度仍达到优化 Fast-WAM 的2.6倍。这里测的是一次策略调用,不是整个机器人控制回路;预测任务主要在训练中塑造动作能读取的观察表示。

相关 5新颖 4实用 5证据 4时效 5
4.65
综合分 / 5
偏好调整 4.73
Mateo Clémente, George Z. Xue, Amin Abyaneh, Liheng Ma, Rui Heng Yang, Tongtong Cao 等 8 人 · 2026-11-05 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.65

Open-HumanWAM: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models

人类操作视频要教会机器人,先得让同一个动作在不同数据源里表达一致。Open-HumanWAM 将双手位置、朝向和开合统一到相机坐标,并筛掉不可见、抖动和长时间静止片段。在动作只能读当前帧、不能读未来视频的配置中,万小时人类数据预训练后再做相同机器人后训练,随机场景成功率从未做这步预训练的2.1%升至28.7%。结果按各评估设置分别选最优 checkpoint,不是同一个模型同时取得所有场景的最优表现。

Juncheng Ma, Jiaxin Li, Jiankai Tu, Bo Liang, Guodong Lv, Yufan Deng, Junzhe Tang, Liangzhu Yang 等 33 人
arXiv·2026-11-05·Relevance 5 · Novelty 4 · Practical 5 · Evidence 4 · Timely 5
03 4.65

Perceptive Humanoid Motion from Simulation

Apple

机器人走进没扫描过的房间,找椅子和坐稳不是同一个问题。HALO 在程序生成的房间里合成视觉、语言与全身动作数据;高层拆任务,中层从 RGB 生成动作计划,低层再用深度和本体感知纠正执行。单技能真实测试在未见环境共做360次,成功率为91%。它证明了这组技能能从仿真迁移,不等于长任务也有同样成功率;既有动作生成先验、任务分解模板和底层物理约束仍是系统的重要部分。

Siyuan Hu, Abulikemu Abuduweili, Yue Meng, Shipeng Liu, Quentin Leboutet, Chen Chen, Matthias Müller 等 8 人
arXiv·2026-11-04·Relevance 5 · Novelty 4 · Practical 5 · Evidence 4 · Timely 5
04 4.40

Memory before Goal: Role of Pre-History Memory for Humanoid Loco-Manipulation

机器人转身再回来,眼前相同的座位,可能只有刚才的画面能告诉它东西先放在哪。WholeBodyMem 用 SAM3 跟踪任务物体,扣除相机运动后,挑物体出现、消失或移动等事件帧保存;动作模型再读取这些历史画面和物体特征。真实 G1 测试共60次,整套方案成功率从基础策略的36.7%升至88.3%。提升不只来自多存帧,还包含物体特征和决策模块;跟踪器从未认出的线索,也不会自动进入记忆。

Chenyuan Chen, Ran Ding, Lechen Zhang, Zewen He, Yoshihiko Nakamura
arXiv·2026-11-05·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 4.40

Correct Robots Before They Make Mistakes: Proactive Human-in-the-Loop Intervention via Preference Learning

等机器人做错再接管,纠正数据里就容易混进不必要的补救动作。PHIL 用扩展现实(XR)头显把策略未来轨迹叠加到真实工作区,让人提前接管;接管时模型继续提建议,把同一状态出发、同一时长的被拒建议与随后执行的纠正动作配对,再用偏好训练和原示范模仿共同更新策略。每个条件五次纠正 rollout 的实验中,扩散策略平均成功率从 HG-DAgger 的44.0%升至70.3%。这是预览、主动纠正和偏好学习的组合效果,不是单独证明某个界面能保证安全。

Xinkai Jiang, Jing Jiang, Hongyi Zhou, Pankhuri Vanjani, Ahmad Baki, Jakub Suliga, Ge Li, Zhuoyue Li 等 10 人
arXiv·2026-11-03·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
06 4.40

A³-VLA: Automatic Perception-Guided Attention Alignment for Robot Manipulation

机器人知道要拿哪件东西,却可能把注意力放错地方。A3-VLA 从示范里找交互前不动、交互后发生变化的区域,再用 SAM2 跟踪成目标候选;训练时,语言对目标区域、状态对机器人区域的注意力总量低于门槛才受罚,同时让目标特征与指令更相似。RoboTwin 对照中,π0 的平均成功率提高9.8个百分点。候选区域只是软监督,不是精确真值;推理时只运行微调后的 VLA,不额外调用分割模块。

Shengzhe Zhang, Qi Zhang, Dazhong Shen, Chao Wang, Shaopeng Zhai, Hui Xiong
arXiv·2026-11-04·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
07 4.40

Ctrl-F: Force as an Interface for Humanoid Loco-Manipulation

拖重物光复现动作不够,还要能随负载改变出力。Ctrl-F 把接触力作为高低两层的接口:底层先在无物体仿真中抵抗反向外力,学会一边跟动作、一边按指令出力;高层再根据物体实际运动与参考轨迹的差距调整力。G1 硬件演示能拖动加装14公斤负载的锁轮车,20公斤时失败。当前物体状态依赖 AprilTag,陌生动作还需重训,不能把一套统一力接口理解为任何动作都能直接执行。

Mengjie Zhao, Yuxin Chen, Yiyang Shao, Chuye Hong, Jiakang Chen, Koushil Sreenath 等 7 人
arXiv·2026-11-03·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
08 4.40

Learning Object-Centric Motion Priors from Human for Robotic Dexterous Manipulation

已录用 AAAI 2026

教灵巧手操作,不能只看手指像不像人,还得看物体有没有按目标运动。这项方法从人类手物交互数据学习预测未来手和物体轨迹,把手轨迹映射到机器人,再用 PPO 同时奖励手的跟随和物体对预测轨迹的跟随。实验覆盖抓取、铰接物体操作和绕障抓取;物体跟随奖励的消融显示,它对学习效率很重要。系统仍需物体模型、姿态估计和人工接触奖励;换一种机器人手后也会重新映射并训练策略,不是同一策略零训练跨手。

Zhengdong Hong, Guofeng Zhang
arXiv·2026-11-04·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
09 4.10

Where Is VLA Inference Time Spent? Bottlenecks and Optimization Interactions Across GPUs

先编译、再剪 token,各自的加速比例不能直接叠起来。VLA-Triage 实测发现,编译已经缩短某个阶段后,后续优化可省的时间也变了。CogACT 在 A10G 上同样做75%剪枝,省下的时间从未编译时的74.2毫秒,缩到编译后的33.5毫秒。量化还会换算子,剪枝又会改矩阵尺寸,因此要在实际部署的执行模式下重测组合。这里计时从图像预处理之后到动作输出,不包括整条机器人控制回路。

Muhammad Danish Waseem, Ahmed Ali-Eldin Hassan
arXiv·2026-11-04·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
10 4.10

RoboARCade: Benchmarking Agentic Robot Control

机器人 agent 说做完了,不等于任务真的完成。RoboARCade 在仿真中隔离 agent 与真实物体状态、评分规则,只给视觉、深度或三维交互界面,再由外部判定子任务。在已有成功案例的任务子集上,先读一段同任务成功示范,平均子任务评分从53.5%升至73.0%;这不是整项任务成功率。示范能减少卡在错误路线上的超时,但精确放置和误报完成仍常见。评估要把会讲步骤、真的做成和知道何时结束分开。

Satvik Sharma, Hengyuan Hu, Mihika Kamat, Dorsa Sadigh, Jeannette Bohg
arXiv·2026-11-05·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 5 个项目