2026-11-12 周四 · 具身智能

今日场景今天这条赛道的主线是给机器人策略做减法,并检查高分从哪里来。一篇论文用不训练的最近邻检索在 LIBERO 上拿到接近主流 VLA 的分数,说明高分里有不少是在查示范。APS-VLA 只留下对动作有用的视觉 token,MetaWAM 把所有机器人信号放进同一帧,两者都在不改主干结构的前提下降低延迟。CIALLO 和 DexSeed 想办法让一份示范服务更多机器人和物体。LEASH 和 NTT 的世界模型则把注意力放在动手之前:先看画面判断是否安全,或者先预演结果再选动作。 — 评分 110 篇,入选 10 篇,分数 3.40 – 4.70

本期目录 · 10 篇
  1. 01From Video Frames to Robot Meta-Frames: A Unified Latent Interface for World Action Models
  2. 02APS-VLA: Action-Guided and Future-Aware Token Pruning for Efficient Vision-Language-Action Models
  3. 03CIALLO: Learning Shared Intent Representations for Cross-Embodiment Manipulation
  4. 04ReACT: Reflection-Consistent Modulation and Cross-Load Consistency for Humanoid Velocity Tracking Under Asymmetric Loads
  5. 05DexSeed: Expanding Human Hand-Object Interactions into Robot Demonstrations for Dexterous Policy Learning
  6. 06How Much of Your VLA Is kNN
  7. 07DexForesight: Grounding Dexterous Policies with Implicit Spatial Foresight
  8. 08LEASH: Stay Safe in Agentic Robotics
  9. 09Can AI agents program industrial robots without training data? Berkeley says yes
  10. 10NTT Develops Physical AI Technology That Predicts the Future Before Robots Move to Prevent Failures
LEAD STORY · 今日必读

From Video Frames to Robot Meta-Frames: A Unified Latent Interface for World Action Models

用视频扩散模型做机器人的世界动作模型时,要把关节状态、动作、价值这些低维信号放进一个只见过自然视频的隐空间。常见做法是每种信号单独占一帧,序列变长,注意力计算的开销跟着涨。作者先用一个冻结的去噪器做测试:把信号直接平铺在画面上,去噪器要做很大的修正,说明它离视频的分布很远;先在频域里排好、再用逆 DCT 变回画面,需要的修正最少。

相关 5新颖 4实用 5证据 4时效 5
4.65
综合分 / 5
偏好调整 4.70
Guoqiang Liang, Yiqi Lin, Yanzhe Chen, Kevin Yuchen Ma, Mike Zheng Shou · 2026-11-11 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.40

APS-VLA: Action-Guided and Future-Aware Token Pruning for Efficient Vision-Language-Action Models

📖 深度解读 · 11 分钟 →

VLA 每一步都要处理几百个视觉 token,推理很慢,可下一步动作往往只取决于画面里的一小块。这篇论文在冻结的 VLA 前面加了一个小打分器,从示范轨迹里学该留下哪些 token。训练时有两个要求:留下的 token 要让原模型给出和看全图时一样的动作,还要能配合示范动作预测几步之后的画面变化。部署时打分器只挑一次,原模型参数和出动作的方式都不变。

Xiaoyang Xing, Chun-Mei Feng, Anthony Cohn, Xiaoliang Gong, Asoke Nandi
arXiv·2026-11-11·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
03 4.40

CIALLO: Learning Shared Intent Representations for Cross-Embodiment Manipulation

不同机器人的动作写法不同,有的记关节角,有的记末端位移,所以一台机器人的示范很难直接给另一台用。这篇论文训练了一个动作编解码器,把动作、前后两帧画面的变化和指令对齐到同一个空间,用来表示接下来一小段时间要完成的动作意图。每台机器人的身体差异只放在一小组专属 embedding 里,换新机器人时只录一段不超过 10 秒的动作,花半小时左右更新这组 embedding。之后训练一个大模型从画面和指令预测意图,每个任务只给少量示范,在两台新真机上平均成功率 76.7%,全量微调的现成机器人模型是 70.0%。把身体校准和任务学习拆开,新机器人只需要很少的数据。这很像推荐里共享表示加每个场景一小组参数的拆法。

Choo Sin Wai, Dake Zhong, Jingye Zhang, Zhifang Liu, Siyao Xiao, Zirong Ding, Yuhong Zhang 等 13 人
arXiv·2026-11-11·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 4.40

ReACT: Reflection-Consistent Modulation and Cross-Load Consistency for Humanoid Velocity Tracking Under Asymmetric Loads

人形机器人单手拎着东西走路时,身体两侧受力不平衡,会越走越偏、朝向慢慢歪掉,最后可能撞上障碍。这篇论文训练行走策略时让三份环境同时跑:空手、左手拎重物、右手拎重物,给同样的速度指令,谁走出来的位移和朝向偏离三份的平均值越多,谁就被扣分。策略还会根据估计出的外部受力调整内部特征,并保证左右镜像时动作也正好镜像。仿真里,转向速度的跟踪误差比基线方法 FALCON 低了八成以上。真机上单手拎 1.5 公斤做无地图导航,40 次全部无碰撞到达终点,FALCON 则全部因碰撞失败。把同一指令在不同负载下的结果放在一起比,偏差被直接压住了。这类成对一致性约束,在推荐里也比单纯加扰动更直接。

Xianghui Wang, Aoran Fu, Liyou Luo, Shanze Wang, Xiaoyu Shen, Dan Zhang, Wei Zhang
arXiv·2026-11-11·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 4.30

DexSeed: Expanding Human Hand-Object Interactions into Robot Demonstrations for Dexterous Policy Learning

灵巧手的示范数据很贵,遥操作要同时协调很多手指关节。这篇论文从现成的人手抓取数据出发,按抓法分组,把每段人手动作迁移到机器人手上,再换物体形状、起点和放置位置,扩成大量示范。关键一步是在物理仿真里带着机械臂一起训练手指控制。只用悬空手训练的版本单独测几乎都能成功,一接上机械臂的跟踪误差,成功率就不到三成,把机械臂放进训练回路后升到 95.50%。最终从 19 段人手序列生成了 25270 条示范,只用这些数据微调的 VLA 在真机上能按语言指令做出全部八种抓法。示范不经物理验证直接拿去训练,策略几乎学不会。用规则或模拟器造训练样本时也一样,要先在带真实约束的环境里跑通,只留成功的样本。

Huaijin Pi, Zehong Shen, Yong Wang, Kechun Xu, Changpeng Wang, Dingkun Wei, Xueyang Wang 等 11 人
arXiv·2026-11-11·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 5
06 4.35

How Much of Your VLA Is kNN

主流 VLA 在 LIBERO 上的成功率已经超过 95%,但这里面有多少是真正的泛化?作者做了一个不用训练的对照:拿当前画面去示范库里找最像的几帧,把它们后面的动作加权平均后直接执行,成功率就有 91.7%。在加了扰动的 LIBERO-Plus 上,这个检索策略的掉分比所有被测 VLA 都少。作者再把九个公开 VLA 的视觉语言主干拿来当检索向量,发现微调主要是让主干变成更好的检索向量,而 VLA 输出的动作也离示范很近。在示范这么密的基准上,高分很大一部分靠查表就能拿到。做推荐的人对这件事不陌生:报复杂模型的效果时顺手报一个最近邻基线,才知道模型到底多学到了什么。

Denis Grachev, Damien LaRocque, Omar Moured
arXiv·2026-11-11·Relevance 4 · Novelty 4 · Practical 5 · Evidence 4 · Timely 5
07 4.30

DexForesight: Grounding Dexterous Policies with Implicit Spatial Foresight

灵巧手操作需要预判手指和物体接下来怎么动,很多方法靠显式预测未来来获得这种预判。这篇论文训练时先学一个以动作为条件的世界模型,用场景深度、手的几何结构和示范轨迹,预测手上各点的三维运动和画面特征的变化,连相机拍不到的手指也算在内。然后冻结它,让策略内部的表示去对齐世界模型的预测表示,把这份预判能力转进策略。部署时只留策略,输入只有 RGB 画面、语言和机器人状态,不需要深度,也不预测未来。在 11 个仿真灵巧任务上,总成功率从 49.4% 提到 60.5%。预判能力可以在训练时教给策略,推理时不必真的去生成未来。这和推荐里训练期用带未来信息的教师模型、线上只留学生模型是一个思路。

Zhongxi Chen, Yi Yang, Xinyi Chen, Mingzhe Ye, Yaping Li
HuggingFace·2026-11-09·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
08 4.10

LEASH: Stay Safe in Agentic Robotics

让大模型直接操控机械臂会出现具体的危险,比如把手机放进水碗,端着牛奶从插线板上方经过。作者建了一个覆盖五类风险的机器人安全基准,从该拒绝的指令到画面里藏着的注入指令,仿真和真机都闭环执行,主流大模型普遍会造成伤害。他们的办法是在原有 agent 外面加三道关:任务开始前、每个动作执行前、松开夹爪或倒水这类不可逆操作前,各用一个快速打分模型根据当前画面判断是否安全。规划模型和三道关读的是同一份安全规则。加上之后,基线里表现最好的模型之一在仿真里的伤害率从 11.23% 降到 0,端到端耗时平均只多 1.66%。机器人的安全审核要看画面,只看指令文字不够。做 agent 系统的人可以借用这种分层审核。

Qinfeng Zhu, Weiguang Zhao, Ke Sun, Xihao Guo, Yunxi Jiang, Rui Zhang, Lei Fan, Kaizhu Huang
arXiv·2026-11-11·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
09 3.40

Can AI agents program industrial robots without training data? Berkeley says yes

NVIDIAUC Berkeley

给工业机器人写程序、调参数、排查问题,过去要花几周到几个月,而且得等整个工作站装好才能动手。UC Berkeley 和 NVIDIA 放出了一套开源工具,让一组编程 agent 自己写机器人程序,在仿真里试,看哪里失败再改,不用先收集大量数据。核心是把任务拆成感知、抓取规划、无碰撞运动等节点组成的图,每个节点交给一个 agent,并行工作互不干扰。输出是工程师能读懂的 Python 代码,调用现有厂商模块做底层驱动,不替换机器人控制器。仿真用的 Newton 物理引擎有数百个参数,团队专门做了一个带滑块的界面,让 agent 也能自己调。输出可读的代码,工程师在上线前能自己逐段检查。对做推荐和搜索的人,这像是让 agent 写可审查的规则和管线,而不是再训一个黑盒模型。

技术博客·2026-11-11·Relevance 4 · Novelty 3 · Practical 3 · Evidence 2 · Timely 5
10 3.40

NTT Develops Physical AI Technology That Predicts the Future Before Robots Move to Prevent Failures

NTT

机器人搬行李、码货时,最怕货堆坍塌或物品掉落,而光靠现有控制程序很难事先判断。NTT 的做法是动手前先预演:对控制程序给出的每个候选动作,用世界模型生成一段接下来的视频,评估会不会塌、会不会掉,再挑最可能成功的执行。这个世界模型在视频生成模型里接了一个物理模块,从画面估计每个物体的位置、速度和质量,再按运动方程算出下一步怎么动。结果用来指导视频生成,物体不容易凭空消失或变形,也能应对训练数据里没有的情况。在一个用小机器人模拟码货上架的任务里,成功率从 73.1% 提到 92.3%。先显式算出物理量,生成的未来才靠得住,判断依据也看得见。这和推荐里先用模拟器给候选打分再上线是一回事。

网页来源·2026-11-11·Relevance 4 · Novelty 3 · Practical 3 · Evidence 2 · Timely 5

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 5 个项目