2026-11-13 周五 · 具身智能

今日场景今天这条赛道的主线是怎样不重训大模型、只动一小块,就让机器人策略适应新情况。RAGu 和 GUARD 都把原策略冻住,在生成动作时用外部信号修正,一个靠检索来的轨迹,一个靠离训练数据有多远的异常分。SFF 只在线重算失败监控模型的最后一层,Rho 部署后也只更新一个小模块。REMAC 和 Thermo-VLA 则用 LoRA 或残差加一层小改动,分别处理推理延迟和热成像这一新模态。 — 评分 181 篇,入选 10 篇,分数 4.40 – 4.67

本期目录 · 10 篇
  1. 01Real-Time Robot Execution with Masked Action Chunking
  2. 02Runway’s Praxis-1 world action model for robotics is now available
  3. 03Zero-Shot VLA Adaptation with Retrieved Guidance
  4. 04Spatial Representation Distillation and Knowledge Routing for Vision-Language-Action Models
  5. 05Thermo-VLA: A Thermal-Aware Vision-Language-Action Model with Gated Residual Modulation for Robotic Manipulation
  6. 06Streaming Failure Forecasting: VLA Failure Monitors That Keep Learning After Deployment
  7. 07UniLatent: Cross-Embodiment Transfer via Latent Observation Alignment
  8. 08ReSkill: Selective Self-Improvement for Robot Manipulation
  9. 09GUARD: Anomaly-Informed Q-Steering for Generative Robot Policies in Dexterous Manipulation
  10. 10Rho: A Foundation for Efficiently Adaptable VLA Models
LEAD STORY · 今日必读

Real-Time Robot Execution with Masked Action Chunking

机器人一边执行当前这段动作、一边让模型算下一段,本为不停顿,直接这么用成功率反而会掉。以往工作把原因归到前后两段动作衔接不连贯。作者指出一个被忽视的原因:模型算完时,机器人已按旧计划走了几步,新动作段的开头几步不会被执行,训练时却照样被监督。REMAC 训练时随机遮掉动作段开头若干步,只对会执行的部分算损失,用 LoRA 学一个修正,推理前合并回主干,不增加延迟。模拟器延迟最大时,成功率从 0.451 提到 0.779。推理延迟是已知条件,写进训练目标比推理时打补丁更划算。

相关 5新颖 4实用 5证据 4时效 5
4.65
综合分 / 5
偏好调整 4.67
Haoxuan Wang, Gengyu Zhang, Yan Yan, Yuzhang Shang, Ramana Rao Kompella, Gaowen Liu · 2026-01-26 · ICLR 2026

今日其余入选

9 篇 · 按综合排名
02 4.65

Runway’s Praxis-1 world action model for robotics is now available

Runway

做视频生成的 Runway 把自家视频基础模型改成了机器人策略 Praxis-1,以 Apache 2.0 协议开放权重,推理和微调代码一起放出。它是 27B 参数的 MoE 扩散 Transformer,同时预测接下来的画面和机器人动作。训练全程保留视频预测,模型先预测场景下一步的画面,再输出让场景到达那里的动作。Runway 称,网络视频做预训练的效果和遥操作采集的机器人视频相当。在 RoboLab-120 上它的成功率是 46.2%,π0.5 是 28.0%。若此说成立,机器人策略的数据瓶颈就变成了能学多少通用视频。

技术博客·2026-11-12·Relevance 5 · Novelty 4 · Practical 5 · Evidence 4 · Timely 5
03 4.40

Zero-Shot VLA Adaptation with Retrieved Guidance

把检索到的示范拼进模型上下文,是语言模型里 RAG 的标准做法,搬到机器人上却不灵。作者从 DROID 这类视角、物体都和目标场景对不上的真实数据里检索示范,按上下文拼接的基线在真机上一次都没成功,比不加检索还差。RAGu 先按目标场景里物体的位置,把检索到的轨迹几何变换过去,再挑一条需要对模型原本动作改动最少的。模型生成动作时,再把动作往这条轨迹修正,权重和上下文都不动。真机成功率从 20% 提到 80%。检索结果不一定要进上下文,也可以当生成时的引导信号。

Subin Kim, Anh-Quan Pham, Dinesh Jayaraman
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 4.40

Spatial Representation Distillation and Knowledge Routing for Vision-Language-Action Models

已录用 NeurIPS 2026

让 VLA 懂三维空间,要么推理时额外输入深度图或点云,要么把三维知识训进原视觉编码器,后者容易损伤预训练的通用视觉能力。SPARK-VLA 保留原视觉通路,旁边用 LoRA 再开一条,训练时向冻结的三维模型 VGGT 学,推理时不再需要 VGGT。两条通路对画面每个位置各出一个 token,一个小路由器按指令决定送哪些给语言模型。路由器的标签来自动作损失对各 token 的梯度,能降低动作误差的算有用。消融里两路 token 全部拼接时成功率 94.0%,按路由挑选后 98.0%。特征来源多了,挑着送比全送更好。

Jungin Park, Chaoran Zhu, Changjae Oh, Kwanghoon Sohn
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 4.40

Thermo-VLA: A Thermal-Aware Vision-Language-Action Model with Gated Residual Modulation for Robotic Manipulation

有些任务要按温度挑东西,比如拿走装着已无体温的死老鼠的笼子,普通相机看不出区别,得靠热成像。已有做法把热成像图当成又一张普通图片喂给 VLA,在这个任务上只有五成左右成功,常错拿显眼的热源。Thermo-VLA 以背景温度为参照,把热成像图拆成比背景冷和比背景热两张图,按指令文字给两张图分配权重,以残差方式叠加到 RGB 的 token 上,原 RGB 表示不变。在四个依赖温度的任务上,平均成功率 0.86,比直接加热成像输入的 π0.5 高 18 个百分点。新模态按指令加权、以残差注入,对原有视觉能力干扰最小。

Jingxuan Chen, Junshi Luo, Chencheng Dong, Xiaojian Nie, Tongge Huang, Qiang Huang
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
06 4.40

Streaming Failure Forecasting: VLA Failure Monitors That Keep Learning After Deployment

机器人上线后,光照、物体、相机都会变,策略也会升级或换任务,但失败监控模型通常离线训完就冻结。作者在四个 VLA 的真机记录上发现,任务或策略版本一换,冻结的监控模型给失败排序几乎和随机猜一样。SFF 改得很省:监控网络不动,每跑完一回合,就用成功与否这一个标签闭式重算最后一个线性层。报警阈值单独调,只在成功回合后移动,用来压住误报。在 434 条真机记录上,失败排序的 AUROC 从冻结时的 0.536 提到 0.656。排序靠在线重拟合最后一层,误报靠单独调阈值,和推荐里冻结主干、只在线更新最后一层是一个思路。

Amit Jadhav, Shaurya Beriwala, David Q. Liu, Yanfei Liu
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
07 4.40

UniLatent: Cross-Embodiment Transfer via Latent Observation Alignment

机器人示范数据很贵,还绑定在某一款机械臂上。换一款臂,画面里臂的外形和遮挡都变了,策略就用不了。以往做法把源机器人的画面逐帧改画成目标机器人,但改画会留下瑕疵,策略也会学到这些瑕疵。UniLatent 改在表征空间对齐:在仿真里让两款臂摆出同样的末端姿态,拍成成对画面,训练源机器人的视觉编码器,让它的 embedding 和冻结的目标编码器一致。策略在源数据的 embedding 上训练,部署时直接读目标机器人的画面。仿真中平均成功率从最强改画基线的 44.5% 提到 76.0%。在表征空间对齐,绕开了改画像素带来的瑕疵。

Yufei Ding, Yi Du, Weiduo Yuan, Hao Jiang, Dylan Goetting, Lawrence Yunliang Chen, Daniel Seita 等 8 人
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
08 4.40

ReSkill: Selective Self-Improvement for Robot Manipulation

机器人遇到多步骤的新任务时,往往只有几步不会做,整体重训很浪费。ReSkill 让一个写代码的 agent 在开发阶段把任务拆成以物体为中心的任务图,每个节点调用一个技能。agent 根据各节点的执行记录找到出错的那步,只改那一处的流程或技能。每个改动都要在整套开发布局上跑过、和现有版本成对比较,胜出才保留。部署时机器人只运行改好的程序,不调用 agent。在十个仿真任务上,平均成功率从初版的 30.0% 提到 86.2%,一次改动的中位数只动三个函数。大模型只在开发环节改程序,线上跑的是定型的代码。

Zheng Sun, Zhihao Li, Zhuo Li, Wenrui Liu, Xin Wang, Fei Chen
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
09 4.40

GUARD: Anomaly-Informed Q-Steering for Generative Robot Policies in Dexterous Manipulation

扩散或流匹配训出的机器人策略,执行中一旦偏到训练数据没覆盖的状态就容易失败,而任务奖励通常只有最终是否成功,很难及时纠偏。GUARD 用策略的训练数据学一个异常分,衡量当前状态离训练数据有多远,把它当作每步都有的稠密奖励,和稀疏的成功奖励一起训练 Q 函数。生成动作时,用 Q 函数的梯度修正去噪过程,把动作推向既能完成任务、又不偏离训练分布的方向,原策略权重不动。在四个灵巧手任务上平均成功率 96.0%,只用成功奖励时低 30 个百分点。离训练分布多远,本身就是现成的稠密奖励。

Aryaman Gupta, Xiaoyue Wu, Rana Soltani Zarrin, Mark Van der Merwe
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
10 4.35

Rho: A Foundation for Efficiently Adaptable VLA Models

微软发布了开放权重的双臂操作 VLA 家族 Rho。核心发现是,在通用预训练和任务微调之间,先插一段只针对某款机器人、覆盖大量任务的中间训练(作者叫中训),后面的任务微调就能省一半数据。论文的解释是,预训练见过很多机器人但每款都学得浅,直接学新任务还得同时学会控制这台机器人。在真实的 FR3 Duo 双臂上,同样的插头插入训练预算下,成功率从不做中训的 60.0% 涨到中训两轮后的 86.7%。把适配机器人和适配任务拆成两步,任务那一步就便宜了,和推荐里先做领域继续预训练再做业务微调是一个道理。

Rho Team, Simran Bagaria, Daphne Chen, Dean Fortier, Jianlong Fu, Michael Harrison 等 14 人
arXiv·2026-09-29·Relevance 5 · Novelty 4 · Practical 5 · Evidence 4 · Timely 2

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 5 个项目