2026-11-16 周一 · 具身智能

今日场景今天的具身赛道关心机器人在真实时间里怎么动起来。一篇研究发现,VLA 的反应快慢和执行方式关系很大,有时只改执行步数就和重新训练一样有效。XInfer 让一张 GPU 按每台机器人还剩多少动作来排队,服务更多机器人。HDH 用机器人自己的成败记录训出便宜的动作裁判。ILA 和 FORGE 让人形机器人在被人推拉或搬东西时更柔顺、更稳。SALA 和 SOMA Retargeter 都在想办法把人类动作变成机器人能用的监督。智元的六台机器人则在一家便利店里连续值守了一整天。 — 评分 105 篇,入选 10 篇,分数 3.25 – 4.75

本期目录 · 10 篇
  1. 01What Makes a VLA Reactive? A Study of Execution Strategies for Dynamic Manipulation
  2. 02Scaling VLA Serving Under Robotic Execution Constraints
  3. 03Learning Low-Latency Action Verification for Frozen Vision-Language-Action Models
  4. 04ILA: A Transferable Interface-Level Adapter for Compliant Humanoid Motion Tracking
  5. 05SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models
  6. 06FORGE: Force-Aware Multi-Granularity Control for Efficient Humanoid Loco-Manipulation
  7. 07I See What You Want: Decoding Hierarchical Operator Intent from Visual Teleoperation History
  8. 08Adapt Human Motion for Robots with NVIDIA SOMA Retargeter
  9. 09Build a Robot Pick-and-Place Simulation with SimReady Assets
  10. 10Six AGIBOT G2 Robots Complete 1,730 Tasks in 24-Hour Shanghai Convenience Store Trial
LEAD STORY · 今日必读

What Makes a VLA Reactive? A Study of Execution Strategies for Dynamic Manipulation

VLA 模型一次预测未来一小段动作,可物体在动时,这段动作还没执行完就过时了。作者拿预训练的 π0.5 在两个动态仿真基准和三个真机任务上,系统地比较了预测多长、每次执行多少步、同步还是异步推理等执行方式。结论是预测大约一秒的动作最好;执行步数短时,异步推理帮得更多;让前后两段轨迹衔接连贯的方法,比只降延迟的方法更有效。最出乎意料的是传送带抓取任务。

相关 5新颖 4实用 5证据 4时效 5
4.65
综合分 / 5
偏好调整 4.75
Zhuoyue Li, Zhendong Han, Pankhuri Vanjani, Wenting Li, Rudolf Lioutikov · 2026-11-11 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.65

Scaling VLA Serving Under Robotic Execution Constraints

📖 深度解读 · 11 分钟 →

作者的公司有几百台 VLA 机器人在真实环境里干活,要共享 GPU 才能压低推理成本。难点在于,机器人等新动作时还在执行旧动作,同样大小的请求,有的机器人手上动作快用完了,必须马上回复,有的还能等。GPU 上同时多塞一个请求,又会拖慢正在算的请求,动作队列一空,机器人就得停下来等。

Yue Zhang, Zicong Ye, Lufang Chen, Dance Yang, Mingyang Li, Zhenwei Duan, Michael Zhao, Ziye Deng 等 17 人
arXiv·2026-11-11·Relevance 5 · Novelty 4 · Practical 5 · Evidence 4 · Timely 5
03 4.40

Learning Low-Latency Action Verification for Frozen Vision-Language-Action Models

VLA 模型每次采样出的动作不一定好用,多采几个再挑当然更稳,但用大模型当裁判,每次查询都要多等很久。作者的 HDH 只用这个冻结 VLA 自己部署时留下的记录来训练裁判:先让策略自己跑一批任务,记下每段动作之后任务最终成没成功,再训一个小模型,根据当前画面和已经执行过的动作,预测某段候选动作最后成功的概率。部署时 VLA 生成两个候选,小模型挑分高的那个执行,不需要专家标注,也不需要预测未来画面。在 LIBERO-10 的四个任务上,平均成功率从 78.8% 提到 82.3%,查询延迟只多了 5.4%,比用 GPT 系列模型当裁判更准也更快,在三个真机任务上提升更明显。机器人自己的成败记录,就足够教会一个便宜的动作裁判。

Wen-Han Hsieh, Ken Jiankun Zheng, Chia-Chien Chen, David M. Chan, Trevor Darrell
arXiv·2026-11-10·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 4.40

ILA: A Transferable Interface-Level Adapter for Compliant Humanoid Motion Tracking

人形机器人跟踪人类动作常用来遥操作和采数据,可一味照着参考动作做,在狭窄空间里或有人和它肢体接触时并不安全,人想引导它的手臂,它很难顺着走。ILA 不改原来的跟踪策略,而是在策略前面加一个适配器:它根据机器人最近的观测历史,推断出外力想把动作往哪里带,再相应修改交给跟踪策略的参考动作。适配器完全在仿真里训练,也不需要专门的力传感器。同一个训练好的适配器直接接到三个独立训练的跟踪策略上,两边都不重新训练,人引导手臂去目标位置的误差就降低 63.6% 到 75.4%。真机上,原来的策略都拉不到侧举目标,接上适配器后十次都能到。柔顺性可以做成跟踪策略外面一层通用的插件。

ZhuoChang Cai, Zihao Yan, Jinxuan Zhu, Yanjie Li, Hao Xiong
arXiv·2026-11-11·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 4.40

SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models

机器人数据贵,人类视频便宜又多,常见做法是用隐动作模型从视频里提取动作信号来监督策略。可这类模型大多只靠重建视频来学,隐动作按画面长相聚类,人手的动作就对不上机器人的动作。SALA 不需要成对的人和机器人数据,只用两边视频片段各自的文字描述估计语义相似度,让人类的隐动作向语义相近的机器人隐动作靠拢。这样人类视频就能在两个方向上帮忙:预训练时加更多通用人类视频,机器人在下游任务上的动作预测误差持续下降;遥操作数据固定时,后训练加上目标任务的人类演示,真机平均成功率从 53.75% 提到 72.5%。隐动作要按动作语义对齐,人类视频才能真正监督机器人。

Jiachun Jin, Zetong Zhou, Haonan Wang, Xiao Yang, Jun Zhu, Zhijie Deng
arXiv·2026-11-12·Relevance 5 · Novelty 5 · Practical 3 · Evidence 4 · Timely 5
06 4.40

FORGE: Force-Aware Multi-Granularity Control for Efficient Humanoid Loco-Manipulation

让人形机器人边走边搬东西,遥操作采数据很难:控制器既要精确,又要站得稳,还得知道手上受了多大的力。FORGE 给操作员一套由粗到细的指令:走的速度、脚落在哪、手腕到哪个位置,以及可选的期望受力,可以单独用也可以组合用。手腕上没有力传感器,它就从关节状态和底层电机力矩里估计手上受的力,在一个基于动量的估计器上再学一层仿真监督的修正。下半身用一个冻结的行走策略打底,上半身和必要的下半身修正交给残差策略学,训练更稳。在此之上训练的扩散策略在真机上搬最重 2 公斤的箱子,每档试 20 次,最差也成功 18 次。没有腕部力传感器,也能从电机力矩里估出够用的受力。

Liangjun Xing, Ke Fan, Kailin Li, Bin Wang, Xiaojie Niu, Qingwei Ben, Jiafei Cao, Wei Yao, Yebin Liu 等 11 人
arXiv·2026-11-12·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
07 4.40

I See What You Want: Decoding Hierarchical Operator Intent from Visual Teleoperation History

人在遥操作机器人时,大模型能不能光看画面就猜出他想干什么?作者把这个问题拆成两层:眼下正在做的动作,以及这个动作服务的整体任务,并为此做了一个数据集,收集了多种机器人的大量遥操作片段。现成的大模型在这上面表现很一般,在这份数据上微调出的 VIM 把任务预测与真实描述的语义相似度从 GPT-4o 的 0.470 提到 0.821。更实用的是下游:VIM 猜出的任务交给一个 VLA 策略,让它在中途接管、做完剩下的操作,在没见过的真实环境里,人需要遥操作的时间比用 GPT-4o 猜意图时少了 34.6%。猜对操作员的意图,机器人就能中途接手。

Xiangyi Jia, Kaixian Qu, Shengzhi Wang, Chenyu Yang, Robert Katzschmann, Marco Hutter
arXiv·2026-11-12·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
08 4.00

Adapt Human Motion for Robots with NVIDIA SOMA Retargeter

NVIDIA

人类动作是教人形机器人怎么动的好起点,但机器人的身材比例、关节结构和活动范围都和人不同,不能照搬人的关节角度。NVIDIA 开源的 SOMA Retargeter 专做这一步转换。它先把各种来源的人类动作统一到 SOMA 骨架上,再按机器人比例缩放,用逆运动学逐帧解出关节姿态,最后消除脚着地时的滑步等问题。博客里有个例子:同一段单手挥手动作,机器人的参考姿态没和人对齐时,它会把两只手臂都伸出去,对齐之后才变成一只手挥、另一只手垂着。目前的版本给出了五款人形机器人的参考配置。动作重定向的质量,往往卡在参考姿态对没对齐这种细节上。

John Malaska
技术博客·2026-11-13·Relevance 4 · Novelty 3 · Practical 5 · Evidence 3 · Timely 5
09 3.75

Build a Robot Pick-and-Place Simulation with SimReady Assets

NVIDIA

在仿真里做机器人抓放,机器人静止时看着没问题,一跑起来却可能动作不对、和物体的接触也出错。NVIDIA 这篇教程用 Hugging Face 上的 SimReady 资产库做了一个抓取饮料罐的例子。SimReady 指的是资产已经按某种仿真用途配好了碰撞、质量、关节和关节驱动等物理属性。教程把机械臂、夹爪和饮料罐放进 Isaac Sim,再让一个能调用 Isaac Sim 技能的 AI agent 组装机器人、检查关节和接触、生成抓取、抬起、移动和放下的控制代码。作者也写明了边界:罐子起始位置固定,不用视觉,碰撞检查有限,罐子不会变形也不模拟液体,所以结果说明不了位置不确定、换负载或换到真机时是否可靠。资产配好物理属性只是起点,组装后的场景仍要实际跑一遍才知道。

Dillon Bailey, Pomi Lee, Rishabh Chadha
技术博客·2026-11-13·Relevance 4 · Novelty 3 · Practical 4 · Evidence 3 · Timely 5
10 3.25

Six AGIBOT G2 Robots Complete 1,730 Tasks in 24-Hour Shanghai Convenience Store Trial

智元的六台 G2 轮式人形机器人在上海徐汇一家正常营业的便利店里连续值守了 24 小时,分别负责接待顾客、巡检和补货、做咖啡、收银和热食、打扫,总共完成了 1730 项任务。整场试验全程直播,评审还专门出了难题:点普通可乐和无糖可乐,看机器人能不能分清长得很像的商品;打乱货架上的口香糖,看它能不能放回原位;用人和箱子堵住通道,看它会不会绕行。最终六台里有四台通过考核,另外两台没有达到全部标准。智元用自家的智能体框架协调六台机器人,把每次执行的成败结果收回来分析,有效的调整再转成训练数据。这是厂商组织的展示,报道没有给出失败率等细节。真实门店里,难点在于持续应对每次都略有不同的情况。

技术博客·2026-11-13·Relevance 4 · Novelty 2 · Practical 3 · Evidence 3 · Timely 5

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 2 个项目