- 1. What Makes a VLA Reactive? A Study of Execution Strategies for Dynamic Manipulation · 📖 深度解读
VLA 模型一次预测未来一小段动作,可物体在动时,这段动作还没执行完就过时了。作者拿预训练的 π0.5 在两个动态仿真基准和三个真机任务上,系统地比较了预测多长、每次执行多少步、同步还是异步推理等执行方式。结论是预测大约一秒的动作最好;执行步数短时,异步推理帮得更多;让前后两段轨迹衔接连贯的方法,比只降延迟的方法更有效。最出乎意料的是传送带抓取任务…
出现于日报:11-16
- 2. Scaling VLA Serving Under Robotic Execution Constraints · 📖 深度解读
作者的公司有几百台 VLA 机器人在真实环境里干活,要共享 GPU 才能压低推理成本。难点在于,机器人等新动作时还在执行旧动作,同样大小的请求,有的机器人手上动作快用完了,必须马上回复,有的还能等。GPU 上同时多塞一个请求,又会拖慢正在算的请求,动作队列一空,机器人就得停下来等。XInfer 把 VLA 各阶段的计算拆开,依赖满足就往前算,调度时按每台机器人当下的紧急程度决定先算谁、什么时候允许新请求挤进来…
出现于日报:11-16
- 3. Learning Low-Latency Action Verification for Frozen Vision-Language-Action Models
VLA 模型每次采样出的动作不一定好用,多采几个再挑当然更稳,但用大模型当裁判,每次查询都要多等很久。作者的 HDH 只用这个冻结 VLA 自己部署时留下的记录来训练裁判:先让策略自己跑一批任务,记下每段动作之后任务最终成没成功,再训一个小模型,根据当前画面和已经执行过的动作,预测某段候选动作最后成功的概率。部署时 VLA 生成两个候选,小模型挑分高的那个执行,不需要专家标注,也不需要预测未来画面…
出现于日报:11-16
- 4. Training Reasoning Models in Simulation to Natively Use Real Robots
开源推理模型要直接操控真机,通常还差前沿闭源模型一大截,而且往往要靠示范或外部框架。作者只用仿真里的强化学习,让一个 27B 开源推理模型自己观察环境、写出思考过程并给出下一步末端位姿,训练中不用真机示范。仿真里在 LIBERO 上的成功率从 1.6% 提到 74.4%,已接近高推理强度下的前沿闭源模型。放到真实双臂上,试验中成功了六成,未训练的底座模型一次都没有成功,换任务时也比靠示范微调的动作模型更稳…
出现于日报:11-17
- 5. ILA: A Transferable Interface-Level Adapter for Compliant Humanoid Motion Tracking
人形机器人跟踪人类动作常用来遥操作和采数据,可一味照着参考动作做,在狭窄空间里或有人和它肢体接触时并不安全,人想引导它的手臂,它很难顺着走。ILA 不改原来的跟踪策略,而是在策略前面加一个适配器:它根据机器人最近的观测历史,推断出外力想把动作往哪里带,再相应修改交给跟踪策略的参考动作。适配器完全在仿真里训练,也不需要专门的力传感器。同一个训练好的适配器直接接到三个独立训练的跟踪策略上,两边都不重新训练…
出现于日报:11-16
- 6. X-Nav Technical Report: Real-World Long-Horizon Indoor-to-Outdoor Navigation on a Humanoid Robot
双足人形要从室内走到室外执行一条语言下达的长程任务,一路经过房间、门和马路,相机还跟着步态晃,这样的任务很少被真正跑通。作者只用自带彩色相机做导航,一个模型预测动作,另一个预测目标,再由智能体流程把简短指令拆成子任务并加上避障。在灵犀 X2 上,它完成了从办公楼大堂到隔壁商店、大约一百米的任务,途中能改目的地并绕过障碍。用场地数字孪生的数据适配后,孪生里闭环成功率从 40% 提到 80%,再把模型放到真机上…
出现于日报:11-17
- 7. SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models
机器人数据贵,人类视频便宜又多,常见做法是用隐动作模型从视频里提取动作信号来监督策略。可这类模型大多只靠重建视频来学,隐动作按画面长相聚类,人手的动作就对不上机器人的动作。SALA 不需要成对的人和机器人数据,只用两边视频片段各自的文字描述估计语义相似度,让人类的隐动作向语义相近的机器人隐动作靠拢。这样人类视频就能在两个方向上帮忙:预训练时加更多通用人类视频,机器人在下游任务上的动作预测误差持续下降…
出现于日报:11-16
- 8. Reusing Locomotion Training Recipes Across Humanoids via Body-Aligned Virtual Joints
人形行走策略常常直接输出各关节的原生角度,奖励和动作限制也写在这套各不相同的坐标里,一台机器上调好的配方很难搬到另一台。作者在原有底层控制之前加了一层与身体对齐的虚拟关节空间:策略按统一的解剖约定输出,再映射到各机的原生关节。同一套未修改的配方用在三条腿轴布局不同的人形上,只有这一接口能在三台上都跟准速度、让脚朝向行进方向,训练也更稳。装到宇树 G1 真机上,航向角速度从原生坐标的每秒 5.31 度降到 0.89 度…
出现于日报:11-17
- 9. FORGE: Force-Aware Multi-Granularity Control for Efficient Humanoid Loco-Manipulation
让人形机器人边走边搬东西,遥操作采数据很难:控制器既要精确,又要站得稳,还得知道手上受了多大的力。FORGE 给操作员一套由粗到细的指令:走的速度、脚落在哪、手腕到哪个位置,以及可选的期望受力,可以单独用也可以组合用。手腕上没有力传感器,它就从关节状态和底层电机力矩里估计手上受的力,在一个基于动量的估计器上再学一层仿真监督的修正。下半身用一个冻结的行走策略打底,上半身和必要的下半身修正交给残差策略学,训练更稳…
出现于日报:11-16
- 10. I See What You Want: Decoding Hierarchical Operator Intent from Visual Teleoperation History
人在遥操作机器人时,大模型能不能光看画面就猜出他想干什么?作者把这个问题拆成两层:眼下正在做的动作,以及这个动作服务的整体任务,并为此做了一个数据集,收集了多种机器人的大量遥操作片段。现成的大模型在这上面表现很一般,在这份数据上微调出的 VIM 把任务预测与真实描述的语义相似度从 GPT-4o 的 0.470 提到 0.821。更实用的是下游:VIM 猜出的任务交给一个 VLA 策略,让它在中途接管、做完剩下的操作…
出现于日报:11-16