03 4.40
把检索到的示范拼进模型上下文,是语言模型里 RAG 的标准做法,搬到机器人上却不灵。作者从 DROID 这类视角、物体都和目标场景对不上的真实数据里检索示范,按上下文拼接的基线在真机上一次都没成功,比不加检索还差。RAGu 先按目标场景里物体的位置,把检索到的轨迹几何变换过去,再挑一条需要对模型原本动作改动最少的。模型生成动作时,再把动作往这条轨迹修正,权重和上下文都不动。真机成功率从 20% 提到 80%。检索结果不一定要进上下文,也可以当生成时的引导信号。
04 4.40
让 VLA 懂三维空间,要么推理时额外输入深度图或点云,要么把三维知识训进原视觉编码器,后者容易损伤预训练的通用视觉能力。SPARK-VLA 保留原视觉通路,旁边用 LoRA 再开一条,训练时向冻结的三维模型 VGGT 学,推理时不再需要 VGGT。两条通路对画面每个位置各出一个 token,一个小路由器按指令决定送哪些给语言模型。路由器的标签来自动作损失对各 token 的梯度,能降低动作误差的算有用。消融里两路 token 全部拼接时成功率 94.0%,按路由挑选后 98.0%。特征来源多了,挑着送比全送更好。
05 4.40
有些任务要按温度挑东西,比如拿走装着已无体温的死老鼠的笼子,普通相机看不出区别,得靠热成像。已有做法把热成像图当成又一张普通图片喂给 VLA,在这个任务上只有五成左右成功,常错拿显眼的热源。Thermo-VLA 以背景温度为参照,把热成像图拆成比背景冷和比背景热两张图,按指令文字给两张图分配权重,以残差方式叠加到 RGB 的 token 上,原 RGB 表示不变。在四个依赖温度的任务上,平均成功率 0.86,比直接加热成像输入的 π0.5 高 18 个百分点。新模态按指令加权、以残差注入,对原有视觉能力干扰最小。
06 4.40
机器人上线后,光照、物体、相机都会变,策略也会升级或换任务,但失败监控模型通常离线训完就冻结。作者在四个 VLA 的真机记录上发现,任务或策略版本一换,冻结的监控模型给失败排序几乎和随机猜一样。SFF 改得很省:监控网络不动,每跑完一回合,就用成功与否这一个标签闭式重算最后一个线性层。报警阈值单独调,只在成功回合后移动,用来压住误报。在 434 条真机记录上,失败排序的 AUROC 从冻结时的 0.536 提到 0.656。排序靠在线重拟合最后一层,误报靠单独调阈值,和推荐里冻结主干、只在线更新最后一层是一个思路。
07 4.40
机器人示范数据很贵,还绑定在某一款机械臂上。换一款臂,画面里臂的外形和遮挡都变了,策略就用不了。以往做法把源机器人的画面逐帧改画成目标机器人,但改画会留下瑕疵,策略也会学到这些瑕疵。UniLatent 改在表征空间对齐:在仿真里让两款臂摆出同样的末端姿态,拍成成对画面,训练源机器人的视觉编码器,让它的 embedding 和冻结的目标编码器一致。策略在源数据的 embedding 上训练,部署时直接读目标机器人的画面。仿真中平均成功率从最强改画基线的 44.5% 提到 76.0%。在表征空间对齐,绕开了改画像素带来的瑕疵。
08 4.40
机器人遇到多步骤的新任务时,往往只有几步不会做,整体重训很浪费。ReSkill 让一个写代码的 agent 在开发阶段把任务拆成以物体为中心的任务图,每个节点调用一个技能。agent 根据各节点的执行记录找到出错的那步,只改那一处的流程或技能。每个改动都要在整套开发布局上跑过、和现有版本成对比较,胜出才保留。部署时机器人只运行改好的程序,不调用 agent。在十个仿真任务上,平均成功率从初版的 30.0% 提到 86.2%,一次改动的中位数只动三个函数。大模型只在开发环节改程序,线上跑的是定型的代码。
09 4.40
扩散或流匹配训出的机器人策略,执行中一旦偏到训练数据没覆盖的状态就容易失败,而任务奖励通常只有最终是否成功,很难及时纠偏。GUARD 用策略的训练数据学一个异常分,衡量当前状态离训练数据有多远,把它当作每步都有的稠密奖励,和稀疏的成功奖励一起训练 Q 函数。生成动作时,用 Q 函数的梯度修正去噪过程,把动作推向既能完成任务、又不偏离训练分布的方向,原策略权重不动。在四个灵巧手任务上平均成功率 96.0%,只用成功奖励时低 30 个百分点。离训练分布多远,本身就是现成的稠密奖励。
10 4.35
微软发布了开放权重的双臂操作 VLA 家族 Rho。核心发现是,在通用预训练和任务微调之间,先插一段只针对某款机器人、覆盖大量任务的中间训练(作者叫中训),后面的任务微调就能省一半数据。论文的解释是,预训练见过很多机器人但每款都学得浅,直接学新任务还得同时学会控制这台机器人。在真实的 FR3 Duo 双臂上,同样的插头插入训练预算下,成功率从不做中训的 60.0% 涨到中训两轮后的 86.7%。把适配机器人和适配任务拆成两步,任务那一步就便宜了,和推荐里先做领域继续预训练再做业务微调是一个道理。