02 4.65
通用机器人策略要控制各种机械臂和夹爪的组合，但给每种新机器人重新采数据、重新训练都太贵。最常用的 Open X-Embodiment 数据集汇集了六十多个机器人数据集，却严重失衡，最多的四种机器人占了真实数据的 85% 以上。这篇论文做了一套增强工具，把已有演示扩展成另外九种机械臂和夹爪组合的版本，得到 440 万条轨迹的 OXE-AugE，是原数据的三倍多。摘要只公开了规模和结论，没有说明动作怎样换算到新机器人上。实验显示，多样的机器人增强不只帮助被增强的机器人，在没见过的机器人上、以及原机器人遇到分布变化时也更好。
03 4.65
NVIDIA训练机器人基础模型离不开大量标注：部署时要判断任务是否成功，强化学习后训练要给每一步打过程分，预训练前还要给视频配上带时间戳的描述来筛选数据。英伟达开源了训练 GR00T 用的数据引擎 Flora，一个模型同时做这三类标注。它在描述和奖励的公开基准上取得最好成绩，内部测试中和 GPT-6 Astra 相当。成本约是后者的 125 分之一，目前每天在 512 块 GB300 上标注 20 万小时数据。
04 4.40
模仿学习的效果很依赖演示数据覆盖得多广，但采集多样的成功演示很贵。这篇论文把强化学习当成造数据的工具，而不是直接上线的控制器。DiscoDemo 训练一个生成器，换一个隐变量就换一种完成任务的方式；训练时先从离目标很近的状态练起，再逐步往回退；另有一项多样性奖励：隐变量不同，机器人经过的状态在一个学到的表示空间里相距越远，奖励越高，而且只给成功完成任务的轨迹。生成器产出的轨迹先去掉失败的，再剔除机器人和场景发生多余碰撞、或插装时用力过大的，剩下的导出成静态数据集，供下游策略学习。在四个操作任务上，和最强的基线相比，下游策略的平均成功率在仿真中从 40% 升到 62%。真机上则从 39% 升到 78%。
05 4.40
视觉语言动作模型太大，很难放到机器人自带的边缘设备上。BitVLA 不靠训练完再压缩，而是从一开始就用极低比特设计：所有参数只取负一、零、一三种值，约合 1.58 比特，习惯上称为 1 比特模型，基于开源的 BitNet 大模型训练。视觉编码器的权重也量化成这三种值，再在训练中让它输出的图像表示向原来的全精度编码器靠拢。效果和全精度的 OpenVLA-OFT 相当，模型内存减少 11 倍，端到端延迟降低 4.4 倍。
06 4.40
人不看手也能在掌心转保定球，机器人却很难只靠触觉长时间操作。仿真里能训出不看的策略，但搬到真机灵巧手上，接触不停变化、触觉信号随动作漂移、仿真和真实的动力学也有差距。这篇论文在 Shadow 灵巧手上只用关节感知和开关式触觉做输入，在仿真里按真机复现触觉传感器的布置和腱绳带动的手指关节联动，对每个触点单独校准触觉开关的阈值，并加入两种新的随机化：随机限制动作变化速度，随机让部分触点卡住不变。策略零样本迁移到真机，一次连续试验里完成 225 次半圈旋转，全程不用视觉和物体位置。
07 4.40
灵巧手的演示数据既要保留手和物体之间的细微接触，又要在部署时能直接执行。现有做法要么在把人手动作转换成机器手动作时丢掉精细动作，要么依赖专门的遥操作设备，成本高、也不直观。RealDexUMI 做了一个可穿戴的采集装置，采集和部署用同一个灵巧手模块，上面带手内摄像头和指尖触觉；掌侧手套的关节结构和机器手一一对应，人弯哪个指节，机器手就弯对应的关节，不用再做动作换算。采集时和部署时看到的画面、触觉和动作完全一致。在八个真机任务上，平均成功率 88.75%，还能迁移到三种机器人。
08 4.40
大型机器人基础模型用离线遥操作演示适配新任务时，很难覆盖部署中真正难的状态，比如接触、失误后恢复和精细对位。这篇论文提出 TIDE，把机器人执行、人工接管、学习和策略更新放进同一个部署过程。系统记录每段动作是人做的还是策略做的，训练时把这个来源标签当作额外输入，告诉模型这段数据从哪来；机器人自主执行时固定输入代表人工的标签，让策略按人工接管时的方式出动作。不需要价值函数、奖励模型或动作打分器，新的策略在每轮结束时换上机器人。在四个真实双臂操作任务上，任务进度和完整完成率都超过起点策略和多加离线演示的做法，需要人接管的比例也在下降。
09 4.40
理论上，带正则的强化学习有可证明的鲁棒性，应该更容易把仿真里训的策略搬到真机上，但实际流程里大家仍默认用正则很弱的 PPO。这篇论文系统比较了常用算法在仿真到真机上的表现，并推导出一个新算法 SMM-AC：估计下一状态的价值时，通常直接取各动作价值的最大值；SMM-AC 改成一种平滑的最大值：把各动作价值乘以参数 ω 后取指数、求平均、取对数，再除以 ω。ω 越大结果越接近最大值，越接近 0 越接近平均值，这类价值函数已被证明对更多种扰动鲁棒。在 MuJoCo 仿真上它和常用的强化学习算法 SAC 相当，到了真机上回报更高，面对观测、环境和动力学上的扰动也更稳。结论是正则化确实能缓解仿真和真实之间的差距。
10 4.65
强化学习训出的机器人策略动作常常来回抖，放到真机上会磨损电机。现有做法直接限制输入状态稍变时动作的变化，但约束太宽，平滑越强，任务完成得越差。另一种做法只惩罚相邻两步动作的差别，过去被认为扛不住观测噪声。这篇论文证明，如果几个当前状态走一步后会到达同一个下一状态，相邻步惩罚也会压低它们之间的动作差别。这相当于在相近的状态之间也做了平滑，实验显示策略因此对观测噪声更稳。据此提出的 CATS 只用相邻步惩罚，并让惩罚权重从零线性加大，策略先学会拿奖励，再逐渐变平滑。仿真和真机上，动作抖动明显减少，任务表现基本不降。