今日场景今天具身赛道的主线是机器人训练数据从哪来,以及动作怎么表示更好用。OpenJaws 把手持采集夹爪的相机换成廉价双目,动作标签的轨迹误差降到几毫米,整套软硬件开源。CARD 把人手示范换算成机器人动作时保住接触和力,SAI 只用一个操作员就教会两台机器人配合。方法上,一篇系统比较发现离散动作并不比连续动作差,TOPS 给流匹配策略按任务换起点,VLA-Stem 不改 VLA 就加上了避障。产业侧,Physical Intelligence 开放了模型微调和推理 API。 — 评分 146 篇,入选 10 篇,分数 4.10 – 4.74

本期目录 · 10 篇
  1. 01OpenJaws: An Open Hardware UMI Framework with Stereo Localization for Generalist Manipulation
  2. 02Pushing Dexterity and Safety for In-Hand Object Pose Reaching That Works Remarkably Well
  3. 03GRAFT: Geometry-Aware Residual Adaptation for Foundation Trackers
  4. 04VLA-Stem: A Lightweight Safety Mechanism for Vision-Language-Action Models via Reinforcement Learning
  5. 05TOPS: Reshaping Flow Source and Transport for Multi-Task Robot Manipulation
  6. 06DeCAL: Towards Physically-Grounded Dexterous Vision-Language-Action Models via Contact-Aware Latent Co-Imagination
  7. 07CARD: Contact-Anchored Retargeting for Dexterous Manipulation
  8. 08Sequential Asymmetric Imitation for Learning Coupled Robot Policies
  9. 09When Do Discrete Actions Make Good Continuous Controllers?
  10. 10Frontier Models for Every Robot: Announcing our API beta
LEAD STORY · 今日必读

OpenJaws: An Open Hardware UMI Framework with Stereo Localization for Generalist Manipulation

用手持夹爪(UMI)在野外采机器人示教数据已经很流行,但动作标签准不准,取决于从腕部相机视频里还原夹爪轨迹的那一步。原版 UMI 用单目相机加 IMU(惯性测量单元),单目看不出真实尺度,还要预先建图、贴标记物来稳住。OpenJaws 把相机换成一台百元级的双目相机,两只镜头的间距是标定好的,三角化直接给出真实尺度。在作者新做的带真值评测集上,只比两者都能跟住的片段,双目重建的轨迹误差约 2.9 毫米,原版方案是 18.4 毫米,而且原版平均只跟住 37% 的帧。整套夹爪约 400 美元,软硬件全部开源。

相关 5新颖 4实用 5证据 4时效 5
4.65
综合分 / 5
偏好调整 4.74
Adithyavairavan Murali, Yash Oza, Karanbir Chahal, Neel Jawale, Silas De Vries 等 9 人 · 2026-10-27 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.75

Pushing Dexterity and Safety for In-Hand Object Pose Reaching That Works Remarkably Well

多指灵巧手学到的技能大多还停在简单抓取或者原地转物体,稍难一点的手内操作,最常见的失败是把东西掉了,可是以往的工作很少专门统计掉落。这篇让 LEAP 机械手把手里的物体挪到几乎任意位置和朝向,手腕朝向也随机变,而且一个目标接一个目标连续做。主策略完全在仿真里训练,直接迁到真机。真机上 95.2% 的新目标都能准确到达。作者再在冻结的主策略上叠一个小网络,它只看手和物体的状态,用强化学习学会给每步动作加一点修正,奖励是物体不掉、修正越小越好。修正的惩罚权重可以在运行时调,调大就更接近原动作。这样掉落减少 75%,到达率仍有 91.5%。

Ian Chuang, Hiya Shah, Vamsi Chilamkur, Iman Soltani, Claire Tomlin
arXiv·2026-10-27·Relevance 5 · Novelty 4 · Practical 5 · Evidence 5 · Timely 5
03 4.40

GRAFT: Geometry-Aware Residual Adaptation for Foundation Trackers

人形机器人的行为基础模型(BFM,给一段参考动作就输出全身关节指令的通用跟踪策略)大多在平地动作上训练,碰到台阶、沟和平台就容易摔。常见做法是连同感知一起重训或微调整个模型,成本高,还可能把平地上原有的能力弄坏。小米机器人实验室的 GRAFT 把基础模型完全冻住,只加一个小的适配器,按脚下地形给下半身的执行目标加一点修正,平地上的修正被压到接近零。四个冻结的基础模型在最难的地形上原本几乎都过不去,加上 GRAFT 后,表现最好的从 40 次里成功 3 次升到 39 次。适配器最后只靠机载深度相机就在宇树真机上跑通。

Liang Li, Guoyao Zhang, Xingyu Chen, Sikai Wu, Qianyang Wu, Yuhang Lin, Renjing Xu, Mingliang Zhou 等 9 人
arXiv·2026-10-27·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 4.40

VLA-Stem: A Lightweight Safety Mechanism for Vision-Language-Action Models via Reinforcement Learning

VLA 模型(看图像、读指令,直接输出机器人动作的大模型)擅长按指令抓取和摆放,但大多是在没有障碍的桌面上训练的,旁边多一个箱子或者有东西移过来,它就会直接撞上去。用避障数据去微调 VLA 最直接,可这种数据很难采,还可能伤到原来的任务能力。VLA-Stem 不动 VLA,只在它后面接一个用强化学习训练的小策略:把 VLA 给出的一段动作当作参考路线,结合机器人自身状态和附近障碍物,实时调整实际执行的轨迹和快慢。在六个有障碍的仿真设置里,既不碰撞又完成任务的比例平均 52.8%,最强的安全基线只有 23.7%,没有障碍时原有成功率基本不掉。

Bojun Zou, Wenhao Yu, Jiaohao Li, Jiaxuan Lin, Guanting Ye, Haohan Geng, Weihao Yu, Yanyong Zhang 等 9 人
arXiv·2026-10-27·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 4.40

TOPS: Reshaping Flow Source and Transport for Multi-Task Robot Manipulation

用 Flow Matching 生成动作的多任务机器人策略,通常让所有任务都从同一团高斯噪声出发,沿直线路径变成动作。可开抽屉和叠积木的动作差别很大,共用一个起点和路径,很难每个任务都学好。TOPS 不改网络,只改这两样。它把专家动作沿训练好的策略倒推回噪声空间,发现不同任务落在不同区域,于是给每个任务拟合一个起点分布,按语言指令从对应区域开始生成。它还比较起点分布和专家动作在各个方向上散开的程度,专家动作散得更开的方向,生成前期少往目标挪、后期多挪,其余方向照常匀速。在 LIBERO 最难的长任务子集上,只走一步的 TOPS 把成功率从标准 Flow Matching 十步的 53.44% 提到 69.67%。

Tuo An, Chuhao Zhou, Jiahua Dong, Jingliang Li, Jiaqi Bai, Jindou Jia, Jianfei Yang
arXiv·2026-10-27·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
06 4.40

DeCAL: Towards Physically-Grounded Dexterous Vision-Language-Action Models via Contact-Aware Latent Co-Imagination

灵巧手做接触密集的操作时,手指常常把物体挡住,相机看不清,单靠视觉的 VLA 模型很难把握接触和力度。已有工作开始加入触觉,但多数只是把触觉和视觉特征直接拼在一起,不管当下有没有碰到物体。DeCAL 让触觉按接触情况决定参与多少:没碰到时少用,碰到时多用。它还让模型在出动作之前,在隐空间里一起预测接下来画面和触觉的变化,借此学到一些物理规律。在作者的灵巧手任务上,它的平均成功率达到 71%,在没见过的场景里也保持了较好的表现。

Yankai Fu, Ning Chen, Junkai Zhao, Heng Zhang, Guocai Yao, Pengwei Wang, Zhongyuan Wang 等 8 人
OpenReview·2026-09-04·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
07 4.40

CARD: Contact-Anchored Retargeting for Dexterous Manipulation

教灵巧手最省事的办法,是把人手示范直接换算成机器人动作,即重定向。可现有方法只对齐指尖位置和关节角度,不管手和物体之间有没有接触、用了多大力,机器人手该贴住物体的地方常常没贴住。CARD 先记下每一帧人手哪些位置碰到物体、用了多大力:触觉手套直接读压力,视频没有力的信息,就用作者训练的模型从画面判断哪些位置在接触,每个接触点按同样的力算。重定向时,机器人手除了跟随手指位置,还要在对应位置产生这些接触力。它保住接触的帧数是只对齐运动学方法的好几倍。把这个思路加进基于物理的重定向,在 GRAB 数据集的仿真回放里,物体真被搬过大半程、该抬起时确实抬起才算成功,成功率从 12% 提到 32%。

Cunxi Dai, Botao He, Francois R Hogan, Wei Pan, Rao Fu, Wen-Han Hsieh, Ruoshi Liu, Jitendra Malik 等 10 人
arXiv·2026-10-27·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
08 4.40

Sequential Asymmetric Imitation for Learning Coupled Robot Policies

两台移动双臂机器人通过同一个物体协作时,失败往往不是谁的单项技能不行,而是时机没对上:该等的时候没等,该让的时候没让,该松手的时候还在拉。常规做法要两个人同时遥操作采示范,成本高,也很难同步。这篇的 SAI 只要一个操作员,分三步:先由人扮演配合度很高的搭档,教会机器人 A;再让 A 按学到的策略自己动,操作员遥操作 B 跟它配合,采到的示范用来训练 B;最后只在 A 快要配合失败的地方让人插手纠正。这样机器人见到的搭档越来越像真实情况,会有延迟、节奏错位和让得不够。真机实验里,它的成功率、同步程度和让步表现都好于两台各自独立模仿的做法。

Ranpeng Qiu, Yincong Chen, Zihao Li, Yanan Zhou, Guoqiang Ren, Weiming Zhi
OpenReview·2026-09-04·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
09 4.40

When Do Discrete Actions Make Good Continuous Controllers?

大模型都在预测离散 token,机器人基础模型却几乎都把动作当连续向量来预测,默认的理由是离散化会损失精度。这篇在仿真和真机、单任务和多任务 VLA 上系统比了一遍,发现最朴素的离散做法,把每个动作维度均匀切成若干档,成功率也能追平甚至超过连续动作。离散策略真正的问题不在精度,而在于各个时间步、各个维度分开预测,拼起来可能是互相矛盾的组合。借用扩散模型里的无分类器引导,放大有观测和没观测两次预测的差别,让每个动作维度的概率集中到少数几档上,档位划分不变。这样做后,离散回归在 RoboCasa 上的成功率从 27.1% 升到 49.2%,接近多步迭代生成的离散流匹配的 53.9%。机器人动作未必需要和其他 AI 领域不同的表示。

Zeji Yi, Soham Dasgupta, Xinyang Zhang, Koushil Sreenath, Guannan Qu, Xi Chen, Max Simchowitz 等 8 人
arXiv·2026-10-27·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
10 4.10

Frontier Models for Every Robot: Announcing our API beta

Physical Intelligence

Physical Intelligence 把自家最新的机器人基础模型开放成了 API 测试版:开发者上传示范数据,在它托管的算力上微调 π 系列模型,再通过云端推理直接控制自己的机器人。早期用户覆盖了不少行业,有在真实商业现场无人驾驶装载机装车的,也有用 API 迭代四天,就让双臂机器人给自己的零件去毛刺的。官方总结的共同经验是,改进流程大同小异:采示范、训模型、上机测试,再根据失败决定下一批采什么数据。部分用户遇到了网络问题,云端推理对现场网络有要求。对做机器人应用的团队来说,这意味着不必自建训练基础设施就能用上前沿模型,但数据和失败分析仍要自己做。

Physical Intelligence
技术博客·2026-10-13·Relevance 5 · Novelty 4 · Practical 4 · Evidence 3 · Timely 3

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 8 个项目
phiraml/gpu-unlock-blackwellPre-driver SM speed-select unlock for Blackwell GB20x (RTX 5090): feasibility, measurement harness, and port research.Python · ★ 29 · 2026-10-24 · GitHubalgebra-MCX/DeepInfer-LabAn open lab for DeepInfer systems research, correctness validation, and end-to-end optimizationPython · ★ 26 · 2026-10-23 · GitHubNekt-0/CHROMASolana research terminal — eight explainable market checks, a ranked target queue and a traceable local event history.JavaScript · ★ 24 · 2026-10-26 · GitHubinternlm/Intern-Decision-4Bpipeline: image-text-to-text; tags: transformers, safetensors, qwen3_5, image-text-to-text, decision-making, multimodal, structured-prediction, decision-modelmodel · ★ 92 · 2026-09-26 · HuggingFaceinternlm/Intern-Decision-0.8Bpipeline: image-text-to-text; tags: transformers, safetensors, qwen3_5, image-text-to-text, decision-making, multimodal, structured-prediction, conversationalmodel · ★ 37 · 2026-09-26 · HuggingFaceinternlm/Intern-Decision-2Bpipeline: image-text-to-text; tags: transformers, safetensors, qwen3_5, image-text-to-text, decision-making, multimodal, structured-prediction, conversationalmodel · ★ 19 · 2026-09-26 · HuggingFaceAlibaba-DAMO-Academy/RynnUnify-Agentic-Reasonerpipeline: image-text-to-text; tags: transformers, safetensors, qwen3_vl, image-text-to-text, rynnunify, embodied-ai, visual-reasoning, reinforcement-learningmodel · ★ 3 · 2026-10-22 · HuggingFaceAlibaba-DAMO-Academy/Rynn-VPRynn-VP: Long-Horizon Visual Planning Benchmark Rynn-VP evaluates visual plans for everyday manipulation in real indoor scenes. Given a natural-language task and an initial image, a system produces a candidate video or an ordered sequence of step images. Evaluation examines the a; tags: language:en, license:cc-by-nc-4.0, size_categories:n<1K, region:us, visual-planning, embodied-ai, video-generation, multimodaldataset · ★ 1 · 2026-10-25 · HuggingFace