Weekly Top 10 · 第46周

2026-11-09 ~ 11-15 · 具身智能

生成式推荐 · 个性化推荐 · AI 搜索 · 系统与索引 · 具身智能

  1. 1. From Video Frames to Robot Meta-Frames: A Unified Latent Interface for World Action Models · 📖 深度解读

    用视频扩散模型做机器人的世界动作模型时,要把关节状态、动作、价值这些低维信号放进一个只见过自然视频的隐空间。常见做法是每种信号单独占一帧,序列变长,注意力计算的开销跟着涨。作者先用一个冻结的去噪器做测试:把信号直接平铺在画面上,去噪器要做很大的修正,说明它离视频的分布很远;先在频域里排好、再用逆 DCT 变回画面,需要的修正最少。MetaWAM 据此把所有机器人信号按频段分开,放进同一帧,不加新模块…

    出现于日报:11-12

  2. 2. Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation

    仿真一直是机器人学走路的训练场,NVIDIA 现在想把它用到对齐齿轮、插线缆这种细活上,难点在于零件只有毫米级,按任务分开训练既费 GPU,成功率也上不去。它在 CoRL 上公布的一批工作里,AlphaNIST 最能说明进展:一个策略学会 NIST 装配板上的全部任务,训练时只拿到成功或失败这一个信号。它的训练成功率超过 98%,每个任务单独训一个策略只有 81%,用掉的 GPU 时间还少了约 39 倍…

    出现于日报:11-11

  3. 3. Real-Time Robot Execution with Masked Action Chunking

    机器人一边执行当前这段动作、一边让模型算下一段,本为不停顿,直接这么用成功率反而会掉。以往工作把原因归到前后两段动作衔接不连贯。作者指出一个被忽视的原因:模型算完时,机器人已按旧计划走了几步,新动作段的开头几步不会被执行,训练时却照样被监督。REMAC 训练时随机遮掉动作段开头若干步,只对会执行的部分算损失,用 LoRA 学一个修正,推理前合并回主干,不增加延迟。模拟器延迟最大时,成功率从 0.451 提到 0.779…

    出现于日报:11-13

  4. 4. Runway’s Praxis-1 world action model for robotics is now available

    做视频生成的 Runway 把自家视频基础模型改成了机器人策略 Praxis-1,以 Apache 2.0 协议开放权重,推理和微调代码一起放出。它是 27B 参数的 MoE 扩散 Transformer,同时预测接下来的画面和机器人动作。训练全程保留视频预测,模型先预测场景下一步的画面,再输出让场景到达那里的动作。Runway 称,网络视频做预训练的效果和遥操作采集的机器人视频相当…

    出现于日报:11-13

  5. 5. RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild · 📖 深度解读

    给通用机器人策略排名,最大的麻烦是真机实验很难复现:同一个任务换个场地、换个摆法,结果就不一样。RoboColosseum 在多地的真实机器人上,让五个机器人基础模型和三个通用的前沿大模型 agent 在四种机器人上两两盲测,两个模型面对相同的本地条件。前沿 agent 能追平专门为机器人训练的模型,但所有系统都很难可靠完成开放环境里的任务…

    出现于日报:11-09

  6. 6. Kimodo-Policy: Learning Kinematic Action Models for Humanoid Loco-Manipulation

    人形机器人边走边拿东西时,躯干、手臂和腿要一直配合,现有的视觉语言动作模型和世界动作模型从预训练里继承的是语义和画面变化规律,身体该怎么协调还得靠下游任务慢慢学。这篇换了预训练目标,直接拿一个由文字生成全身动作的模型当主干并冻结,只训练把摄像头画面接进去的小分支和手部控制。换成同样结构、随机初始化再训练,物体交互任务的成功率从 51.67% 掉到 18.33%,说明继承来的动作规律确实有用…

    出现于日报:11-11

  7. 7. Learn the Task, Not the Schedule: Reducing Spurious Cross-Arm Coupling in Bimanual Imitation Learning · 📖 深度解读

    双臂机器人的示教里,两只手谁先动往往只是操作员的习惯,模仿学习却分不清哪些先后是任务要求、哪些只是碰巧,于是一只手被暂停时,另一只手也跟着等。作者查了四个公开双臂数据集,可以换顺序的任务里极少录到多种顺序,多采同样顺序的数据也解决不了。CTR 把每只手的录像切成片段,在保住必要先后关系(抽屉开了才能放东西)的前提下重新排时间,不用新采数据。真机上暂停一只手 4 秒,只用同时起步数据训练的策略让另一只手多耗 2.56 秒…

    出现于日报:11-11

  8. 8. APS-VLA: Action-Guided and Future-Aware Token Pruning for Efficient Vision-Language-Action Models · 📖 深度解读

    VLA 每一步都要处理几百个视觉 token,推理很慢,可下一步动作往往只取决于画面里的一小块。这篇论文在冻结的 VLA 前面加了一个小打分器,从示范轨迹里学该留下哪些 token。训练时有两个要求:留下的 token 要让原模型给出和看全图时一样的动作,还要能配合示范动作预测几步之后的画面变化。部署时打分器只挑一次,原模型参数和出动作的方式都不变…

    出现于日报:11-12

  9. 9. CIALLO: Learning Shared Intent Representations for Cross-Embodiment Manipulation

    不同机器人的动作写法不同,有的记关节角,有的记末端位移,所以一台机器人的示范很难直接给另一台用。这篇论文训练了一个动作编解码器,把动作、前后两帧画面的变化和指令对齐到同一个空间,用来表示接下来一小段时间要完成的动作意图。每台机器人的身体差异只放在一小组专属 embedding 里,换新机器人时只录一段不超过 10 秒的动作,花半小时左右更新这组 embedding…

    出现于日报:11-12

  10. 10. Zero-Shot VLA Adaptation with Retrieved Guidance

    把检索到的示范拼进模型上下文,是语言模型里 RAG 的标准做法,搬到机器人上却不灵。作者从 DROID 这类视角、物体都和目标场景对不上的真实数据里检索示范,按上下文拼接的基线在真机上一次都没成功,比不加检索还差。RAGu 先按目标场景里物体的位置,把检索到的轨迹几何变换过去,再挑一条需要对模型原本动作改动最少的。模型生成动作时,再把动作往这条轨迹修正,权重和上下文都不动。真机成功率从 20% 提到 80%…

    出现于日报:11-13

‹ 上一周 · 下一周 ›