From Video Frames to Robot Meta-Frames: A Unified Latent Interface for World Action Models

Guoqiang Liang, Yiqi Lin, Yanzhe Chen, Kevin Yuchen Ma, Mike Zheng Shou · arXiv 2611.14365 · 发表 2026-11-11
12 分钟阅读时长 4642字 4.65综合分 第 1 名11-12 Embodied AI 日报
目录 · 5 节1用冻结去噪器量一量「像不像画面」2把数字写进频段,再逆 DCT 变回一帧3一帧同时当策略、世界模型和价值函数的接口411 帧缩到 8 帧,成功率还略升5背景一换、初始姿态一变,它反而不如 Cosmos Policy
相关 5新颖 4实用 5证据 4时效 5

MetaWAM 这篇论文说明:往预训练视频扩散模型里塞机器人信号,要紧的不是这些信号占几帧,而是它们在去噪器眼里像不像一张正常的画面。

World Action Model(下文简称 WAM,一类拿预训练视频扩散模型同时预测机器人动作和未来画面的模型)的做法是:把相机画面编码成 latent 视频,让视频扩散模型(VDM)去噪出未来几帧,同时顺带去噪出下一段动作、未来的关节状态,以及这一步大概能拿多少回报(价值)。VDM 本来是看自然视频训练的,它的去噪器只认识「画面长什么样」。

难点在于,关节状态、动作、价值都是很短的一串数字,而 latent 空间里的每一帧是一个通道 × 高 × 宽的张量。示意:一台 7 自由度的 Franka 机械臂在做「把杯子对准杯垫」,当前关节状态就是 7 个数,比如 (0.1, −0.4, 0.0, −2.1, 0.0, 1.6, 0.8)。这 7 个数得先变成一张「帧」,去噪器才肯处理它。

最接近的现有做法是 Cosmos Policy:每个信号单独占一帧,把原始数值在空间上原样复制铺满。于是这 7 个数在 latent 里被常数平铺成一张重复的图案(示意)。作者的诊断是,视频去噪器恰好会把这种平铺图案往「正常画面」那边使劲改,写进去的数字也就跟着被改动。

这种做法的另一个代价在序列长度上:输入关节、动作、未来关节、价值各占一帧,加上 6 帧相机画面和一个空白首帧,一共 11 帧,而注意力的计算量随帧数平方增长。还有一类做法(如 DreamZero)给动作单独加编码器和解码器,那又要改动预训练骨干。

MetaWAM 的回答是把所有机器人数字写进一帧的 DCT(离散余弦变换,把一张图拆成一组余弦波的叠加)系数里,再做逆 DCT 变回空间上的一帧。在 RoboCasa 厨房任务上,序列从 11 帧缩到 8 帧,单次推理快了约 39%,成功率还从 67.1% 升到 68.9%。这意味着少用的帧没有拿精度去换。

用冻结去噪器量一量「像不像画面」

要比较各种塞法,得先有一把尺子。作者拿一个冻结的 Cosmos-Predict2 去噪器(MetaWAM 所用骨干视频模型的去噪部分)当探针:把注入了信号的 latent 加上噪声,让去噪器还原,看它改了多少。改动量除以干净 latent 的幅度,就是相对重建误差。示意:干净 latent 的幅度是 10,去噪器的输出和它差了 6,误差就是 0.6。去噪器觉得眼熟的 latent 只需要小修小补;它改得越多,说明这张图离它见过的画面越远。

先只塞一个信号(30 个动作块),比三种写法。噪声水平 σ=1.0 时,空间复制的误差是 0.6459,渲染成图像再过 VAE 是 0.6379,写进 DCT 系数是 0.5922。σ 从 0.01 到 5.0 的五档里,DCT 都是最低。这说明「能顺利通过 VAE」不等于「去噪器认它」:VAE 编码出来的 latent 照样被去噪器当成异类。

再塞三个信号(动作块、关节状态、价值),比四种排法。为了下文能对上名字,先说清楚它们各是什么:

  • Separate Spatial Dup.:三个信号各占一帧,每帧空间复制,也就是 Cosmos Policy 的做法。
  • Meta-Quadrants:三个信号挤进一帧,每个信号分一块同样大的空间区域,数值在区域里沿通道复制。
  • Meta-Compact:也是一帧,但按信号维度分区域,动作块占大块,关节和价值占小块。
  • Unified Meta-Frame:本文的做法,三个信号分到互不重叠的通道组,写进 DCT 系数后逆变换成一帧。
诊断实验比较的注入方式:(a–c) 单信号的空间复制、VAE 编码、DCT 编码;(d–g) 多信号的分帧空间复制、Meta-Quadrants、Meta-Compact,以及经正交 DCT/iDCT 变换得到的统一 meta-frame
诊断实验比较的注入方式:(a–c) 单信号的空间复制、VAE 编码、DCT 编码;(d–g) 多信号的分帧空间复制、Meta-Quadrants、Meta-Compact,以及经正交 DCT/iDCT 变换得到的统一 meta-frame
多信号排法帧数σ=1.0 相对重建误差 ↓
Separate Spatial Dup.30.6178
Meta-Quadrants10.6730
Meta-Compact10.6234
Unified Meta-Frame10.5613

最反直觉的是第二行。Meta-Quadrants 同样只用一帧,误差却比三帧各放一个还高。按作者的解释,各区域交界的地方数值突然断开,这种不连续的边界也是去噪器会去「修」的东西。

只省帧数不够:同样挤进一帧,按区域摆比三帧更差,写成频域系数才降到 0.5613。

把数字写进频段,再逆 DCT 变回一帧

既然问题出在长相,作者换了一种写法:数字要能原样取回,铺出来的图案又不再是常数平铺。作者选了 DCT。2D DCT 把一张图拆成一组余弦波的叠加,每个系数是一种波的权重;逆 DCT 再把这些权重叠回成图。正交 DCT 是可逆的,正反做一遍数字不变。

MetaWAM 把一帧的 latent 通道划成五个互不重叠的通道组,作者叫 channel band,下文叫「频段」:任务类型、当前关节、动作块、未来关节、价值各占一段。整个打包和读出流程如下:

步骤输入操作产出只在训练时?
1 打包归一化后的各信号把数值直接写进自己频段第 0 行(k_H=0)的固定系数位置,其余系数填 0一张稀疏的系数张量否
2 逆变换系数张量每个通道做一次正交 2D 逆 DCT空间域的 meta-frame否
3 去噪8 帧 latent 序列VDM 照常去噪,结构不改去噪后的输出 meta-frame否
4 读出输出 meta-frame做一次 2D DCT,到固定位置取系数动作、未来关节、价值否
5 监督读出的信号Huber 损失,外加对分配位置以外系数的 L1 惩罚梯度直接回到去噪器是

这里的 meta-frame,就是一帧专门装机器人数字、而不装相机画面的 latent 帧。

Hoot 说同一个策略样本:训练时往频段里写什么,推理时又写什么收起 ✕
只有已知的数才被打包。训练时目标频段装的是真值,加噪后让去噪器还原;推理时动作、未来关节、价值没有真值可写,由去噪器生成,再按第 4 步读出。

训练:一个策略样本

任务、当前关节
写入真值,频段打开,作干净条件
动作、未来关节、价值
也写入示教里的真值,但频段关闭:随整段序列一起加噪,作去噪目标
损失
扩散去噪损失 + 读出信号的 Huber 损失 + 位置外系数的 L1 惩罚

真值在这里只当「答案」,用来教去噪器

推理:一次策略查询

任务、当前关节
照样打包,写进输入 meta-frame(复用空白首帧)
动作、未来关节、价值
未知,没有数可写;作为去噪目标,和未来画面一起由去噪器生成
读出
对去噪后的输出 meta-frame 做 2D DCT,到固定位置取系数,就是归一化后的动作

位置分配在训练和推理中完全一样,读出时不用学解码器

「频段」到底指什么

分组依据
latent 通道:每个信号分到一组互不重叠的通道
通道内部
存的是 DCT 系数;数值写在第 0 行(k_H=0)的固定位置,其余系数为 0
为什么叫「频段」
论文原名 frequency-domain channel band:按通道分组,组内数字放在频域系数上

所以划分的是通道,不是频率区间

以策略任务为例:任务和当前关节是干净条件,其余三个频段是去噪目标。表里第 1 步写「否」,指打包这一操作推理时也要做,但推理时只打包已知的任务和当前关节。

出处论文 §4.2 频段布局与读出(Eq. 2–3,k_H=0 行的固定系数位置,分配在训练和推理中固定);§4.3 输入 meta-frame;§4.4 按频段掩码:打开=干净条件,关闭=去噪目标;§4.5 训练目标(Eq. 4 在干净序列上加噪,Eq. 5–6 读出损失与位置外系数惩罚);图 3

用一个可心算的小例子看第 1、2、4 步(示意,只看宽度方向的 4 格)。把关节的两个值 1 和 0.5 写成系数 (1, 0.5, 0, 0),逆 DCT 出来大约是 0.83、0.64、0.36、0.17,是一条下降的坡。读出时对这条坡做 DCT,又精确地得到 (1, 0.5, 0, 0),取前两个位置就是原来的关节值。

这个例子说明了两件事。第一,数字被摊到了余弦波上,不再是常数平铺;作者的解释是这样更贴近去噪器的先验,但这只是解释,小例子并不能证明它就是不掉点的原因。第二,读出只是一次固定的数学变换,不需要学一个解码器。

为什么不干脆学一个编码器和解码器?作者在附录里试过 DreamZero 风格的 MLP 编解码器:同样训练 6000 步,MetaWAM 的动作 L1 损失很快降到接近 0,MLP 接口一直停在 0.75 左右。作者的解释是零初始化的投影层起初不传信号,而且编码器一更新,去噪目标也跟着变。这只说明在这套设置下学习式接口没训起来,不代表它在别处一定不行。

训练中的动作 L1 损失:(a) MetaWAM 迅速下降到接近 0;(b) MLP 编码器加解码器一直停在约 0.75
训练中的动作 L1 损失:(a) MetaWAM 迅速下降到接近 0;(b) MLP 编码器加解码器一直停在约 0.75

一帧同时当策略、世界模型和价值函数的接口

动作、未来关节、价值都住在同一个输出 meta-frame 的固定频段里,从不换帧。三种任务的区别只在于哪些频段是「已知条件」,哪些是「要去噪出来的目标」。MetaWAM 给每个样本配一个按频段开关的掩码:

任务打开当作条件的频段留作去噪目标的频段
策略任务、当前关节动作、未来关节、价值
世界模型任务、当前关节、动作未来关节、价值
价值任务、当前关节、动作、未来关节价值

回到杯子的例子(示意):做策略时,模型只知道现在 7 个关节在哪,要去噪出接下来怎么动;做世界模型时,动作也给它了,它要预测动完之后关节到哪;做价值时,前后状态都给了,只剩回报要估。

如果掩码只能按整帧开关,这件事就做不到:动作和价值在同一帧里,没法打开动作的同时藏住价值。输入那一侧的 meta-frame 也不额外花帧,它复用了 tokenizer 本来就要留的空白首帧,装任务类型和当前关节。

MetaWAM 总览:信号经 DCT 系数和 2D iDCT 注入输入 meta-frame;左下为策略、世界模型、价值三种任务的频段路由;VDM 去噪后从输出 meta-frame 做 DCT 读出动作块、未来关节和价值,分别计算损失
MetaWAM 总览:信号经 DCT 系数和 2D iDCT 注入输入 meta-frame;左下为策略、世界模型、价值三种任务的频段路由;VDM 去噪后从输出 meta-frame 做 DCT 读出动作块、未来关节和价值,分别计算损失

11 帧缩到 8 帧,成功率还略升

8 帧的组成是:输入 meta-frame、三路当前相机、输出 meta-frame、三路未来相机。消融都在 RoboCasa 上做,24 个厨房任务,每个任务只有 50 条人类示教,按 Cosmos Policy 的协议共 3600 次试验。

排法帧数成功率单次推理未来画面 PSNR价值 MAE
Separate Spatial Dup.1167.1%0.479 s19.270.072
Meta-Quadrants865.9%0.291 s18.860.081
Meta-Compact868.1%0.291 s19.410.065
Unified Meta-Frame868.9%0.291 s19.950.046

三种 8 帧排法的延迟完全一样,所以快的那 39% 来自少了 3 帧,和怎么摆无关。这说明成功率的差别要归到排法上:Meta-Quadrants 掉到 65.9%,和它在探针上误差最高对得上。不过 Meta-Compact 也有 68.1%,只比本文低 0.8 个点,频域写法在成功率上的优势并不大。

预测画面和价值也没有被牺牲。Unified Meta-Frame 的未来画面 PSNR(峰值信噪比,越高说明预测的画面越接近真实)最高,未来关节误差和价值 MAE(平均绝对误差)都最低。这说明省下来的帧没有以拖累世界模型和价值任务为代价。

探针分数和成功率排在同一个顺序上吗?作者用冻结去噪器的输出直接读回信号,看信号保留了多少:Unified 的保留比例 0.7146,三种对照在 0.60 到 0.66 之间,四种排法的排序和成功率一致。作者自己说,这只能当作比较几种排法的诊断,不拿来预测成功率。

和外部方法比,MetaWAM 在 RoboCasa 上只用每任务 50 条示教,成功率就高于用 300 条示教的 π0(62.5%)。这说明它在小数据下不吃亏,但示教量不同,这组对比只能当参考。

真机上,作者在 Franka 上做了扫地、放杯子、搭积木三个任务,每任务 20 次试验。分布内成功率 85.0%,Cosmos Policy 是 78.3%。加了干扰物和背景变化后是 68.3% 对 63.3%。这说明省帧的接口搬到真机上,成功率也高于逐帧注入的对照。

背景一换、初始姿态一变,它反而不如 Cosmos Policy

LIBERO 是常用的机械臂仿真操作基准,LIBERO-Plus 在它的场景上再施加相机、背景、初始状态等七类扰动。MetaWAM 在 LIBERO-Plus 上总分 83.4,高于 Cosmos Policy 的 82.2,换相机视角时 82.9 对 75.8。

但背景变化下是 72.6 对 88.9,机器人初始状态变化下是 59.9 对 63.3,原版 LIBERO 上 98.1% 也略低于对照的 98.5%。所以它的稳健性并不均匀,总分略高掩盖了两类明显的短板。

放回杯子的例子(示意):初始状态扰动改的,正是写进当前关节频段的那 7 个数的起点,机械臂开局的姿态和示教里不一样。在这一类扰动下,MetaWAM 的成功率低于 Cosmos Policy。作者在局限里也承认它对背景和初始状态敏感,并提到固定的频段划分和损失权重,在各信号尺度差别很大时可能要重新调。

MetaWAM 的频段写法,是先用冻结去噪器量过「认不认」才挑出来的;换别的信号接口之前,这把尺子可以先拿来量一量。

帧数从 11 减到 8 带来了速度。同样只用一帧,Meta-Quadrants 掉了点,Meta-Compact 略升;频域写法在三种 8 帧排法里成功率最高(68.9%),比 Meta-Compact 高 0.8 个点。

读完这篇,你觉得

点一下即可,无需登录;再点一次撤回。只统计匿名次数,不记录你是谁。

相关论文RELATED

  1. Embodied · 2026-10-28Zero-HLM: Generalizable Humanoid Loco-Manipulation without Real Robot Data人形机器人要学会走到桌前、拿起香蕉再放进篮子这类长任务,通常要靠人遥操作采上百条真机示范,桌子挪个位置往往就得重采。Zero-HLM 改为全部在仿真里造数据。它用手机拍一圈真实房间,重建成既像照片、又能做物理交互的仿真场景,再把少量遥操作示范自动改写成上千条新示范。每条新示范随机换一个机器人起点和物体、放置目标的位置,手的轨迹跟着目标一起移动,只留下在仿真里跑成功的。只用这些数据训练的策略直接上真机,三个任务平均成功率 66.7%,高于用真机示范训练的 46.7%。换到真机示范没覆盖的位置后,成功率从 23% 提到 69%。
  2. Embodied · 2026-11-03Contact Imitation Interface: Transferring Dexterous Skills by Showing How Contact Unfolds用人手示范教机器人灵巧手,难点在于人手和机器手形状不同:转换时如果只追求手形相似,机器手指尖碰到物体的位置往往和人当初碰的不一样,抓取和拨动就会失败。CIMI 把接触放在第一位:示范时记录手指与物体的接触面和指尖摄像头画面,转成机器手动作时先让接触点对齐,再顾及手指姿态;学到的策略也是先预测接触面接下来怎么移动,再由控制器协调手腕和手指去对齐。在 LEAP 和 Wuji 两款机器手的六组手与任务组合上,任务完整做完的平均成功率比基线策略至少高 50 个百分点。迁移人手技能时,对齐接触比对齐手形更关键。
  3. Embodied · 2026-11-12APS-VLA: Action-Guided and Future-Aware Token Pruning for Efficient Vision-Language-Action ModelsVLA 每一步都要处理几百个视觉 token,推理很慢,可下一步动作往往只取决于画面里的一小块。这篇论文在冻结的 VLA 前面加了一个小打分器,从示范轨迹里学该留下哪些 token。训练时有两个要求:留下的 token 要让原模型给出和看全图时一样的动作,还要能配合示范动作预测几步之后的画面变化。部署时打分器只挑一次,原模型参数和出动作的方式都不变。在 LIBERO 上剪掉 75% 的视觉 token,推理快了 1.57 倍,成功率只比不剪低 1.25 个百分点。再剪狠一些,速度几乎不再涨,成功率却掉得更快。该留哪些 token,要看它对接下来的动作和画面变化有没有用,而不只是看它和指令像不像。这和推荐里按下游目标学特征筛选是同一个思路。

讨论

欢迎补充实验细节、复现经验或不同看法。需 GitHub 登录。

正在加载讨论…