La-JEPA:在 V-JEPA 特征空间里从头训练紧凑机器人世界-动作策略
华为与多伦多大学、麦吉尔、Mila 等提出 La-JEPA:在预训练 V-JEPA 2.1 特征空间中从头训练紧凑世界-动作策略。在无具身预训练的策略中,于 RoboTwin 2.0 与校正指令后的 LIBERO-Plus 取得当时最强结果,推理可比 Fast-WAM 快最多约 5 倍。
- 发布时间
- 2026-11-05
内容介绍
机器人策略的主流做法,是把视频生成模型或视觉语言模型当作骨架,再在上面接动作头。La-JEPA 要回答的问题更直接:这条路线是不是必需的?能不能直接在预训练的 V-JEPA 2.1 特征空间里,从头训练一个紧凑的世界-动作策略,并且不依赖任何具身预训练,就在公开 benchmark 和真实机械臂上拿到有竞争力的结果?这个问题现在值得看,是因为它不只有路线主张,还给出了 LIBERO-Plus、RoboTwin 2.0 和四个真实 Franka 任务上的具体数字,并开源了代码,读者可以自行核对这套说法是否站得住。
它训练的是一个策略 Transformer,表征空间取自预训练的 V-JEPA 2.1。训练阶段同时存在世界模块和动作模块,世界模块负责预测未来特征,但这个目标只服务于训练;到了推理,模型只生成动作,不再预测未来。评测分了几层:LIBERO 与 LIBERO-Plus,后者还区分校正指令和发布指令两种设定;RoboTwin 2.0,训练只用干净演示,再分干净场景与随机场景测;真实环境是四个 Franka 桌面任务。对照对象包括有具身预训练的 π0.5 和 Fast-WAM,模型规模有 L 与 B 两档。
在无具身预训练的设定下,La-JEPA L 在 LIBERO-Plus 校正指令上成功率为 88.0%,发布指令为 84.1%,LIBERO 为 98.1%。把这两个 LIBERO-Plus 数字并排看,校正指令的结果高于发布指令,说明这类评测对指令措辞是敏感的;而 98.1% 已接近 benchmark 的上限,区分度相对有限。RoboTwin 2.0 上,La-JEPA B 在干净场景是 86.2%,随机场景 35.4%,三种子平均 60.8%,训练只用了干净演示。从 86.2% 掉到 35.4%,说明从干净演示迁移到随机场景仍是主要短板,60.8% 的均值也是被随机场景拉下来的。
推理侧的数字同样关键。作者称在相当或更好的性能下,优化后的推理比 Fast-WAM 快最多约 5 倍;这与「推理只生成动作、不预测未来特征」的设计是一致的,相当于把世界模型的成本留在了训练阶段。真实环境里,四个 Franka 桌面任务平均成功 17.50/20,具身预训练的 π0.5 是 17.25/20,两者相当。换句话说,至少在作者选定的这四个任务上,具身预训练没有表现出明显优势,但任务数量只有四个,外推需要谨慎。
这些结果意味着一条路线判断:不必把视频生成或视觉语言模型当成策略骨架,预训练特征空间加一个紧凑动作头也能打。未来特征预测更像一种辅助训练目标,用来把表征约束到可预测的动态上,而推理时不必支付这笔开销,这对延迟敏感的部署有直接价值。对实践的另一层影响是复现门槛:代码已经公开,如果团队已有 V-JEPA 类表征,跟进成本不算高。但 RoboTwin 随机场景 35.4% 提醒,数据多样性和鲁棒性不是换一个表征空间就能解决的;LIBERO-Plus 两种指令设定的差距也提示,报数字时要把指令条件带清楚。
做机器人策略、VLA、世界模型和表征学习的研究者与工程团队,都能从这份资料里拿走三样东西:一组可横向比较的数字,一条「训练用世界模型、推理只用动作」的实现思路,以及一个开源代码入口。边界也要讲明白:材料只到摘要层面,没有训练数据规模、超参、消融和失败案例分析;「快最多约 5 倍」是作者在特定对比下的声称;真实任务只有四个桌面任务;随机场景 35.4% 说明泛化短板仍然存在。把这些数字当作路线证据来读,比当作全面领先的结论更合适。
全文在原站
这份资料的出版方不允许嵌入阅读。本站保留中文标题、导读与要点,方便你先判断是否值得读;下面的按钮会在新窗口打开原文。