Meta RoboJEPA:首个多本体机器人世界模型算力缩放律(开源 8B)
在 12 种本体、约 1.5 万视频小时数据上训练 JEPA 世界模型至 8B;想象误差服从二阶幂律并可外推;规划成功率随算力可预期提升;开源权重与部署代码。
- 发布时间
- 2026-10-07
内容介绍
这份资料在回答一个很具体的问题:机器人世界模型是否也存在可测量的算力缩放规律。Artem Zholus 等来自 Meta FAIR 的作者把动作条件潜空间世界模型放到统一的多本体数据上训练,再系统测量训练算力与想象误差、下游规划表现之间的关系。它值得现在看,是因为材料同时给出了 8B 规模的开源模型、代码与 checkpoint,把缩放律从概念讨论变成可复现的实验对象。换句话说,读者面对的不是一张孤立的模型卡,而是一条从 22M 到 8B 的规模曲线及配套入口。
覆盖范围由几组数字界定:23 个数据集、12 种本体、约 15022 视频小时。方法上,RoboJEPA 训练的是动作条件潜空间世界模型,也就是在潜空间里根据动作展开未来,而不是只做像素层面的重建;材料中的“想象误差”即对应这种潜空间展开的预测质量。统一多本体数据意味着不同形态的机器人数据进入同一训练框架,这为观察跨本体规模效应提供了数据基础。模型规模从 22M 延伸到 8B,作者称其中包含迄今最大的 JEPA predictor。
第一个关键发现是想象误差呈二阶幂律,并可按材料说法外推至 4B/8B。这里的二阶幂律不是简单的线性下降,而是材料给出的特定函数形式;作者据此把较小规模上的拟合结果延伸到更大模型区间。需要区分的是,外推是模型预测,不等同于在每一个大模型规模上都完成了实测,材料本身也是以“可外推”来表述。这个结论的价值在于,它让算力投入与误差改善之间有了可讨论的定量关系,而不只是“模型越大越好”的笼统判断。
第二个关键发现是把下游规划表现纳入同一套测量,并展示单目标图像零样本规划。可以理解为,给定一张目标图像,模型能在没有额外任务示范的情况下进行规划,这使世界模型的想象误差与“能不能用来做事”发生联系。开源代码与 checkpoint 则让这些结果可被检查、复现,也可作为后续研究的基线。材料没有把规划表现拆成具体指标数字,因此这份资料更像给出了评测框架和规模趋势,而非一份完整的任务排行榜。
这些结论对实践的影响,首先是算力规划可以借助幂律做粗略预估,而不是只凭参数量拍脑袋;其次是模型选型应同时看想象误差与下游规划,而不是只盯单一训练损失。多本体统一训练还提示,不同机器人形态不必完全各自为战,至少可以在共享世界模型上先获得一个起点,这一点属于解读,仍需具体任务验证。开源 8B checkpoint 的实际意义在于,团队能在已有世界模型上做规划实验,降低从零训练的门槛。
适合读这份资料的人,是关心机器人学习、具身智能、世界模型与大规模训练工程的读者;读完可以拿走数据规模、22M–8B 的模型跨度、二阶幂律、零样本规划展示以及开源入口这几项核心信息。边界也需要说清楚:材料没有提供各本体的细分结果、下游规划的具体数值、数据配比消融或真实部署细节,缩放律的外推部分应按作者口径理解为预测。若想判断某一类机器人上的可用性,这份资料提供的是框架和起点,不能替代针对具体平台的评测。