science 论文机器人与具身智能制造与能源2026-11-03

PrimeSim:用 3 万小时跨本体示范把视频模型变成机器人世界模拟器

PrimeSim 从预训练视频生成模型出发,在约 30,110 小时、22 个机器人平台的示范上中期训练,再经因果蒸馏与自回滚训练,成为动作条件、多视角的机器人世界模拟器;作者报告 10.1 FPS,并在 WorldSimProbe 五项中的四项领先。

发布时间
2026-11-03
link 原始页面

notes 内容介绍

这份资料试图回答一个很具体的问题:预训练视频生成模型能不能从“生成看起来合理的画面”,走到“对动作条件敏感、支持多视角、还能自回归滚动”的机器人世界模拟器。更进一步,它关心这种模拟器能否承担两类实际工作:评估不同机器人策略的强弱,以及在模拟器内部直接优化策略。把这两件事放在一起看,它的意义在于世界模型不再只是展示视频,而是被摆到策略评估与训练回路里检验。对做机器人学习、视频生成和世界模型的人来说,这是一份把数据规模、推理速度和策略相关性放在同一套叙述里的材料。

覆盖范围上,中期训练语料约 30,110 小时,跨越 22 个机器人平台,真实数据与仿真数据的比例约为 84:16。方法起点是预训练视频生成模型 Wan2.2-TI2V-5B,目标是把它改造成动作条件、多视角、可自回归滚动的模拟器。后期训练用了因果适应、四步一致性蒸馏和分层时间记忆,分别对应动作因果性、推理步数压缩和长时程记忆。这个组合说明作者不是只做单段视频生成,而是在处理“动作进入模型后如何持续影响后续画面”的问题。

速度与时长上,四步蒸馏后官方测得约 10.1 FPS,最长展示约 105 秒的连贯回滚。这个数字要放在“世界模拟器”的语境里看:它说明模型可以连续滚动一段时间,但 10.1 FPS 也表明它还不是高帧率实时系统。评测方面,在 WorldSimProbe 上对五个开源动作条件世界模型,它在五项中的四项领先,均分 66.6;EWMBench 总分 6.09。换句话说,作者给出了两组外部基准成绩,用来支撑“不只是画面好看”的判断。

更关键的是策略评估的一致性。材料显示,八个不同水平的 OpenVLA-OFT 策略在 PrimeSim 与 LIBERO 物理模拟器中的成功率,Spearman ρ=1.00、Pearson r=0.99。这意味着两个环境对策略强弱的排序几乎完全一致,至少在这八个策略和这组任务上,PrimeSim 没有把强弱关系打乱。作者还报告,在 PrimeSim 内做 200 步 GRPO 后,策略在物理模拟器中的成功率从 61.7% 升至 73.2%。这组前后对比说明模拟器内的优化没有停留在自娱自乐,而是出现了向物理模拟器迁移的迹象。

这些结论的实践含义是,世界模拟器可以尝试进入策略筛选和策略改进的流程:先用它做低成本排序,再在模拟器内做一轮优化,最后用物理模拟器验证。解读上,这比单纯比较视频画质更接近机器人学习的真实需求,因为策略评估关心的是相对强弱是否可靠,而不只是单帧是否逼真。但也要看到,10.1 FPS 和约 105 秒的展示说明长时稳定性和交互速度仍有边界;真实与仿真约 84:16 的配比也意味着语料明显偏向真实示范。换句话说,这套结果支持“可用”,但还不足以直接推出“可以替代物理模拟器”。

这份资料适合机器人学习、世界模型、视频生成以及做策略评测的人读:能拿走的是一套从视频生成模型改造为动作条件模拟器的完整路线,以及速度、基准、策略排序和 GRPO 迁移四类量化证据。它的边界也清楚:评测集中在五个开源动作条件世界模型、八个 OpenVLA-OFT 策略和 LIBERO 物理模拟器上,覆盖面不等于所有机器人平台和所有策略族。作者称将发布权重与代码,因此可复现性还取决于后续兑现情况。读完后更稳妥的判断是,PrimeSim 给出了“视频模型可被用作策略评估与优化环境”的有力信号,但长时程稳定性、更广泛任务泛化和实时交互仍需更多证据。

Full text at publisher

全文在原站

这份资料的出版方不允许嵌入阅读。本站保留中文标题、导读与要点,方便你先判断是否值得读;下面的按钮会在新窗口打开原文。