E0.5：预测未来3D场景的开源世界动作模型

机器人操作的世界模型该把3D几何放在什么位置，是这份资料真正在问的问题。当前主流做法是以视频基础模型或视觉语言模型（VLM）为主干，把3D几何降格为辅助输入，几何只在输入端出现一次，之后的预测由2D特征主导。E0.5 的选择相反：直接以3D基础模型为主干，让3D几何成为世界建模与动作预测的原生表示。这个方向值得现在看，是因为它没有停在架构主张上，而是给出了仿真环境和两台真实机器人上的成功率数字。

资料覆盖的是一条完整链路：方法主张、仿真验证、具身预训练、真机测试。作者先在没有任何具身数据预训练的条件下，于 RoboTwin 2.0 上验证模型的建模方式本身能否支撑动作预测；随后把重心转向数据规模，用 AgiBotWorld-Beta 中超过16万条机器人轨迹做具身预训练；最后在 AgileX Piper 与 Zerith H1 两个真实平台上测操作成功率。整条路线的方法核心可以概括为一句话：动作与未来3D状态被显式地一起预测，而不是先出动作、再由几何做校验。换句话说，几何一致性从后处理环节前移，变成了训练目标的一部分。

第一个值得记住的数字来自无预训练阶段。在 RoboTwin 2.0 上，E0.5 在 clean 条件下成功率为 89.90%，在 randomized 条件下为 50.09%。这组对比的解读空间很明确：clean 成绩说明以3D基础模型为主干、联合预测动作与未来3D状态的做法，在标准场景里是站得住的，不必先靠大规模具身数据把性能撑起来。但 randomized 条件下成功率几乎腰斩，说明场景扰动一加剧，模型的稳定性就出现明显缺口。两个数字放在一起看，比只看其中一个更有信息量。

第二个数字来自预训练之后。在 AgiBotWorld-Beta 的16万余条轨迹上完成具身预训练后，E0.5 的真实操作成功率在 AgileX Piper 上提升约15个百分点，在 Zerith H1 上提升约7个百分点。两个平台都拿到正向增益，按解读，这意味着在仿真与数据侧建立的能力可以迁移到真机，具身预训练是有效的收益来源。两个幅度相差一倍多，材料没有解释差异的来源，可能与平台形态、任务分布或对比基准的强弱有关，但这一点需要回到原文核对，不宜直接当作结论。

这些结论对实践的含义，可以从两个层面看。方法层面，3D基础模型主干提供了一条与视频主干、VLM主干并列的技术路线，它把“预测未来”具体化为预测未来的3D状态，使世界模型的输出可以被几何直接检验，而不只是生成看起来合理的画面。工程层面，RoboTwin 2.0 上从 89.90% 到 50.09% 的落差提示，采用这类模型时不能只看标准条件下的成功率，扰动测试才是暴露问题的地方。此外，真机增益建立在16万条量级的轨迹预训练之上，这意味着数据规模仍是这条路线跑通真机的必要成本。

关注机器人操作世界模型该怎么搭主干、或正在评估3D几何在策略学习中角色的人，会从这份资料里得到直接可用的信息。读完可以带走三样东西：一个明确对立的架构主张，即用3D基础模型而非视频或VLM模型作主干；一组可对照的仿真数字；一组来自两个真实平台的真机增益。边界同样清楚：验证集中在 RoboTwin 2.0 仿真与 AgileX Piper、Zerith H1 两个平台，randomized 条件下 50.09% 的成功率说明鲁棒性仍有明显空间，材料也没有展开模型规模、推理开销与失败案例的细节。这些空白决定了它可以作为方向判断的依据，但不能替代在自己任务上的复现。