视频预测策略：具备预测性视觉表征的通用机器人策略

通用机器人策略的视觉编码器该怎么选，这个问题正在被重新提问。过去的主流做法是拿单张图像做重建，或者拿两张图像做对比学习，encoder 学到的东西偏向静态：画面里有什么物体、纹理长什么样、场景布局如何。但具身任务真正吃紧的往往是动态部分——物体接下来会怎么移动、抓取后会发生什么、动作的后果长什么样。这份由清华大学与星动纪元等机构在 2024 年 12 月发布的资料，给出的答案是：让视觉表征本身就带预测性。换句话说，它试图说明视频扩散模型内部学到的表征，可能比静态预训练的表征更适合作为机器人动作学习的底座。在视频生成模型能力快速外溢到机器人领域的当下，这个切入点是值得跟进的。

资料的核心主张可以概括为一句话：视频扩散模型的表征同时包含当前画面的静态信息和对未来动态的预测。这个观察是整个方法的出发点。基于此，作者提出 VPP（Video Prediction Policy），做法是在视频扩散模型的预测表征之上学习一个隐式逆动力学模型——也就是不显式建模环境动力学，而是从预测出的视觉表征反推动作。这个技术路线把「预测未来画面」和「输出机器人动作」两件事接在了同一条表征链上，而不是各训各的再拼接。资料给出的验证覆盖面包括 Calvin ABC-D 这一仿真基准，以及真实世界中的灵巧操作任务，属于仿真与真机两侧都有交代的写法。

关键数字有两组，都是相对提升。在 Calvin ABC-D 基准上，VPP 相对基线提升 18.6%；在真实灵巧操作任务上，成功率提升 31.6%。这两个数字值得分开看：前者衡量的是在标准化仿真基准上的长程操作表现，后者衡量的是真机上的灵巧操作成功率，后者通常更难做，也更接近落地时会遇到的分布。需要说明的是，材料只给出了相对提升幅度，没有给出基线的绝对数值，也没有给出评测任务的具体数量与配置，所以这两个百分比应当理解为「相对所比对象的改善」，而不是「最终成功率达到多少」——这一点在引用时需要留意。但 31.6% 这个量级出现在真机灵巧操作上，意味着视觉表征的选择对动态任务的影响并非边际性的。

从因果链条上看，18.6% 和 31.6% 共同支撑了材料第一段的那个判断：忽视动态信息是此前视觉编码器的一个真实短板，而不只是理论上的顾虑。如果静态表征已经足够，那么在视频扩散表征上再学一层逆动力学模型，不应该在两类任务上都拿到这个幅度的相对提升。换句话说，这些数字更像是为「表征里有没有未来」这件事提供了经验证据，而非单纯报告一个新方法的性能。当然，这仍是解读：材料本身没有做消融式的归因分析说明提升究竟来自预测性表征的哪一部分，也没有区分是视频扩散模型规模带来的收益，还是「预测未来」这一目标函数带来的收益。

对实践者来说，这份资料的意义在于提供了一个可操作的替代选项：当任务涉及接触丰富、需要预判后果的操作时，选视觉 backbone 的标准可能要从「特征判别力强不强」转向「表征里有没有对未来的预测」。这意味着预训练范式的评估指标也应随之调整——单帧重建损失或对比学习的下游线性探测分数，未必能反映该表征在动态任务上的可用性。同时，「隐式逆动力学」这个提法提示了一种工程上的省事路径：不必显式建一个世界模型再规划，而是让预测表征直接对接动作输出，从而减少模块间的接口损耗。不过这些都是方向性的提示，材料并未给出训练成本、推理延迟或数据规模方面的信息，实际选型时仍需要自行验证。

这份资料更适合已经在做机器人策略学习、或者正在评估视觉预训练方案的研究与工程读者。读完能拿走的东西大致有三样：一个明确的论点，即视频扩散表征同时含静态与动态信息；一条具体的技术路径，即在预测表征上学隐式逆动力学；以及两组可用于对标参考的相对提升数字，分别在 Calvin ABC-D 与真机灵巧操作上。边界也需要说清楚：材料覆盖的是方法主张与两项评测结果，没有展开失败案例分析，没有讨论方法在非灵巧、非操作类任务上的适用性，也没有给出跨 embodiment 迁移的证据。因此它更适合被当作一个方向性的强信号，而不是一份可以直接照搬的工程手册。