面向机器人操作的世界模型综述

机器人操作的关键难点在于，动作执行之前就要预判物体、接触与场景几何会被怎样改变，这正是 world model 反复被提起的原因。但这个词如今同时指潜在动力学模型、动作条件视频生成器、三维与四维场景预测器、物理约束仿真器，以及 VLA 系统内部的预测模块，含义已相当分散。这种分散让文献彼此割裂，也让真正影响操作效果的设计选择被淹没。这份综述要回答的正是：在操作场景下，这些被叫作 world model 的东西究竟差在哪里，又该按什么维度比较。

它没有按时间线罗列工作，而是用三个问题重建整个设计空间：预测的是什么样的未来表征、预测如何与动作相连、预测在机器人学习流程的哪个阶段被使用。围绕这三点，作者把已有工作归入五个表征族，并给出一个功能性分类。分析依据是对现有文献的重新组织，加上对 34 个操作数据集的梳理。这意味着它更像一张坐标系，而不是一份工作清单，读者可以据此定位一项研究的位置。

一个值得注意的处理是操作化定义：作者把 world model 限定为“动作条件的预测系统”，并明确与感知模块、逆模型、策略、奖励函数、价值函数区分开。换句话说，能预测未来但不对动作条件作出反应的模块，在这里不算 world model。在此基础上，功能性分类把“预测与动作一体化的模型”和“显式的预测式规划器”分开。前者把预测直接整合进策略，后者让预测先服务于候选评估与搜索，再决定动作。

作者进一步把预测在系统中的角色拆成几类：生成合成经验、筛选候选动作、支撑基于搜索的评估、充当可学习的环境，以及做结果校验。这些角色还会随训练阶段变化：预训练、后训练、推理时的自适应，各自的用法并不相同。为说明如何判断好坏，综述整理了针对预测保真度、任务表现与仿真器可靠性的评估协议。这里隐含的提醒是，这三类指标衡量的并不是同一件事。

作者的结论是，world model 正在从任务专用的动力学预测器，演变为机器人学习的“预测基础设施”。按我的理解，这意味着它的价值不再只取决于预测得多准，还取决于能否嵌入训练与推理的流程。文献中反复出现的一处张力也支持这一点：预测保真度与动作可用性并不总是一致，视觉上合理的未来可能维持不住接触、物体恒存或力闭合；紧凑的潜在模型虽然利于控制，却隐藏了检查、迁移与安全部署所需的物理结构。不同社区的取舍也不同：model-based RL 偏重紧凑潜在动力学与样本效率，视频预测偏重时序连贯与视觉真实感，几何与物理模型偏重空间结构与物理合理性，VLA 则把预测与语言条件推理、动作生成结合在一起。

做操作策略、model-based RL、VLA 或仿真数据管线的人，读它能拿到一套可操作的比较维度：先问预测什么表征，再问怎么接动作，最后问在哪一阶段使用；也能据此判断一项新工作属于五类表征中的哪一类、是一体化模型还是预测式规划器。边界同样明显：作者自己点出的开放问题集中在接触建模、幻觉控制、动作对齐，以及闭环使用下的评测，这些都还没有定论。综述提供的是分类与评估框架，不是某个具体方法的性能排名。

World Models for Robotic Manipulation: A Survey Fangyuan Wang†1, Ziyuan Wang †2,3, Guorui Pei 4, Mengshi Zhang 5, Canxi Liang 6, Jun Hu 3, Zhongxuan Li 7, Jinsong Wu 1, Ning Han 1, Zeqing Zhang 8, Jiaming Qi 9, Hongmin Wu 10, Shiyao Zhang 3, Pai Zheng 11, Jia Pan 7, David Navarro-Alarcon 1, Sichao Liu *12, and Peng Zhou *3 1Department of Mechanical Engineering, The Hong Kong Polytechnic University, Kowloon, Hong Kong SAR, China 2Department of Mechanical Engineering and Automation, Harbin Institute of Technology, Shenzhen, China 3School of Advanced Engineering, Great Bay University, Dongguan, Guangdong, China 4College of Robotics Science and Engineering, Taiyuan University of Technology, Taiyuan, China 5School of Data Science, City University of Hong Kong (Dongguan), Dongguan, Guangdong, China