IRASim用于机器人操作的细粒度世界模型

这份资料要回答的是，机器人操作的世界模型能否在视觉空间里准确模拟细粒度的机器人-物体交互，并让动作轨迹中的每个动作与生成视频的对应帧精确对齐。材料指出现有方法常忽略这种动作-帧对齐，而操作任务本身很精细，细微偏差就可能导致任务失败。IRASim 的设定是给定历史观测和动作轨迹，生成机器人执行该轨迹的视频，也就是材料所称的 trajectory-to-video 任务。从材料看，现在值得看的地方在于它不只报告视频生成质量，还把同一模型用于策略评估、基于模型的规划和交互式控制，形成从预测视觉后果到辅助决策的实验链条。

方法上，IRASim 训练一个 diffusion transformer，并在每个 transformer block 内放入 frame-level action-conditioning module，显式建模并强化动作与帧的对齐。为生成完成整个任务的长时视频，它可以自回归 rollout，并保持每个生成视频片段之间的时间一致性。验证覆盖四条线：轨迹条件视频生成、策略评估、基于模型的规划、灵活动作控制。视频生成在 RT-1、Bridge、Language-Table、RoboNet 四个真实机器人操作数据集上做，策略评估使用 LIBERO 仿真环境，控制实验用键盘或 VR 控制器采集轨迹。

轨迹条件视频生成的结果是这份资料最直接的一组证据。IRASim 能生成最高 288×512 分辨率、超过 150 帧的长时视频。在 RT-1、Bridge、Language-Table、RoboNet 四个真实机器人操作数据集上，它超过所有对比基线，并在人类评估中更受偏好。材料还报告，随模型规模和计算增加，视频质量有效扩展。

在策略评估上，材料报告用 IRASim 与 LIBERO 仿真环境分别评估自主策略，结果与真值模拟器强相关。材料把这视为加速真实世界策略评估的潜力，而不是已经完成替代。作为视觉动力学模型用于基于模型的规划时，IRASim 让策略探索多种轨迹提案并选最优执行，在 Push-T 基准上把 vanilla diffusion policy 的 IoU 从 0.637 提升到 0.961。提升还随测试时计算增加而扩展，材料将其指向机器人操作的测试时 scaling。灵活动作可控性方面，数据集中的虚拟机械臂可通过键盘或 VR 控制器收集的轨迹来驱动。

这些结果意味着，IRASim 的核心不只是把视频生成得更真实，而是用 frame-level action-conditioning module 把每帧与对应动作绑定起来；对策略评估和规划来说，这种绑定决定了预测能否反映“执行这个动作会发生什么”。策略评估与真值模拟器强相关，说明它可作为更高效的评估候选，但材料用的是“potential”，所以不能读成已经能替代真实世界评估。Push-T 的提升说明世界模型可以在测试时充当轨迹提案的筛选器，增强已有策略而不必重训策略本身，这是解读。灵活控制则表明同一生成模型可以接受键盘或 VR 控制器的轨迹输入，给虚拟机械臂的

IRASim: A Fine-Grained World Model for Robot Manipulation Fangqi Zhu 1,2, Hongtao Wu 2,†,∗, Song Guo 1,∗, Yuxiao Liu 2, Chilam Cheang 2, Tao Kong 2 1Hong Kong University of Science and Technology 2ByteDance Seed †Project Lead, ∗Corresponding Author Abstract World models allow autonomous agents to plan and explore by predicting the visual outcomes of different actions. However, for robot manipulation, it is challenging to accurately model the fine-grained robot-object interaction within the visual space using existing methods which overlooks precise alignment between each action and the corresponding frame. In this paper, we present IRASim, a novel world model capable of generating videos with fine-grained robot-object interaction details, conditioned on historical observations and robot action trajectories. We train a diffusion