视频作为具身智能的语言

通用具身智能仍是人工智能的中心难题，而把大语言模型改造成机器人控制器的路线，论文认为存在难以回避的局限——它在感知、接地与控制三方面都受到制约。与其继续在既有范式上打补丁，作者主张退一步回答一个更基础的问题：具身智能应当用什么「语言」来表达。论文标题 Video as the Language of Embodied Intelligence 正是对这个问题的正面回答，也是这份资料现在值得翻的原因：它把「模型不够好」重新表述为「表征选错了」，并沿着这个判断给出了从建模框架到规划应用的完整链条。

论文的工作范围从诊断延伸到构建。起点是 SpatialVLM，一个用三维空间推理增强视觉语言模型的系统，用来暴露多模态模型在空间感知上的短板；由此转向以视频为基础语言的路线，提出两个核心组件 Diffusion Forcing 与 Diffusion Forcing Transformer，以及配套的 History Guidance 技术；终点是一个初步的视频基础模型，用于零样本机器人运动规划。方法上，它把因果的下一 token 预测与全序列扩散结合起来做视觉世界建模，再把生成能力接到基于模型的规划上，形成预测与决策的闭环。整条线索来自作者在 MIT 电气工程与计算机科学系的博士研究，由 Vincent Sitzmann 与 Russ Tedrake 共同指导，Kaiming He 与 Yilun Du 担任论文读者。

最直接的发现是关于空间推理的。论文指出，多模态大模型常常连「估计距离」这类基本空间感知任务都做不好，而这对机器人是不可或缺的能力。SpatialVLM 通过引入三维空间推理，在空间估计上确实更有效，但作者强调，这个改进反而揭示了更深的一层问题：当输出只能是语言时，模型无法充分表达感觉运动动力学。换句话说，瓶颈不在于空间推理模块的精度，而在于语言这一输出介质本身的表达上限。

沿着这个判断，论文提出 Diffusion Forcing，一种把因果下一 token 预测与全序列扩散混合起来的建模框架。材料给出的关键性质有三点：它能支持远超训练时间跨度的稳定、连贯推演；它允许带引导的生成，从而把预测建模和规划接起来；在此之上，Diffusion Forcing Transformer 作为自然的架构扩展，专门处理以可变长度历史为条件的视频生成。History Guidance 则是一组技术，用来提升样本保真度、时间一致性与组合泛化，使跨长时间跨度的视觉动力学建模更稳。论文最后展示的视频基础模型用于零样本机器人运动规划，作者自己定性为「初步但有前景」。

这些结论的实践含义主要落在方法论层面。如果语言输出的表达力是硬约束，那么把 LLM 接到机器人上做多模态适配，天花板就不高；反过来，先选定视频作为具身智能的基础语言，再据此设计模型架构与训练方案，可能是一条更彻底的路径——这正是论文明确主张的「自下而上」方法。能够超出训练 horizon 稳定推演、又能被引导的生成模型，意味着世界模型与规划器之间的边界可以变得更模糊，决策有可能直接在生成过程中完成。需要说明，这是解读：材料并未给出在具体机器人任务上的定量对比。

做机器人学习、世界模型与扩散模型的人会最直接受益，关注「LLM 之后」具身路线的人也能从中拿到一个清晰的论证框架。能带走的东西大致有三样：一套关于多模态 LLM 空间失败的具体诊断、一个把视频生成与规划打通的技术组合（Diffusion Forcing、DFoT、History Guidance），以及一个可复用的方法论主张。边界也要说清楚：材料中的摘要与正文没有给出基准测试数字或消融结果，最后的视频基础模型被作者本人称为初步工作，因此它更像一份立场明确的研究纲领与阶段性汇报，而不是可以直接照搬的工程方案。

Video as the Language of Embodied Intelligence by Boyuan Chen B.A., University of California at Berkeley, 2021 M.S., Massachusetts Institute of Technology, 2023 Submitted to the Department of Electrical Engineering and Computer Science in partial fulfillment of the requirements for the degree of DOCTOR OF PHILOSOPHY at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY September 2025 © 2025 Boyuan Chen. All rights reserved. The author hereby grants to MIT a nonexclusive, worldwide, irrevocable, royalty-free license to exercise any and all rights under copyright, including to reproduce, preserve, distribute and publicly display copies of the thesis, or release the thesis under an open-access license. Authored by: Boyuan Chen Department of Electrical Engineering and Computer Science August 15, 2025 Certified by: Vincent Sitzmann Assistant Professor of Electrical Engineering and Computer Science