通往开放世界机器人的基础模型之路

数据驱动的机器人学在过去十年里成效显著：折衣服这类灵巧操作、在狭窄走廊里避障穿行、四足机器人靠机载观测在复杂地形上行走，都已经能自主完成。但这些系统往往带有根本性限制，使它们难以进入开放世界环境——有的对环境结构做了很强的假设，有的需要大量在机器人本体上采集的数据，有的则缺乏对周围环境的语义理解。这份 2024 年的伯克利博士论文要回答的正是：能否换一条路，让一个通用模型开箱即用地控制各种机器人，在充满未知的真实环境里做出合理行为。这个问题的紧迫性来自作者对现状的判断：数据驱动方法仍被限制在简单、受限的设定中，对多数实践者和潜在应用而言并不可及，而且每换一个机器人、一个环境、一个任务，仍要重新手工设计。

论文提出的替代方案是 Robot Foundation Models（RFM）。按作者描述，其做法是从跨不同环境、不同本体（embodiments）收集的大量数据中训练模型，并且让模型只依赖第一人称视角（egocentric vision）就能控制多种不同的移动机器人。这一思路明确借鉴了语言与视觉领域基础模型的兴起，把「大规模多样数据 + 通用模型」的配方迁移到机器人控制上。换句话说，作者不是在单个任务上堆方法，而是在尝试把「控制任意机器人」本身当作一个可学习的通用能力。

论文主张的核心有两点。第一，RFM 不只是可行的控制器，还能充当能力更强的机器人系统的骨干（backbone）：作者展示了它可以支撑在茂密森林中探索、在人类环境中与人交互、以及利用卫星影像或自然语言这类辅助信息（side information）的系统。第二，作者提出了一个新颖的规划框架，把掌握物理世界知识的 RFM 与互联网上的语言、视觉基础模型结合起来，后者提供图像级语义理解和基于文本的推理。这意味着机器人系统既能借用互联网基础模型的能力，又能扎根于真实世界的可供性（affordances）并在现实中行动，而不是停留在语义层面的空谈。

需要说明的是，材料给出的是论文的动机与主张，并未给出具体的量化结果——没有数据集规模、成功率、对比基线的数字可供引用。因此对这份资料的判断只能停留在方向层面：它的问题设定、其对「只靠第一人称视觉 + 跨本体数据」的技术选择、以及 RFM 与互联网基础模型的分工方式，是阅读时值得关注的三处。这也是解读：如果这条路线成立，其价值不在于刷新某个benchmark，而在于把「为每个机器人、每个环境、每个任务手工工程」的成本，转为一次训练、多处复用的模式。

对实践者而言，这些结论指向一种不同的工程组织方式。数据采集不再只服务于单一平台，而是被当作跨环境、跨本体的共享资产；机器人的感知栈可以收窄到机载的第一人称视觉；语义理解与常识推理则外挂给已预训练的互联网模型，由规划框架负责把两者对接。作者期望的终点，是能部署在广泛机器人上、利用互联网规模预训练知识、并可作为各类移动机器人应用基础的通用系统。不过这只是方向性期望，材料中并未给出部署层面的验证。

这项工作报告的是加州大学伯克利分校 EECS 的博士论文，作者 Dhruv Shah，导师委员会由 Sergey Levine 教授担任主席，另有 Jitendra Malik、Alexandre Bayen、Dieter Fox 三位教授在委员会中——这提示读者它是一份学术研究综述性质的成果，而非产品化方案。适合关注机器人学习、基础模型跨模态迁移、以及具身智能系统架构的读者；读完可以拿走的是一套清晰的问题框定（三类限制）、一个技术配方（跨环境跨本体数据 + 第一人称视觉）、以及一种系统分层思路（RFM 管物理可供性，互联网模型管语义与推理）。边界同样明显：材料只呈现了作者的构想与已展示的能力方向，未提供量化证据，开放世界机器人的通用性是否真能由这条路达到，仍需后续工作检验。

The Foundation Model Path to Open-World Robots Dhruv Shah Electrical Engineering and Computer Sciences University of California, Berkeley Technical Report No. UCB/EECS-2024-166 http://www2.eecs.berkeley.edu/Pubs/TechRpts/2024/EECS-2024-166.html August 9, 2024 Copyright © 2024, by the author(s). All rights reserved. Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, to republish, to post on servers or to redistribute to lists, requires prior specific permission.