以统一感知、策略学习与规划实现可泛化机器人操作

机器人操作要真正做到跨目标、跨环境、跨本体泛化，是这个领域公认的难点。数据变多、训练规模变大确实带来了实打实的进展，但论文摘要直说，现有方法在两处仍然吃力：没见过的非结构化环境，以及长时程任务。这恰好是把演示视频里的操作能力推向真实场景时最先撞上的两堵墙，所以这份 2025 年的 MIT 博士论文值得现在拿出来看——它没有针对单点打补丁，而是试图用统一视角把感知、策略学习与规划串成一条线。

论文处理的是部分可观测环境下的多步操作，落点是通用具身智能体。作者 Xiaolin Fang，浙江大学 2019 年本科、MIT 2022 年硕士，论文由 Leslie Pack Kaelbling 与 Tomás Lozano-Pérez 两位教授指导。方法上分三条并行的线：模块化框架，用学习到的感知模型估计 affordance，再交给任务与运动规划（TAMP）在非结构化场景里做物体重排；用生成式扩散模型表示机器人技能；用大型视觉语言模型（VLM）构建任务导向的视觉抽象。三条线共同支撑论文关于具身智能体「泛化性与可扩展性」的主张。

第一条线把学习感知和经典规划接在一起。感知模型负责从场景里判断哪里可以操作，TAMP 负责在非结构化场景中排出物体重排的动作序列——换句话说，学习的部分回答「动哪里」，规划的部分回答「按什么顺序动」。这种分工的价值在于，长时程问题被拆成两块可以分别检验的能力，而不是把全部压力压在一个端到端策略上。非结构化场景这个限定也很关键：它意味着框架要处理的是物体摆放没有固定格局的环境。

第二条线是技能层面的生成式建模。论文用扩散模型学习机器人技能，并强调这些技能可以通过推理时优化被组合起来，去应对训练中未曾见过的环境约束组合。这意味着泛化不只来自见过更多数据，也来自部署时对已有技能做在线的组合求解。第三条线给出的数字最具体：借助 VLM 构建任务导向的视觉抽象之后，技能只需要 5 到 10 次示范就能泛化到不同环境。示范数量被压到这个量级，是整份摘要里唯一可量化的效率主张。

把三条线放在一起看，它们分别对应三个层次：感知与抽象的层次（affordance 估计、VLM 视觉抽象）、技能表示的层次（扩散模型）、组合求解的层次（TAMP 与推理时优化）。我的解读是，这构成一个明确的方法论立场——通用操作不必依赖单个巨型模型，可以由可组合的模块加上部署阶段的优化来逼近。对实践者的含义有两面：一面是示范数据的门槛可能比通常预期低得多；另一面是省下来的监督成本会转移到推理阶段的计算与优化设计上。同时要记住，5 到 10 次示范是论文特定设定下的结论，材料没有交代任务种类、成功率或与基线的对比。

做机器人操作、任务与运动规划，或者正在把视觉语言模型接进机器人系统的研究者和工程师，会从这份资料里拿到一张问题地图：感知、技能学习、规划三者如何各自负责一段，又如何在一个系统里对齐。能拿走的还有那条组合思路——少示范加上推理时优化，可能是比堆数据更划算的一条路。边界也需要说清楚：手头是摘要与题录层面的信息，只有三条工作的定性描述和一个示范数量区间，缺实验设置、数据集、评测指标与消融结果，无法判断各模块在什么条件下会失效。要评估它是否适用于自己的场景，还得回到论文正文。

Generalizable Robot Manipulation through Unified Perception, Policy Learning, and Planning by Xiaolin Fang B.Eng., Zhejiang University, 2019 S.M., Massachusetts Institute of Technology, 2022 Submitted to the Department of Electrical Engineering and Computer Science in partial fulfillment of the requirements for the degree of DOCTOR OF PHILOSOPHY at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY September 2025 © 2025 Xiaolin Fang. All rights reserved. The author hereby grants to MIT a nonexclusive, worldwide, irrevocable, royalty-free license to exercise any and all rights under copyright, including to reproduce, preserve, distribute and publicly display copies of the thesis, or release the thesis under an open-access license. Authored by: Xiaolin Fang Department of Electrical Engineering and Computer Science July 13, 2025 Certified by: Leslie Pack Kaelbling