非结构化环境表征：面向机器人操作的泛化灵巧与鲁棒

这份 MIT 博士论文围绕一个核心问题展开：面对多样物体与非结构化环境，机器人操作流水线如何同时做到可泛化、灵巧和鲁棒。作者 Wei Gao 在摘要中把答案压到“环境表征”上，并进一步追问：应该怎样表征非结构化世界，才能既支撑一条有能力完成操作任务的 pipeline，又支撑对这条 pipeline 做彻底的鲁棒性评估。值得现在看的地方在于，论文没有把表征当作感知模块的内部细节，而是把它放在决定泛化能力和评估方法的位置；换句话说，它试图用同一个表征选择串联起建模、规划、控制和评测。

覆盖范围上，论文分成两条相互咬合的主线。第一条对应问题 1，提出 keypoint affordance：一种由 3D 语义关键点构成的新物体表征，并在它之上实现感知、规划与反馈控制模块，集成为从感知到动作的完整操作 pipeline。第二条对应问题 2，转向 pipeline 的鲁棒性研究，讨论在缺乏参数化物体表征所提供的连续输入域时，如何评估物体几何等因素对鲁棒性的影响。方法上，论文把影响鲁棒性的因素建模为变量上的结构化分布（例如相机位姿），再叠加一个描述视觉属性（例如物体几何与纹理）的经验分布。材料只交代了这条方法骨架，没有给出具体数据集名称或实验规模。

关键发现之一是对物体表征的重新选择。材料指出，已有工作通常用 6 Degree-of-Freedom (DOF) 位姿表示被操作物体，但在固定模板上定义参数化变换，无法处理不同物体之间较大的形状不匹配。论文提出的 keypoint 表征则只捕捉与任务相关的几何信息，忽略无关细节，从而获得对未知物体的泛化能力。这里的“关键点”不是普通图像特征，而是 3D 语义关键点；论文在它之上落实了感知、规划和反馈控制，说明该表征被当作整条 pipeline 的接口，而不只是识别模块的输出。解读一下：这等于把“物体是什么形状”换成“任务关心哪些几何对应点”，用更少的假设换取跨物体的迁移空间。

关键发现之二是鲁棒性评估的建模方式。由于参数化（基于位姿）的物体表征不可行，论文没有现成的连续输入域来研究物体几何如何影响鲁棒性，而现有方法通常需要这样的输入域。作者的处理是把影响鲁棒性的因素写成变量上的结构化分布，再与描述视觉属性的经验分布组合，把鲁棒性评估表述为该组合分布上的失败率估计问题，并提出一种高效的基于图的算法来求解。这一建模形式被应用到已开发的操作 pipeline 上；材料还明确说，它可以惠及许多其他 cyber-physical systems，例如 autonomous cars。需要注意，摘录没有给出失败率的具体数值、对比基线或消融结果，因此这里能确认的是问题建模和算法思路，而不是某一项性能指标。

这些结论意味着什么。对做机器人操作的人来说，论文的暗示是：表征选择会直接决定 pipeline 能泛化到什么程度，也会决定鲁棒性评估能不能做——当物体不再用 6 DOF 位姿参数化时，评测不能照搬旧框架，而要把相机位姿、物体几何与纹理等变量显式纳入分布。换句话说，泛化与鲁棒不是两个事后附加的指标，而是从表征阶段就被塑造的属性。另一个实践影响是评估方法的外溢性：把鲁棒性写成组合分布上的失败率估计，并用图算法求解，这套思路不局限于机械臂，也可迁移到自动驾驶等 cyber-physical systems。当然，这只是论文摘要层面的主张，实际收益取决于正文中的实现与实验。

这份资料适合关心机器人操作、物体表征、感知到动作 pipeline 以及鲁棒性评估方法的读者，能从中拿到一条清晰的问题链：从“如何表示非结构化世界”到“如何在这个表示上搭 pipeline”，再到“如何在没有连续输入域时评估失败率”。读完能带走的核心不是某个现成模型，而是 keypoint affordance 这一表征选择，以及把鲁棒性评估转成组合分布失败率估计、再用图算法求解的建模框架。边界也要说清楚：现有材料只包含论文摘要和致谢，没有正文的实验设置、任务清单、定量结果与算法细节，因此无法据此判断该方法在真实场景中的失败率高低或相对优势；对具体实现感兴趣的读者，还需要回到论文正文核对。

Representing Unstructured Environments for Robotic Manipulation: Toward Generalization, Dexterity and Robustness by Wei Gao B.S., Tsinghua University (2017) S.M., Massachusetts Institute of Technology (2020) Submitted to the Department of Electrical Engineering and Computer Science in partial fulfillment of the requirements for the degree of Doctor of Science at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY September 2021 © Massachusetts Institute of Technology 2021. All rights reserved. Author . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Department of Electrical Engineering and Computer Science August 27, 2021 Certified by . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Russ Tedrake Professor of Electrical Engineering and Computer Science