机器人操作中的决策学习

这份博士论文处理的是人助机器人进入真实环境（例如家庭）前必须跨过的两道坎。第一道是日常重复性任务：机器人执行运动规划时，必须保证周围物体和人不受伤害。第二道是临时出现的新任务：客户偶尔会提出机器人没见过的要求，机器人得在极少人类监督下高效学会。作者 Siyu Dai 在论文中主张，机器学习方法可以同时用来应对这两类挑战。论文于 2022 年 5 月提交给 Massachusetts Institute of Technology（MIT）机械工程系，用于申请机械工程博士学位，导师为 Brian C. Williams。之所以现在值得回看，是因为它没有把「安全」和「学习新技能」当成两个孤立问题，而是放在同一套学习框架下讨论，这种组织方式对今天做机器人操作的研究者仍有参照价值。

论文覆盖的范围是两个场景、三条技术路线。第一个场景是带机会约束的运动规划：作者提出 learning-based p-Chekov，用数据驱动的方法实时获得安全的运动计划。关键做法是把碰撞风险估计模型放到离线预训练，而不是在线上做基于采样的风险评估，由此在保持机会约束满足性能的同时显著提升规划速度。第二个场景是学习新任务，作者给出两条路径。一条是 empowerment-based intrinsic motivation，一种强化学习（RL）方法，让机器人在只有稀疏奖励或二值奖励函数时也能学习新任务。其机制是最大化机器人动作与环境状态之间的相互依赖，也就是 empowerment，使智能体在探索时更关注自己能有效「控制」环境的状态，而不是动作会带来随机、不可预测后果的部分。

第二条路径是 automatic curricula via expert demonstrations（ACED），一种模仿学习方法。它借用课程学习的思想，让机器人在只提供少量示范轨迹的情况下学习长时程任务。具体做法是随着学习智能体性能提升，把重置状态从示范的末端逐步移向开头。作者报告，这样不仅能学会带有未见初始化和目标的挑战性操作任务，还能发现与示范不同的新颖解法。此外，ACED 可以自然地与其他模仿学习方法结合，更高效地利用专家示范，并让机械臂学会其他先进自动课程学习方法学不会的新任务。

论文给出了几组具体数字，值得逐条看清。在稀疏奖励强化学习任务上，作者在不同机器人操作环境、不同目标物体形状下做了实证评估，结论是这种基于 empowerment 的内在动机方法能比其他先进的稀疏奖励 RL 方案更快获得更高的外部任务奖励。在模仿学习方面，实验显示 ACED 与 behavior cloning 结合后，pick-and-place 任务只需一次示范即可学会，block stacking 任务则需要二十次示范。这些数字说明的是论文所设实验条件下的样本效率，而不是对任意任务的一般保证。

把这些结论放在一起看，含义大致有两点。其一，安全规划的速度瓶颈可以通过把风险估计从线上搬到线下、用预训练模型替代在线采样来缓解，这意味着实时性与安全性未必只能二选一。其二，新任务的学习成本可以从两个方向压缩：一是在奖励稀疏时用内在动机引导探索，二是在示范稀缺时用自动课程把少量示范「摊开」成渐进的学习过程。对实践者来说，这提示在部署人助机器人时，可以把日常安全执行与偶发新任务的学习分开设计，各自选用匹配的方法，而不是指望一个端到端系统同时解决。

这份资料适合做机器人操作、运动规划与模仿学习／强化学习交叉方向的研究者与工程读者。读完能拿走的是一套清晰的问题切分方式，以及若干可对照实验设置的具体方法与数字：p-Chekov 的离线风险估计思路、empowerment 内在动机对稀疏奖励的作用、ACED 的重置状态课程，以及一次与二十次示范这两个样本效率参照。需要指出边界：以上结论均来自论文自身的实验环境与任务设置，材料中没有给出跨机构复现或更大规模真实家庭部署的证据，因此这些数字应理解为该方法在其评测条件下的表现，而非普适承诺。

Learning to Make Decisions in Robotic Manipulation by Siyu Dai B.S. and B.B.A., Shanghai Jiao Tong University (2016) S.M., Massachusetts Institute of Technology (2018) Submitted to the Department of Mechanical Engineering in partial fulfillment of the requirements for the degree of Doctor of Philosophy in Mechanical Engineering at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY May 2022 © Massachusetts Institute of Technology 2022. All rights reserved. Author . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Department of Mechanical Engineering April 25, 2022 Certified by . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Brian C. Williams Professor of Aeronautics and Astronautics Thesis Supervisor Accepted by . . . . . . . . . . . . . . . . . . . .