面向足式运动的生成式隐空间运动规划与强化学习

足式机器人强化学习近年的进展已经足以让人认真讨论真实部署，但作者在摘要里点出的三类障碍——奖励函数缩放不佳、探索与利用难以平衡、优化目标与工程师意图错位——仍然让规模化、可靠地推进变得困难。这份 MIT 博士论文要回答的正是：能否用新的工具和框架绕过这些瓶颈，把强化学习在足式硬件上的能力再往前推一步。值得现在看，是因为它不只谈算法改进，而是把仿真到真实的差距量化、仿真模型优化、隐空间运动规划与风格训练放进同一条技术路线，并声称在足式硬件上取得了此前未见的性能。这里的“此前未见”是作者自述，材料没有给出具体指标，读者需要带着这个前提去读。

论文由 Adam Joseph Miller 完成，提交给 MIT 电气工程与计算机科学系，导师为机械工程教授 Sangbae Kim，题目是 Generative Latent Motion Planning and Reinforcement Learning for Legged Locomotion。覆盖范围集中在足式运动的强化学习控制，方法上不是单一算法，而是四类工作的组合：量化分布层面的 sim-to-real gap、针对硬件匹配优化仿真模型、在隐空间做运动序列规划、以及隐风格训练。材料没有说明具体机器人平台、训练数据规模或实验数量，能确认的是这些方法被用于把仿真中的策略迁移到足式硬件，并以硬件表现作为验证终点。换句话说，这是一份以方法框架和系统集成为核心的博士论文，而不是单点算法的局部改进。

关键发现先是对现状的判断。作者认为强化学习的鲁棒性、通用性和泛化能力，已经使它成为未来真实世界机器人系统的主要候选；更先进的机器学习算法和更可靠、更高效的物理模拟器，会继续带来新的动态、敏捷能力。但同一段摘要也明确列出阻碍：奖励函数缩放不理想、探索与利用的平衡困难、以及训练目标与工程师意图之间的错位。这些不是细枝末节，而是直接影响可扩展性和可靠性的结构性问题。作者由此论证，仅靠现有工具不够，需要新的工具和框架。

论文提出的应对路径有四条，材料中的表述是：量化分布层面的 sim-to-real gap、为硬件匹配做仿真模型优化、隐空间运动序列规划、隐风格训练。作者称，通过这四类方法在足式硬件上展示了“never-before-seen performance”。这里没有给出具体速度、成功率、能耗或对比基线，因此无法从材料判断性能提升的幅度，也无法判断“前所未见”是针对哪些任务和哪些先前工作。能确定的是，四类方法分别对应迁移差距评估、仿真保真度、运动序列生成和风格控制，覆盖了从仿真训练到硬件部署的关键环节。解读一下：这种组合的意义在于把问题从“调好一个奖励函数”扩展为“让仿真、规划、风格与硬件匹配共同工作”。

这些结论的实践含义，按材料可以谨慎地表述为：如果分布层面的 sim-to-real 差距能够被量化，团队在部署前就多了一种评估迁移风险的手段；

Generative Latent Motion Planning and Reinforcement Learning for Legged Locomotion by Adam Joseph Miller B.S., Clemson University, 2019 S.M., Massachusetts Institute of Technology, 2022 Submitted to the Department of Electrical Engineering and Computer Science in partial fulfillment of the requirements for the degree of DOCTER OF PHILOSOPHY at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY May 2025 © 2025 Adam Joseph Miller. All rights reserved. The author hereby grants to MIT a nonexclusive, worldwide, irrevocable, royalty-free license to exercise any and all rights under copyright, including to reproduce, preserve, distribute and publicly display copies of the thesis, or release the thesis under an open-access license. Authored by: Adam Joseph Miller Department of Electrical Engineering and Computer Science May 16, 2025 Certified by: Sangbae Kim Professor of Mechanical Engineering