带安全约束的风险感知强化学习
OriginalRisk-Aware Reinforcement Learning with Safety Constraints
Traditional approaches to address safety often rely on techniques such as reward shaping, carefully curated training data, or explicit handcrafted rules to avoid unsafe actions.
- 发布时间
- 2025-05
内容介绍
这份博士论文处理的是强化学习落地时最要紧也最难缠的一个问题：当决策系统要在真实世界里运行时，怎样在追求任务表现的同时不突破安全底线。作者把现有约束强化学习方法频繁越界的原因归结为一个具体的设计取向——每次策略更新都在追求最大的任务表现，而没有把「这次更新可能越界」本身当作风险来对待。这个判断值得现在关注，因为约束强化学习已经被广泛当作安全部署的标准框架，但其在实际训练中仍出现显著约束违背，说明问题不在框架选得对不对，而在更新规则怎么设计。
论文来自 MIT 航空航天系，作者 Meng Feng，由 Brian C. Williams、Leslie Kaelbling、John Leonard 三位教授共同担任学位论文导师，2025 年 5 月提交。研究范围分两大块：一是单目标的约束马尔可夫决策过程下的策略更新，二是把 CMDP 扩展到多目标、长时程的情形。方法上不是提出新的问题设定，而是改动训练过程本身——第一部分让算法在策略更新时动态调整保守程度；第二部分把规划与安全强化学习接起来，用深度强化学习学出规划所需的两样东西：低维状态空间表示和规划启发式，再由规划算法把长时程问题拆成一段段较短的子目标到达任务，让学到的智能体逐段安全推进到最终目标。评测覆盖单智能体与多智能体任务。
第一个关键结论关乎越界的成因。材料指出，在强化学习里对约束的评估只能基于采样，数据有限、近似误差无法避免，这类方法因此在约束边界附近容易失效，造成过量违背。作者的应对不是把约束调得更紧，而是把「违背约束的风险」纳入更新过程：当越界可能性高时，更新就偏向满足约束；当还有余地时，仍继续提升任务表现。换句话说，保守程度变成了随情形变化的量，而不是一个事先定死的超参数。
第二个关键结论是量化收益。论文报告，与当前最好的基线方法相比，该算法把约束违背最多降低 99%，同时任务表现相当。扩展到多目标长时程后，在 2D 导航任务中风险最多降低 74.2%，在视觉导航任务中风险最多降低 49.3%，成功率则相当或更好。需要注意的是，这些数字都是相对基线的比较，且带有「最多」的限定，指的是最好情形而非平均水平；材料也未给出测试环境的规模与具体任务清单。
这些结论对实践的意义在于，它把安全约束从「训练目标里加一项」挪到了「更新决策里加一层风险判断」。这意味着在约束边界附近，算法的行为会与常规 CMDP 方法明显不同：后者倾向于为了一点性能收益去试探边界，前者则先退回来。对做实际部署的团队来说，这提示一个常被忽略的检查点——评估安全方法时不应只看最终的约束违背统计，还要看更新过程中保守程度的调节是否与风险估计同步。这也是解读：论文没有直接谈论工程部署流程，但其机理说明，样本有限导致的边界误差才是失效主因，因此数据规模与风险估计质量会直接影响效果。
读完能拿走的是三样东西：一个关于约束违背成因的诊断视角，一套让保守程度随风险动态变化的更新思路，以及把规划与安全强化学习结合的层次化做法，用于高维输入下的长时程任务。论文面向做安全强化学习、机器人决策与规划的研究者和工程人员。边界也很清楚：材料给出的是相对基线的降低幅度与成功率持平或更好，没有给出绝对的安全保证、没有形式化验证、也没有真实硬件部署的结果；「最多降低」这类表述本身说明效果依任务而定，迁移到新环境时需要重新验证。
原文摘录
自动提取自 PDFRisk-Aware Reinforcement Learning with Safety Constraints by Meng Feng Submitted to the Department of Aeronautics and Astronautics in partial fulfillment of the requirements for the degree of DOCTOR OF PHILOSOPHY IN AERONAUTICS AND ASTRONAUTICS at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY May 2025 ©2025 Meng Feng. This work is licensed under a CC BY-NC-ND 4.0 license. The author hereby grants to MIT a nonexclusive, worldwide, irrevocable, royalty-free license to exercise any and all rights under copyright, including to reproduce, preserve, distribute and publicly display copies of the thesis, or release the thesis under an open-access license. Authored by: Meng Feng Department of Aeronautics and Astronautics May, 2025 Certified by: Brian C. Williams Professor of Aeronautics and Astronautics, Thesis Supervisor Certified by: Leslie Kaelbling