基于强化学习算法的轻水堆装料模式优化

这份资料要回答的是：在美国商业核电站中，轻水堆（LWR，包括压水堆PWR和沸水堆BWR）的堆芯装料模式（Loading Pattern, LP）能否借助强化学习（RL）做得更经济。材料给出的背景是，2023年这些核电站仍是美国最大的单一无碳能源，全年提供约一半的无碳电力和不到20%的总电力。保持这类核资产的竞争力，对它们继续与可再生能源一起提供可调度清洁能源很关键。Vogtle 3号和4号机组是三十多年来首次并网的新核电站，这既说明核技术成本高，也说明提升经济竞争力的需求紧迫；优化燃料循环经济性、改进LP正是应对这一挑战的关键策略。

这份MIT博士论文由Paul R.M. Seurin完成，导师为Koroush Shirvan，研究范围集中在PWR的LP优化问题。它把深度RL用作自动求解工具，并与传统的随机优化（Stochastic Optimization, SO）方法进行比较。方法线索包括Proximal Policy Optimization（PPO）、多目标方法PEARL（Pareto Envelope Augmented with Reinforcement Learning），以及进一步提出的physics-informed RL。分析目标不是单纯跑通算法，而是评估RL能否成为核心设计者可用的决策支持工具，生成更经济的装料模式。

关键发现之一是关于搜索结构。材料指出，LP问题受益于先用全局搜索快速识别有希望的方向，再用局部搜索高效利用这些方向并避免局部最优。PPO的特点在于用可学习的策略权重调整搜索能力，因此对全局搜索和局部搜索都有效，这也是它优于SO方法的原因。换句话说，RL在这里的优势不只是“多试”，而是能随学习过程改变搜索行为。

多目标与物理信息是另外两条推进线。PEARL用于多目标优化，材料称它比传统单目标缩放方法更高效地识别Pareto前沿，并且不需要额外的设计者干预。physics-informed RL则把统计技术和物理知识整合进来；随着问题复杂度上升，经典方法有时找不到可行解，物理信息的引入被认为对更高效地发现高质量、多样化解很重要。经济性方面，与使用现成AI方案相比，该方法实现了每座电厂每年超过400万美元的累计收益。

这些结论意味着，RL在核工程优化中的价值不只是替代某个搜索算子，而是提供一种能兼顾全局探索、局部开发和多重设计目标的决策支持路径。对

Light Water Reactor Loading Pattern Optimization with Reinforcement Learning Algorithms by Paul R.M. Seurin M.S. Nuclear Engineering, INSTN, 2018 M.S. Chemical Engineering and Process Design, EMSE, 2019 M.S. Nuclear Science and Engineering, MIT, 2023 M.S. Electrical Engineering and Computer Science, MIT, 2023 Submitted to the Department of Nuclear Science and Engineering and the Center for Computational Science and Engineering in partial fulfillment of the requirements for the degree of DOCTOR OF PHILOSOPHY DEGREE IN COMPUTATIONAL NUCLEAR SCIENCE AND ENGINEERING at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY September 2024 © 2024 Paul R.M. Seurin. This work is licensed under a CC BY-NC-ND 4.0 license. The author hereby grants to MIT a nonexclusive, worldwide, irrevocable, royalty-free license to exercise any and all rights under copyright, including to reproduce, preserve,