数字战争艺术的分层强化学习兵棋战斗模拟智能体开发

这份资料要回答的问题很具体：面对战斗模拟固有的复杂度，常规强化学习为什么不够用，又该用什么结构去补。摘要开篇把背景放在「当今快速演变的军事格局」之中，认为推进支持兵棋推演的人工智能已成为必要，而 RL 虽被看作开发智能体的有希望路径，却恰恰卡在战斗模拟的复杂性上。值得现在翻看的地方在于，它不是只抛出一个算法改动，而是给出一整套分层方案，并且如实报告了其中一层在初测中没能跑出增益。

资料本身是一篇博士论文，作者 Scotty E. Black 是美国海军陆战队中校，提交于 Naval Postgraduate School，攻读的是 Modeling, Virtual Environments, and Simulation 方向的博士学位，研究在 MOVES Institute 完成，导师为 Christian J. Darken。覆盖范围按摘要自述可分四块：目标化的观测抽象、多模型集成、混合 AI 框架，以及作为总纲的 hierarchical reinforcement learning（HRL）框架。方法上属于设计加实验：为每一块构造具体机制，再在战斗模拟环境中检验其效果。

第一项发现关于观测表示。作者提出基于分段线性空间衰减（piecewise linear spatial decay）的局部化观测抽象，把 RL 问题简化下来，计算效率随之提升，并在对比中表现出优于传统全局观测方法的效果。换句话说，让智能体只接收「按距离衰减」的局部信息，比把整个战场摊平了喂给它更管用。第二项是 multi-model 框架：把多种 AI 方法组合到一起，在优化整体性能的同时，仍然允许使用各自专门化的个体行为模型。

第三项是混合 AI 框架：让 RL 负责高层决策，把较低层的任务交给脚本化智能体（scripted agents），作者称这种分工带来了适应性、可靠性和性能上的提升。第四项是 HRL 架构与训练框架，把复杂问题拆解为可管理的子问题，而这种分解方式与军事决策结构相对应。但这一层的结论是负面的——初步测试并未显示出性能改善，作者只是从中获得了可供后续迭代使用的经验。

把这些合起来看，就材料可见的部分而言，可复用的收获集中在前两块：观测抽象是一种能直接降低问题难度的手段，混合式分工则说明在战斗模拟里未必需要追求端到端的纯学习系统。HRL 那一层的负面结果同样有信息量，它意味着「与军事决策结构对齐」这个设计直觉本身并不保证训练收益，还需要更多轮迭代去验证。作者由此强调 AI 改变兵棋推演的潜力，以及该领域仍需持续研究。

做兵棋推演、战斗模拟和智能体训练的同行，能从这份资料里拿走的是一份可拆解的问题清单，以及两个已获初步验证的机制：局部化观测抽象，还有 RL 与脚本智能体之间的分层分工。边界也需要讲清楚：公开摘要只给到定性描述，没有任何性能数字，HRL 部分明确属于未达预期的初步结果；论文中表达的观点是作者本人的观点，不代表美国国防部或美国政府的官方政策或立场。因此把它当作研究路线图和方法参考，比当作已经验证过的工程方案更合适。

NAVAL POSTGRADUATE SCHOOL MONTEREY, CALIFORNIA DISSERTATION MASTERING THE DIGITAL ART OF WAR: DEVELOPING INTELLIGENT COMBAT SIMULATION AGENTS FOR WARGAMING USING HIERARCHICAL REINFORCEMENT LEARNING by Scotty E. Black June 2024 Dissertation Supervisor: Christian J. Darken Research for this dissertation was performed at the MOVES Institute. Distribution Statement A. Approved for public release: Distribution is unlimited. THIS PAGE INTENTIONALLY LEFT BLANK NAVAL POSTGRADUATE SCHOOL | MONTEREY, CALIFORNIA | WWW.NPS.EDU _________________________________________________________