掌握数字战争艺术：用分层强化学习为兵棋推演开发智能战斗模拟体

当军事环境的变化速度快过条令更新速度时，用人工智能支撑兵棋推演就从可选项变成了必需项——这是论文开篇给出的判断。真正的问题不在于要不要用 reinforcement learning，而在于常规 RL 一进入战斗模拟就撞上复杂性：状态空间巨大、决策链条长、行为难以验证。这份 2024 年提交给 Naval Postgraduate School 的博士论文试图回答的正是：在承认 RL 局限的前提下，如何搭出一套能实际驱动战斗模拟智能体的方法体系。它值得现在读，一个理由是把四个层次的工作——观测抽象、多模型集成、混合 AI、分层强化学习——放进同一条线索里讲清楚；另一个理由是它没有藏起不理想的结果，HRL 部分初测未见性能提升，作者照实写了。

论文的方法不是单一算法的改进，而是四层叠加的设计：针对性的观测抽象、多模型集成、混合 AI 框架，以及统摄全局的 hierarchical reinforcement learning（HRL）架构与训练框架。作者对第一层做了直接对照，把基于 piecewise linear spatial decay 的局部观测抽象与传统全局观测方法放在一起比较。其余几层更偏框架设计：多模型框架并行调用不同 AI 方法，混合框架让 RL 与 scripted agents 分工，HRL 则把复杂问题切成可管理的子问题。研究在 Naval Postgraduate School 的 MOVES Institute 完成，作者 Scotty E. Black 是美国海军陆战队中校，2015 年已在该校取得 Modeling, Virtual Environments, and Simulation 硕士学位，这篇博士论文延续的是同一方向。

最扎实的结论来自观测抽象这一层：用分段线性空间衰减把智能体的感知局部化，能简化 RL 问题、提高计算效率，并且作者报告其效果优于传统的全局观测方法。换句话说，智能体不需要“看见”整张战场地图，只需对邻近区域保持敏感，就能学得更好也更快——这是全篇最容易被其他兵棋项目直接拿走的一条。第二层结论关于集成：多模型框架把多种 AI 方法组合起来，在优化整体性能的同时，仍允许保留各自专门化的个体行为模型。第三层则把 RL 放到高层决策位置，把低层任务交给 scripted agents，作者称这种分工提升了适应性、可靠性与性能。

最接近论文标题的那部分，反而是结果最保守的部分。HRL 架构与训练框架的设计目标，是把复杂问题分解为可管理的子问题，并让这种分解与军事决策的层级结构对齐——设想本身是合理的。但作者明确写道，初步测试没有显示出性能提升，收获的是用于改进后续迭代的洞见。这意味着“分层”本身并不自动带来增益，分解方式、子目标定义和训练安排才是关键变量。另外需要指出，摘要中并未给出任何量化的性能对比数字，上述结论都是定性表述，不宜被当成有具体提升幅度的实验结果来引用。

对做兵棋与作战仿真的人来说，这份资料的价值更多体现在工程取舍上，而不在于算法本身的新颖性。局部观测抽象说明感知建模是性价比很高的切入点：改观测往往比改奖励、改网络结构更早见效。混合 AI 框架则提示一条现实主义路线——不必追求端到端全 RL，把高层决策交给学习、把可验证的低层动作交给脚本，可能更容易被接受和部署。HRL 的负结果同样有用：它提醒研究者在把军事决策结构直接映射为分层 RL 结构之前，先证明这种映射真的带来可测的收益。综合来看，这四层框架更像一份带经验教训的技术路线图，而非一次性的性能声明。

读者大致是三类：做战斗模拟智能体的工程人员、研究 RL 在复杂环境中如何落地的研究者，以及需要评估 AI 能否进入兵棋流程的论证人员。读完能拿走的是一套可分层实施的技术路线，外加一条被诚实记录下来的失败经验。边界也很清楚：四层框架中只有观测抽象有明确的对照结论，其余多为框架设计与定性描述；HRL 初测未见提升，论文自己也把后续迭代列为待办。这些结论绑定在论文自身的仿真设定与实验条件上，迁移到别的兵棋系统时需要重新验证，不能直接当作通用结论套用。

NAVAL POSTGRADUATE SCHOOL MONTEREY, CALIFORNIA DISSERTATION MASTERING THE DIGITAL ART OF WAR: DEVELOPING INTELLIGENT COMBAT SIMULATION AGENTS FOR WARGAMING USING HIERARCHICAL REINFORCEMENT LEARNING by Scotty E. Black June 2024 Dissertation Supervisor: Christian J. Darken Research for this dissertation was performed at the MOVES Institute. Distribution Statement A. Approved for public release: Distribution is unlimited. THIS PAGE INTENTIONALLY LEFT BLANK NAVAL POSTGRADUATE SCHOOL | MONTEREY, CALIFORNIA | WWW.NPS.EDU _________________________________________________________