WARBENCH：评估大语言模型军事决策能力的综合基准

大语言模型正在被考虑用于安全攸关的军事场景，但现有评测能否真实反映模型在这种场景下的能力，仍是一个未解决的问题。WARBENCH 这份工作要回答的正是这个：当前的军事决策基准存在结构性盲区，会系统性地高估模型在真实战术环境中的水平。作者指出，既有框架大致分两类，一类是聚焦历史因果推理的兵棋基准（如 WGSR-Bench、CMDEF），另一类是以即时战略游戏环境作代理的策略游戏基准（如 TextStarCraft II、TMGBench）。这些框架各有价值，却共同缺少四样东西：基于 International Humanitarian Law（IHL）的严格法律约束、对边缘计算与时间限制的考虑、对战争迷雾的鲁棒性测试、以及对显式推理的充分评估。在作战规则解释、目标选择与相称性计算都直接牵涉国际人道法的领域，一个只在完美信息、云端算力下表现良好的模型，恰恰可能掩盖真实部署中的失败。

WARBENCH 的做法与依赖成千上万条浅层、自动生成合成查询的基准不同，它刻意选择深度优先的路线：只构建 136 个高保真场景，全部严格取自 1945 年二战结束以来真实冲突的数据。这一时间起点与现代社会国际法框架的建立相对应。场景来源包括 Correlates of War 项目、UCDP Conflict Encyclopedia 以及 ICRC 案件数据库，每个场景都经过双专家法律标注。整体框架由一个基础战术基线和四个不同的压力测试维度组成，构成多角度的综合检验。材料还特别说明，所有历史冲突场景都经过匿名化与脱敏处理，以防被用于现实战术目的；论文面向的是学术研究与对抗性 AI 安全评估。

在九款领先模型、136 个场景的大规模实证评测中，作者给出了几项具体结论。首先，基础战术推理在复杂地形和高兵力不对称条件下会出现系统性崩塌——换句话说，模型在简单设定下能给出的答案，一旦地形与力量对比变复杂就难以维持。其次，在合规性上出现了明显的分野：最先进的闭源模型能够维持功能性的法律合规，而面向边缘优化的中小模型则暴露出极高的运行风险，法律违规率接近 70%。这是一个需要用解读来理解数字：它指向的不是模型「知道不知道」规则，而是在受限条件下能否稳定遵守规则。

另外两项发现关乎部署形态与推理机制。模型在 4-bit 量化下出现灾难性的性能退化，系统性的信息丢失同样带来严重削弱——这两点合起来意味着，为边缘设备压缩模型、或在情报不完整条件下使用模型，都会付出可测量的能力代价，而这正是纸面基准最容易漏掉的部分。与之形成对照的是，显式推理机制起到了相当有效的结构性保障作用，能够抑制非故意的违规行为。作者由此得出的总体判断是，当前模型在本质上仍未准备好用于高利害战术环境中的自主部署。

把这些结论放在一起看，它们指向的不只是一次评测结果，而是评测方法本身的偏差。如果基准默认完美情报、云端算力、不受法律硬约束，那么模型分数越高，与实际战术部署之间的落差可能越大。对做模型选型或安全评估的人来说，这意味着小模型和量化版本不能仅凭通用榜单判断可用性，法律合规与显式推理应当作为独立维度单独测试。论文附有内容警告与伦理免责声明，明确该框架仅限学术研究与对抗性 AI 安全评估，不得用于任何已知、可能或潜在的作战军事部署、战术规划或动能行动。这也是阅读时应当记住的边界：它是一套压力测试工具，不是作战辅助系统。

这份材料适合关注军事 AI 评测、AI 安全与合规评估的研究者和工程人员阅读，能从中拿走一套明确的评测维度划分（法律约束、边缘限制、战争迷雾、显式推理）以及一组可对照的实证结论。需要留意的局限是，材料呈现的是基准的设计动机与部分评测发现，136 个场景的覆盖广度、各维度的具体评分方式以及九款模型的具体名单，在现有摘录中并未展开；因此上述判断应理解为对作者论点的转述与解读，而非对模型能力的独立核实。

W ARBENCH: A Comprehensive Benchmark for Evaluating LLMs in Military Decision-Making Zongjie Li [email protected] Hong Kong University of Science and Technology Hong Kong, China Chaozheng Wang [email protected] Chinese University of Hong Kong Hong Kong, China Yuchong Xie [email protected] Hong Kong University of Science and Technology Hong Kong, China Pingchuan Ma [email protected] Zhejiang University of Technology Hangzhou, China Shuai Wang [email protected] Hong Kong University of Science and Technology Hong Kong, China Content Warning and Ethical Disclaimer This paper contains AI-generated text discussing lethal military operations and simulated violations of International Humanitarian Law. The WARBENCH framework is intended strictly for academic research and adversarial AI safety evaluation. It mustnotbe utilized for any known,