测量驱动的AI安全评估方法系统文献综述

前沿 AI 系统正朝着具有变革性的能力推进，衡量和评估这些系统的方式也需要一场平行的变革——这是这份综述的出发点。它要回答的核心问题是：当 benchmark 长期充当估计模型能力的主要手段时，为什么它仍然不足以支撑安全判断。材料给出的理由很直接：benchmark 往往无法确立真正的能力上界，也无法预测模型部署后的行为。作者用一例说明缺口有多紧迫：2024 年底研究者构建 FrontierMath，判断这批极难的题目能“resist AIs for several years”，几个月后 OpenAI 的 o3 就达到 25.2% 的准确率。换句话说，用来测量 AI 能力的工具几乎刚造好就过期，而系统正在网络安全、自主运行与战略规划等方向逼近可能具有变革性的能力。

作为一份系统性文献综述，该资料的目标是把散落各处的资源汇成一个中心参考点。它提出的分类法围绕三个维度展开：我们测量什么属性、我们如何测量、以及这些测量如何整合进框架。在体例上，它是 AI Safety Atlas 的第 5 章，属于一套最终汇成 AI 安全教科书的系列综述之一；两位作者均隶属法国 AI 安全中心（CeSIA）。章节推进顺序本身说明了分析路径：从 benchmark 的历史与局限，到被测属性、评估技术、评估框架、评估设计（affordances、规模化与自动化、整合与审计），再到危险能力评估、危险倾向评估与控制评估，最后收在局限一章。

第一个关键结论是把“被测属性”拆成三类：capability 指模型被推到极限时能做什么，propensity 指模型在默认状态下表现出的行为倾向，control 则问当面对具有颠覆性的对抗性 AI 时，我们的安全措施是否仍然有效。这一拆分的意义在于，三者回答的是不同问题——按笔者的解读，benchmark 主要触及第一类，而且只触及其中一部分。综述对若干安全关键能力做了更深的展开，包括 cybersecurity exploitation、deception、autonomous replication、situational awareness，以及目录中单列的 sustained task execution；倾向方面则聚焦 deception、long-term planning、power-seeking 与 scheming。

第二个关键结论落在“怎么测”和“测完怎么办”上。测量技术被分为两类：行为技术如 scaffolding、red teaming、supervised fine-tuning，内部技术如 representation analysis 与 mechanistic interpretability。测量结果只有进入框架才有制度意义，因此综述讨论了 Model Organisms Framework，以及 RSP、Preparedness Framework、Frontier Safety Framework 三种治理框架。它同时点出三类挑战：证明某项能力“不存在”、模型可能进行 sandbagging、以及“安全洗白”（safetywashing）的激励。这三者性质不同——一个是认识论上的困难，一个是模型主动隐瞒，一个是制度激励错位，放在一起才构成完整的评估风险图谱。

这些结论的实践指向，是把评估从“给模型打分”转为“为开发决策提供依据”，这也是笔者的解读。综述强调评估要整合进框架、要设计好 affordances、要考虑规模化与自动化、要能与审计衔接；换言之，安全评估的价值不在于排行榜上的名次，而在于能否在部署前把能力、倾向、控制三个层面的不确定性压到可接受的范围。局限一章把问题分为 fundamental、technical、systemic 与 governance 四类，这表明作者并不认为现有方法已经够用。对做具体评估工作的人来说，这套分类更像一张诊断表：可以据此判断自己缺的是能力测量、倾向测量，还是控制测量。

已经熟悉 benchmark 生态、需要一套坐标来定位自己工作的读者，会从中得到较集中的收获：哪些属性值得测、用什么技术测、结果如何进入治理框架，以及这条链路上哪一环最脆弱。它适合安全团队用来对照自身评估覆盖度，也适合关注治理落地的研究者看评估结果如何被翻译成开发决策。边界同样清楚：这是文献综述与教科书章节，不是新的实证研究，它综合既有工作并提出分类，本身不产生新的测量结果；作者在局限部分列出的问题也说明，这套框架目前更多是界定问题，而非给出定论。

arXiv:2505.05541v1 [cs.AI] 8 May 2025 Safety by Measurement A Systematic Literature Review of AI Safety Evaluation Methods Markov Grey ∗ Charbel-Raphael Segerie † June 13, 2025 Abstract As frontier AI systems advance toward transformative capabilities, we need a parallel transformation in how we measure and evaluate these systems to ensure safety and inform governance. While benchmarks have been the primary method for estimating model capabilities, they often fail to establish true upper bounds or predict deployment behavior. This literature review consolidates the rapidly evolving field of AI safety evaluations, proposing a systematic taxonomy around three dimensions: what properties we measure, how we measure them, and how these measurements integrate into frameworks. We show how evaluations go beyond benchmarks by measuring what