前沿AI风险管理框架：衔接现行实践与成熟风险管理

前沿 AI 公司在过去一两年陆续公布了自己的安全框架，但这些框架与航空、核电等高危行业积累了几十年的风险管理实践相比，仍显得零散、缺少系统性。这份由 SaferAI 的 Siméon Campos、Henry Papadatos、Fabien Roger、Chloé Touzet、Otter Quarks、Malcolm Murray 共同完成的论文，要回答的正是这个落差：如何把成熟行业的风险管理原则搬到前沿 AI 开发上，形成一套可执行的流程。它之所以值得现在读，是因为作者明确站在 2024 年 5 月首尔 AI 安全峰会提出的 Frontier Safety Commitments、以及 G7 广岛行为准则这类正在成形的行业承诺旁边，试图补上“承诺之后怎么做”这一层。

论文覆盖的是从规划到部署的整个 AI 系统生命周期，方法上是两条线交叉：一条是既有 AI 行业实践与风险管理文献的梳理，另一条是借鉴航空、核电等成熟行业的做法，再考虑 AI 自身的特殊性。作者提出的框架由四个部分组成：风险识别、风险分析与评估、风险处理、风险治理。风险识别依靠文献综述、开放式 red-teaming 和风险建模三条路径；风险处理则落在 containment、部署控制、assurance 流程这类缓解措施上；风险治理关心的是组织结构和问责机制是否到位。换句话说，这不是一份原则宣言，而是一套按功能拆开、要求逐项落实的操作指引。

框架运转的核心是一套阈值逻辑。第一步是定义风险容忍度（risk tolerance），也就是一条不应被突破的风险水平线。第二步通过风险建模把它翻译成可测量的指标对：Key Risk Indicators（KRIs）是风险的代理信号，比如模型在某些特定任务上的表现，需要配上阈值；Key Control Indicators（KCIs）是缓解措施有效性的代理信号，比如部署措施的成功率，同样要配阈值。两者之间存在三向关系：给定风险容忍度和 KRI 阈值，就存在一个必须满足的最低 KCI 阈值，一旦 KRI 阈值被触及，就必须把缓解措施做到满足对应的 KCI 阈值，才能把风险压回容忍度以下。

风险容忍度本身有两种写法。一种用定量的概率与严重程度，最好表达为单位时间内的概率乘以损失，例如每年发生 Y 百万美元经济损失的概率低于 X%；另一种针对严重程度难以量化的风险，用定性描述的有害情景加上定量的概率上限。这个区分意味着框架并不要求所有风险都被折算成同一个货币单位，而是允许对难以量化的情景保留严格的概率约束。在治理层面，作者给出的公司结构包含三个角色：risk owner 对某一具体风险的管理负责，oversight 由董事会层面对高管的风险决策进行监督，audit 则是独立于同侪压力之外、能够质疑决策的审计职能。

在实施节奏上，框架刻意利用 AI 系统的生命周期来减轻开发者的负担。所有不依赖最终模型的准备工作都可以提前做完：风险建模、定义风险容忍度、确定 KRI 与 KCI 阈值、用 scaling laws 预测所需的缓解措施。这样留下的只有 KRI 测量和开放式 red-teaming，后者用于发现初始风险建模中没有识别出的新风险因素，二者集中在训练和部署前阶段。作者强调，在最终训练运行之前就开展风险管理工作既重要也可行，这能减少训练阶段被迫停顿带来的延迟。对实践者来说，这意味着风险管理不应是模型训完之后补做的合规动作，而应当前移成训练前的前置工程。

读这份资料能拿走的，是一套可以对照自查的骨架：风险容忍度怎么定义，KRI 与 KCI 怎么配对设阈值，治理上谁负责、谁监督、谁审计，以及哪些工作可以提前到训练之前完成。它面向的是需要为前沿模型搭建或评估安全流程的人，包括 AI 开发团队的安全与治理人员，以及关心行业承诺如何落地的研究者。需要说明的边界是：材料中没有给出这套框架在真实开发流程中的实施案例或效果数据，其有效性仍属待验证的提议；作者所属机构为 SaferAI，Fabien Roger 的工作是在 Redwood Research 期间完成的，框架的推广立场与这一背景相关。

A Frontier AI Risk Management Framework: Bridging the Gap Between Current AI Practices and Established Risk Management Siméon Campos1,∗ Henry Papadatos1,∗ Fabien Roger1,† Chloé Touzet1 Otter Quarks1 Malcolm Murray1 1SaferAI Abstract The recent development of powerful AI systems has highlighted the need for robust risk management frameworks in the AI industry. Although companies have begun to implement safety frameworks, current approaches often lack the systematic rigor found in other high-risk industries. This paper presents a comprehensive risk management framework for the development of frontier AI that bridges this gap by integrating established risk management principles with emerging AI-specific practices. The framework consists of four key components: (1) risk identification (through literature review, open-ended red-teaming, and risk modeling), (2) risk