设计国际AI事件响应的升级判据触发条件与阈值
OriginalDesigning escalation criteria for international AI incident response: criteria, triggers, and thresholds
This paper proposes an escalation framework to address this gap, intended as a common reference point across jurisdictions that enables aligned escalation while preserving flexibility in how actors respond within their own legal and policy contexts.
- 发布时间
- 2026-04
内容介绍
AI 事件报告要求正在监管与自愿性框架中同时铺开：EU AI Act 用第 3(49) 条界定触发报告义务的 serious incidents，加州 SB 53 第 1107 条为前沿基础模型引入 critical safety incidents，GPAI Code of Practice 则把 EU 制度下的报告义务落到操作层面。但一个关键问题始终没有答案：这些框架里的升级（escalation）标准，是否真能检出它们本来要抓的事件？作者指出，此前没有工作拿真实事件检验过 AI 升级标准的可靠性。这件事现在值得看，是因为定义、阈值与触发条件本身就划定了「哪些事件会被看见」的边界：设计得好，所有该被关注的事件都会升级；设计得差，就会产出系统性盲区。
取材横跨三个方向：现行 AI 规制（SB 53、EU AI Act、GPAI Code of Practice）、其他行业积累多年的升级机制（WHO 的《国际卫生条例》、EU 的 DORA、Basel II 操作风险框架、ICAO 附件 13），以及事件定义与数据库层面的既有讨论——比如 OECD 发现各框架在「未遂事件是否算数、是否要求实际损害」上存在显著差异，以及 AI Incident Database、MIT AI Risk Repository 等工作的口径与严重度量表。方法上，作者先从跨域先例与现行 AI 规制中提炼出八条判据，转译成一张带门控决策点与阈值检查的顺序流程图；再把框架放到十起有记录的 AI 事件及其结构化变体上做压力测试，覆盖 cyber、CBRN、心理伤害与多智能体风险四个域，域的选择受 GPAI Code 安全与安全章节所列四类高风险领域影响。作者还逐条映射八条判据与上述规制的相互作用，指出哪些设计选择支撑、哪些削弱了有效检出。
压力测试的核心结论是一个三层依赖结构：升级判据实际依赖定义基础、数据可得性与触发逻辑这三层基础设施，上游的缺口会向下游传导，最终形成系统性盲区。作者由此归纳出四种导致漏检的设计模式，其中两种被明确点名：一是只做单个事件层面的评估，从而漏掉由累积产生的伤害；二是把离散事件的架构套用在持续性状态上，使正在进行的人口级伤害——例如人机交互带来的心理伤害——对升级判据不可见。
跨域先例不只是背景，它们提供了 AI 治理眼下正面对的三类问题的成熟机制：聚合、损害发生前的触发、未遂事件报告。WHO 的《国际卫生条例》把天花、新型流感这类「always notify」条件设为无条件触发器；DORA 的授权条例为 ICT 事件设定量化重要性阈值，并要求把共享根因的关联事件聚合计算；Basel II 把未遂事件数据作为风险管理的输入；ICAO 附件 13 则在非归责原则下要求对未遂事件进行调查。作者据此提出把「基于容差的监测」（tolerance-based monitoring）作为应对持续性
原文摘录
自动提取自 PDFStress-testing AI incident escalation: design patterns that drive systematic under-detection Francesca Gomez 1 Michael Harr´e 1 Matthew Ball 1 Lydia Preston 1 Josephine Schwab 1 Caio Machado 2 Abstract As AI incident reporting requirements emerge in regulation, a critical question remains unan- swered: do the escalation criteria in these frame- works actually detect the incidents they are de- signed to catch? We develop an eight-criterion escalation framework for AI incidents, then stress- test it against ten real and structured AI incidents spanning cyber, CBRN, psychological harm, and multi-agent risk domains. The stress testing re- veals that escalation criteria depend on a three- layer infrastructure: definitional foundations, data availability, and trigger logic. Gaps in upstream layers propagate downstream, producing system- atic blind spots. We identify design patterns in