两种 AI 存在性风险：决定性与累积性

关于 AI 存在性风险（x-risk）的讨论，长期被一种画面主导：某个能力达到或超过人类水平的系统突然失控，世界在很短时间内滑向灾难。Atoosa Kasirzadeh 这篇论文要回答的问题是：AI 究竟通过哪几种不同的因果路径触发存在性灾难？她给出的答案是两条——惯常的「决定性」（decisive）路径，以及她提出的「累积性」（accumulative）路径。这个问题值得现在看，是因为围绕 AI 风险的公共讨论与政策注意力大多集中在第一条路径上，而如果第二条路径成立，对应的治理工具会完全不同。论文在 arXiv 上公布后被引 53 次，说明这一区分已经进入讨论。

论文是哲学进路的理论工作，即将发表于 Philosophical Studies，作者任职于 Carnegie Mellon University。开篇先做概念清理：作者列出「风险」至少四种互不相同但不必互斥的用法——可能发生的不想要的事件、这类事件的原因、事件发生的概率，以及概率与后果相乘的统计期望值，并援引 ISO 31000、Society for Risk Analysis 与美国环保署（U.S. Environmental Protection Agency）的定义作对照。存在性风险采用 Ord 的界定：人类灭绝，或人类繁荣潜力不可恢复的下降；文中也提到 Bostrom 把范围扩大到所有有感知生命的更宽定义。分析工具是系统分析（systems analysis），作者明确指出，这一方法在 AI x-risk 的情景构建中并不常用。

决定性假说设想的是一条「公开的 AI 接管」（overt AI takeover）路径，典型情景是不可控的超级智能，触发者被设定为通用人工智能或超级智能（Bostrom），或者能力极强但并非通用的 AI（Carlsmith）。这类事件被描述为突发而严峻，后果要么是人类灭绝，要么是文明被不可逆地削弱到无法恢复的程度。作者并不否认这条路径，而是指出：把注意力全部放在这里，会漏掉另一种严肃的可能性。

累积性假说描述的因果链条不同：AI 引发的严重脆弱性、经济与政治结构的系统性侵蚀等威胁一点点堆积，先削弱民主制度、经济市场、社会信任网络这些关键社会系统的韧性。当系统足够脆弱时，一次不大的扰动就可能经由系统间的相互依赖触发级联失败；失败再通过网络效应与反馈回路相互放大，最终可能导向不可逆的文明崩溃。作者用「温水煮青蛙」比喻这一过程：风险缓慢汇聚，直到某个触发事件造成不可逆的坍塌。她还主张，累积性视角能够调和那些看起来互不相容的 AI 风险观点。

如果累积性路径成立，这意味着治理对象不再只是某一个极端强大的模型或某一次越界事件，而是长期累积、彼此关联的中小规模扰动，以及它们在制度与市场层面留下的脆弱性。作者由此论证，要有效治理这类风险，需要对 AI x-risk 治理做一次根本性的重新概念化，而不只是把现有安全措施做得更严。这一判断对长期 AI 安全研究的议题设置同样有影响：换句话说，需要持续监测的是社会系统韧性的流失，而不是只等那个决定性时刻到来。

关心 AI 治理、长期安全与风险哲学的读者，可以从这份材料里获得一个可用的区分：把「突然的接管」与「缓慢的侵蚀」当成两种不同的因果假设，分别追问各自的假设、证据与治理含义。作者对两者假设差异的系统梳理，以及「累积性视角能调和看似矛盾的风险观点」这一论证，是阅读的主要收获。需要说明的是，这是一篇概念与论证性质的论文，材料中没有给出这两类风险的概率估计或可验证的量化阈值；「温水煮青蛙」是分析框架，而非实测结论。它的价值在于把一条被忽略的路径讲清楚并提出重新设计治理的论证，而不是给出风险大小的排序。

Two Types of AI Existential Risk: Decisive and Accumulative Atoosa Kasirzadeh Carnegie Mellon University ([email protected]) Forthcoming in Philosophical Studies Abstract The conventional discourse on existential risks (x-risks) from AI typ- ically focuses on abrupt, dire events caused by advanced AI systems, particularly those that might achieve or surpass human-level intel- ligence. These events have severe consequences that either lead to human extinction or irreversibly cripple human civilization to a point beyond recovery. This discourse, however, often neglects the serious possibility of AI x-risks manifesting incrementally through a series of smaller yet interconnected disruptions, gradually crossing critical thresholds over time. This paper contrasts the conventionaldecisive AI x-risk hypothesis with an accumulative AI x-risk hypothesis. While the for-