X｜Anthropic 发布第二份风险报告

Anthropic 依据其负责任扩展政策（RSP）发布第二份风险报告，要回答的问题很具体：在最受关注的两条极端风险路径上——模型在high-stakes场景中的失准，以及化生武器的开发辅助——现有模型究竟处在什么位置，RSP 的门槛是否还够用。这一版值得现在读，是因为它不只复述一次评估，而是同时改了两条阈值：AI 研发自动化的阈值，以及新型生物与化学武器开发的阈值；此外还补上了风险报告的覆盖日期、删节范围与透明度、治理与审查变更，以及对未发布模型的覆盖说明。换句话说，它一边给出证据，一边承认标准本身发生了移动。

报告的主体分三块：自主性威胁模型 1 处理高风险场景中的失准，威胁模型 2 处理自动化研发的风险，第三章之外的独立一章处理化学与生物武器生产。方法上的特点是尽量把结论拆成可检验的主张——失准部分列出 8 条核心主张，并进一步拆出 3.1 至 3.4、5.1 至 5.4 这样的子主张，逐条给论证。证据来源是混合的：内部使用监控的细节（异步监控、自动化离线监控、训练与评估期间的离线监控，以及模型权重安全、训练与评估沙箱、PR 审查、内部部署中的沙箱与阻断分类器）；对研究人员的调查与 CoBench；AECI 能力轨迹；化生部分引用了一项关于 AI 模型提升作用的随机对照试验的总体更新；分类器鲁棒性则靠持续进行的漏洞赏金结果和对仍可行越狱方法的复盘，其中包含 UK AISI 来源的越狱，以及 Anthropic 与 UK AISI 各自独立发现的同一处覆盖缺口。

失准部分的结论是分层的。报告主张模型不太可能具备强隐蔽能力；已知失准带来的预期危害较低；未知的严重普遍性失准非常不可能；未知的严重情境依赖型失准预期危害也低；由已知失准和未知情境依赖型失准导致的灾难性危害很可能被缓解；蓄意工程化失准的风险较低。值得注意的是两处例外：对未知普遍性失准造成的灾难性危害，报告只给到“有一定可能被缓解”；而威胁建模本身的充分性、路径特定的风险评估被单列成节，说明作者知道总体判断不能替代局部判断。

化生这一章用的是 CB-1 与 CB-2 两个威胁模型，缓解措施按鲁棒性等级（Level 1、Level 2、Level 3）与覆盖等级组织。报告记录覆盖范围较上一份有所扩展，Fable 5 的化生分类器覆盖更广；同时也写明自上次报告以来的两类变化：模型权重存储标准的轻微放宽，以及涉及分类器与访问控制的事件，包括一次未授权的 Mythos Preview 访问。自动化研发这一章则讨论用自家模型替代 Anthropic 研究人员的失败模式、研究者调查与 CoBench 结果，并延伸到机器人、生物技术、能源、半导体、武器开发、神经技术、纳米技术等领域的自动化研发，最后落到行业安全建议上。

这些结论的用法需要一点转译。RSP 在这里不再是原则宣示，而是一套“阈值＋证据＋缓解等级”的结构：阈值被更新，意味着后续模型发布的触发条件随之改变，能不能发、发之前要补哪些评估，都由这套结构决定。报告把越狱案例、覆盖缺口、放宽的存储标准一并写出来，说明它的缓解是分级而非零风险的；读者应把“很可能被缓解”“非常不可能”理解为带条件的概率判断，而不是保证。报告自己列出的四条局限——隐蔽能力可能强于预期、相关能力与倾向可能随规模突变、评估意识可能比以为的更普遍、可能存在更难发现也更危险的情境依赖型失准——正是这些判断的承重墙。

关心前沿模型安全评估、RSP 类框架如何落地、化生滥用风险与自动化研发风险的人，都能从中取走可复用的东西：一套把极端风险拆

Risk Report: August anthropic.com Introduction and executive summary 1.1 Structure of the report 1.2 Executive summary of findings 1.3 Changes to our RSP since the most recent Risk Report 1.3.1 Updated threshold for automation of AI R&D 1.3.2 Updated threshold for development of novel biological and chemical weapons 1.3.3 Coverage dates of risk reports 1.3.4 Redaction scope and transparency 1.3.5 Governance and review changes around Risk Reports 1.4 Notes on coverage of unreleased models Autonomy threat model 1: Misalignment in high-stakes settings 2.1 Overview 2.2 Threat model 2.2.1 Specific pathways 2.3 Relevant AI models 2.4 Summary and methodology 2.5 Definitions 2.6 Claims and core argument 2.7 Claim 1: Models are unlikely to have strong covert capabilities 2.8 Claim 2: Expected harm from known misalignment is low 2.9 Claim 3: Unknown severe pervasive misalignment is very unlikely