国际 AI 安全报告第二次关键更新：技术防护与风险管理

前沿 AI 的风险管理到底有哪些技术手段和非技术安排，哪些已经奏效、哪些仍有缺口，是这份资料要回答的核心问题。它是 2025 版国际 AI 安全报告的第二次关键更新：第一次更新讨论通用 AI 模型与系统的能力及相关风险，这次转向研究人员、公司和政府如何开展风险管理与技术缓解。报告指出，过去一年在训练更安全模型和监测输出方面有重要进展，但显著缺口仍在，现有措施防止伤害的有效性常常不确定。这意味着它值得现在看：它把分散在研究人员、公司和政府实践中的做法收拢成一份简明综述，帮助读者判断防护手段走到了哪一步。

这份更新综述现有研究中关于技术与非技术风险管理实践的内容，覆盖训练、部署和部署后监测等环节的防护安排。报告由主席 Yoshua Bengio 统筹，Expert Advisory Panel 由 30 个国家、联合国、欧盟和 OECD 的代表组成，只提供技术反馈；报告和顾问团不 endorsing 任何特定政策或监管路径。换句话说，它提供的是研究综合和实践概览，而不是某一政府的政策立场，也不试图推荐某一种监管方案。

在关键发现上，开发者正在采用 defence-in-depth 策略，把训练、部署和部署后监测阶段的防护组合起来，以限制单个防护失效造成的影响。训练模型抵抗恶意攻击的方法在 2025 年继续改进，prompt-injection 攻击成功率随时间下降；但测试显示，sophisticated attackers 在获得 10 次尝试时仍能绕过防护约一半的时间。开放权重模型落后领先的闭源权重模型不到一年，这正在改变风险格局：更大的开放度可以支持透明和创新，但也让模型被修改和使用的方式更难控制。

数据投毒方面，训练数据中插入少至 250 份恶意文档，就能让攻击者用特定提示触发不期望的模型行为；一些研究显示，这类攻击所需资源相对较少，且与模型规模无关。研究者还开发了标记、识别和追踪 AI 生成内容的新工具，包括 watermarking、内容检测和模型识别，但实际实施仍不一致；正确且一致地使用时，这些技术可以帮助研究 AI 模型和系统的传播、追踪其输出，并验证人类创作的内容。治理实践上，拥有 Frontier AI Safety Frameworks 的 AI 公司数量在 2025 年翻倍以上，至少 12 家公司已有此类框架，这些框架描述测试和风险缓解措施。

这些发现合起来说明，当前风险管理更像多层防护的组合，而不是依赖单一 safeguard；defence-in-depth 的价值在于即使一层失效，其他层仍能限制影响。但报告同时提醒，现有措施阻止伤害的有效性常常不确定，而且会随时间和应用场景变化，所以框架数量和防护技术增加，并不等于风险已被充分控制。换句话说，实践重点应放在验证防护在具体场景中的效果、持续监测部署后行为，并对开放权重和数据投毒这类改变风险格局的因素做单独评估。

政策研究者、前沿实验室的安全与治理团队、关注 AI 风险管理实践的技术读者，可以把它当作一份简明材料，用来快速了解安全承诺、技术防护和仍存缺口。读完后能拿走的是一张风险管理实践的“地图”：防御纵深、攻击成功率、开放权重、数据投毒、内容溯源和 Frontier AI Safety Frameworks 等关键议题及数字。边界也清楚：它是对现有研究的综合，不必然代表主席、写作或顾问组任何个人，也不代表支持其发展的政府；报告和顾问团不 endorsing 任何特定政策或监管路径。这意味着它适合用来建立背景和识别问题，而不应被当作对某项措施有效性的最终裁定。

Second K ey Update Technical Safeguards and Risk Management November 2025 2International AI Safety Report: Second Key Update Contributors Chair Prof. Yoshua Bengio, Université de Montréal / LawZero / Mila - Quebec AI Institute Expert Advisory Panel The Expert Advisory Panel is an international advisory body that advises the Chair on the content of the Report. The Expert Advisory Panel provided technical feedback only. The Report – and its Expert Advisory Panel – does not endorse any particular policy or regul atory approach. The Panel comprises representatives from 30 countries, the United Nations (UN), the European Union (EU), and the Organisation for Economic Co-operation and Development (OECD). Please find here the membership of the Expert Advisory Panel to the 2026 International AI Safety Report. Lead Writers Stephen Clare, Independent Carina Prunkl, Inria Writing Group