搜索结果

前沿 AI 公司在过去一两年陆续公布了自己的安全框架，但这些框架与航空、核电等高危行业积累了几十年的风险管理实践相比，仍显得零散、缺少系统性。

关于 AI 存在性风险（x-risk）的讨论，长期被一种画面主导：某个能力达到或超过人类水平的系统突然失控，世界在很短时间内滑向灾难。Atoosa Kasirzadeh 这篇论文要回答的问题是：AI 究竟通过哪几种不同的因果路径触发存在性灾难？

讨论 AI 风险时，一个常被忽略的问题是：大家说的可能不是同一件事。同一个词会被用来指不同的问题，不同词又可能指向同一个担忧——材料把这种状况称为术语不一致。这种碎片化不只是措辞问题，它会妨碍各方对 AI 挑战做出协调回应。

自主智能体正在机器人、人机协作等环境中规模化部署，“幻觉”以及“持续却没有依据的行动”依然是悬而未决的难题。常见的解释落在训练数据、模型对齐或提示设计上，这篇论文换了一个切口：它把无根据的持续输出看作自主控制的失败——当自主推理被允许越过自身可验证的认知有效性继续运转，这类行为就不再是偶发异常，而是缺少形式化退出机制的架构所必然产生的可预期结果。

AI 事件报告要求正在监管与自愿性框架中同时铺开：EU AI Act 用第 3(49) 条界定触发报告义务的 serious incidents，加州 SB 53 第 1107 条为前沿基础模型引入 critical safety incidents，GPAI Code of Practice 则把 EU 制度下的报告义务落到操作层面。

先进的 AI agent 正被大量部署，当它们彼此交互时，会出现哪些单个 agent 不会带来的风险？Cooperative AI Foundation 的这份技术报告给出的回答是：多智能体系统会带来新颖且研究不足（novel and under-explored）的风险，需要一套独立的风险分类框架来讨论。

这份资料要回答的是一个被反复提出却始终没有答案的问题：人类究竟能不能、以及怎样才能把AI风险控制住。作者的比喻很直白——现在的处境像驾驶一列高速前进的AI列车，却没有可用的刹车系统。

国际AI安全报告（2025），由Yoshua Bengio 等发布（2025-01）。arXiv公开论文，可免费下载全文PDF，属于大模型/推理/安全方向，适合做论文解读/论文盘点类内容；具体结论以原文为准。

经济合作与发展组织（OECD）人工智能系列公开论文/报告，PDF托管于oecd.org，可免费下载。将OECD新兴技术预期性治理框架映射到AI治理。

世界经济论坛公开白皮书《AI价值对齐 2024》，托管于 reports.weforum.org，可免费直下PDF。适合作为AI治理方向的权威背景材料与图解选题来源。