先进AI带来的多智能体风险

先进的 AI agent 正被大量部署，当它们彼此交互时，会出现哪些单个 agent 不会带来的风险？Cooperative AI Foundation 的这份技术报告给出的回答是：多智能体系统会带来新颖且研究不足（novel and under-explored）的风险，需要一套独立的风险分类框架来讨论。值得现在看的原因很具体：材料中已经出现现实案例，成组的 AI agent 被用于交易百万美元级的资产、向战场指挥官推荐行动方案，而能源管理、交通网络等关键基础设施和作为个人助理或代理的应用被列为近期可能的落点。报告同时提醒，目前的多智能体系统仍然稀少，且往往受到高度控制（如自动化仓库），这正是相关风险被系统性低估和少有人研究的原因之一。该报告目前被引 80 次。

报告的范围是从 agent 的激励结构切入，建立一套结构化分类：三种失效模式加七项风险因素，并为每一类风险举出重要实例、指出有希望的缓解方向。它的分析基于一系列真实案例与实验证据，而不是纯概念推演，并在附录中给出三份案例细读：驾驶场景中的零样本协作失败（zero-shot coordination failures）、虚假信息与偏见经由 AI 网络传播、以及对监督者 agent 的未被提示的对抗攻击。讨论最终落到安全、治理与伦理三方面的含义。换句话说，它想提供的是一张可用的风险地图，而不是对某一种风险的深度量化评估。

三种失效模式分别是 miscoordination（协调失败）、conflict（冲突）与 collusion（合谋），划分依据是 agent 的激励。这个切法的意义在于，它把注意力从“模型能力不足”转向“互动结构本身会出错”：即便每个 agent 都按自身目标正常行事，多智能体层面仍可能出现系统性失败。报告为每一种模式都列出了若干重要实例，说明这些失效不只是理论上的可能性。

支撑上述失效模式的是七项风险因素：信息不对称、网络效应、选择压力、失稳动态（destabilising dynamics）、承诺问题、涌现性 agency、多智能体安全。它们处在更靠下的机制层，描述失效如何被触发或放大，而不是失效本身。从目录结构能看出一些取向：承诺与信任被放在同一节讨论，意味着可信承诺被当作多智能体合作的前提条件之一；多智能体安全被单列成节，则指向 agent 之间交互自身生成的攻击面。这意味着该分类同时覆盖了经济与博弈层面的激励问题，以及工程安全层面的攻防问题。

对实践的含义，报告归到安全、治理与伦理三块，并针对各类风险给出缓解方向。一个合理的解读是：如果风险主要产生在 agent 之间的互动层，那么只对单个模型做安全评估就抓不住这些问题，评测与治理的对象需要上移到“系统”这一层。报告坚持把分析落在真实案例与实验证据上，也是为了让这些风险可以被具体讨论，而不停留在抽象担忧。

做多智能体系统、AI 安全评测、AI 治理与伦理研究的读者，可以把它当作一份可对照的框架：拿三种失效模式与七项风险因素逐一检查自己手上的系统会在哪一环出问题。需要留意的边界有两点。一是报告自述当前多智能体系统还很少、且多处于受控环境，因此不少讨论依赖实验证据与合理外推。二是作者名单很长，报告明确说明署名不等于认同报告中的全部论断。换句话说，这是一份用于组织问题、界定概念的纲领性报告，具体风险的量化评估仍需另找证据。

Lewis Hammond Alan Chan Jesse Clifton Jason Hoelscher-Obermaier Akbir Khan Euan McLean Chandler Smith Wolfram Barfuss Jakob Foerster Tomáš Gavenč iak The Anh Han Edward Hughes Vojtěch Kovařík Jan Kulveit Joel Z. Leibo Caspar Oesterheld Christian Schroeder de Witt Nisarg Shah Michael Wellman Paolo Bova Theodor Cimpeanu Carson Ezell Quentin Feuillade-Montixi Matija Franklin Esben Kran Igor Krawczuk Max Lamparth Niklas Lauffer Alexander Meinke Sumeet Motwani Anka Reuel Vincent Conitzer Michael Dennis Iason Gabriel Adam Gleave Gillian Hadfield Nika Haghtalab Atoosa Kasirzadeh Sébastien Krier Kate Larson Joel Lehman David C. Parkes Georgios Piliouras Iyad Rahwan Multi-Agent Risks from Advanced AI Technical Report #1 February 2025Cooperative AI Foundation arXiv:2502.14143v1 [cs.MA] 19 Feb 2025 Multi-Agent Risks from Advanced AI Lewis Hammond1,2,∗ Alan Chan3,4, Jesse Clifton 5,1, Jason