全面控制AI风险的决策路径与AI治理基本机制
OriginalThe Decision Path to Control AI Risks Completely: Fundamental Control Mechanisms for AI Governance
Three of the AIMs must be built inside AI systems and three in society to address major areas of AI risks: 1) align AI values with human users; 2) constrain AI decision-actions by societal ethics, laws, and regulations; 3) build in human intervention options for emergencies and shut-off switches for
- 发布时间
- 2025-12
内容介绍
这份资料要回答的是一个被反复提出却始终没有答案的问题:人类究竟能不能、以及怎样才能把AI风险控制住。作者的比喻很直白——现在的处境像驾驶一列高速前进的AI列车,却没有可用的刹车系统。让它值得现在读的理由是,作者判断当前多数AI治理研究仍停留在哲学和愿景层面,缺少系统的、具体的立法行动,而各方对AGI的竞逐正在抬高经济失稳、社会扰动和存在性威胁的风险。作者还给出一个贯穿全文的出发点:AI的每一个动作都来自它做出的某个决策,因此治理必须深入到AI决策过程的关键要素上去设计控制机制;换句话说,讨论的重心不是事后补救,而是把刹车装进决策路径本身。
覆盖范围包括生成式AI模型、基于大语言模型(LLM)和小语言模型(SLM)的AI agents,以及能够执行独立决策任务的physical AI systems。方法上,作者从决策分析切入,考察AI决策关键要素上的基本控制机制,提出一个由五根支柱支撑、六个控制机制作为构件的AI治理与立法架构,并用一组最小化的AI Mandates(AIMs)作示例说明。这项工作明确是跨学科的,需要AI技术、伦理、法律和决策科学的知识结合。作者把AI治理定义为开发者、部署者、用户、立法者与公众的集体努力,在放大社会效益的同时把风险压到最低,并给出三道防线:市场力量与伦理、现有法律、新的AI立法。
六个控制机制中,三个要建在AI系统内部,三个要建在社会一侧。作者以最小的一组AIMs举例,覆盖五个主要风险领域:让AI的价值观与人类用户对齐;用社会伦理、法律和规章约束AI的决策与行动;在系统中内置紧急情况下的人类干预选项,并针对存在性威胁设置关闭开关;限制AI对资源的访问,以强化AI内部的控制;缓解失业一类由AI外溢出来的风险。前三项分别落在价值、规则和人类最终控制权上,换言之,它们处理的是AI想做什么、被允许做什么,以及人在关键时刻能否叫停。这一层设计之所以重要,是因为作者认为风险管理的目标不是消灭风险,而是把风险压到相对于缓解成本可接受的门槛。
论文还专门区分了这些控制机制用在physical AI systems与generative AI模型上的差别,并讨论如何加强模拟(analog)物理层面的防护。作者的论证是:AI本质上是运行在人类控制的芯片上的纯软件代码,而所有由AI驱动的物理动作都必须先被数字化,这两点构成AI与模拟物理世界之间的固有脱节。正因如此,可以强化物理屏障,使更聪明的AI/AGI/ASI难以利用这一脱节绕过核心安全控制。
把这些机制装起来,作者的主张是:可以在人力所及的范围内尽可能彻底地遏制AI危险,移除目前大块敞开的AI风险,把整体风险压到残余的人为错误这一层。这个判断要放在作者的风险管理观里读——缓解的收益需要与付出的成本权衡,管控不足和管控过度都不算最优,所以现实目标是把风险降到可接受阈值,而不是追求零风险。作者也指出风险会在三道防线之间转移,只有在现有防线用尽后仍存在不可接受的风险时,才需要新的治理机制或立法;这意味着该框架的用处不只是列清单,也为判断何时应当启动新的立法提供了依据。
关心AI治理与立法设计的政策研究者、做AI风险管理与合规的从业者、以及研究AI安全架构的技术人员,都能从中拿到一套以决策为抓手的结构化框架:六个控制机制如何分工、哪些必须内置在系统里、哪些只能由社会提供,以及物理层防护为什么值得单独设计。需要说清边界:这份资料给出的是理论框架和治理架构,作者使用的表述是“若得以实施”,材料中没有提供实施后的实证评估或案例数据来验证效果,作者的机构信息也未能从OpenAlex获取。因此更合适的读法,是把它当作一个可讨论、可检验的治理设计提案,而不是已经验证的解决方案。
原文摘录
自动提取自 PDFThe Decision Path to Control AI Risks Completely: Fundamental Control Mechanisms for AI Governance Yong Tao* (In memoriam: Ronald A. Howard†: 1934-2024) December 29, 2025 ABSTRACT Artificial intelligence (AI) advances rapidly, but achieving complete human control over AI risks remains an unsolved problem, akin to driving the fast AI "train" without a "brake system." By exploring fundamental control mechanisms at key elements of AI decisions, this paper develops a systematic solution to thoroughly control AI risks, providing an architecture for AI governance and legislation with five pillars supported by six control mechanisms as building blocks, illustrated through a minimum set of AI Mandates (AIMs). Three of the fundamental "how-to" control mechanisms need to be built inside AI systems and three to be established in society to address the broad spectrum of