智能即受管自主的智能体AI系统失败升级与治理

自主智能体正在机器人、人机协作等环境中规模化部署，“幻觉”以及“持续却没有依据的行动”依然是悬而未决的难题。常见的解释落在训练数据、模型对齐或提示设计上，这篇论文换了一个切口：它把无根据的持续输出看作自主控制的失败——当自主推理被允许越过自身可验证的认知有效性继续运转，这类行为就不再是偶发异常，而是缺少形式化退出机制的架构所必然产生的可预期结果。这个视角在当下值得认真对待，因为智能体越来越多地自行规划、调用工具、彼此协调，而人工监督往往稀薄；自主性一旦授予便默认无限延续，“什么时候必须停下来”于是从工程细节变成了架构问题。

需要先说清楚这份资料的性质：作者本人把它定位为概念性与理论性的自主框架，而非经过实证验证的系统架构。它的目标不是报告实验结果，而是建立治理型自主所需的数学性质、状态转移与结构边界。方法上，论文从经典分层智能控制出发，用带时间约束和守卫条件的层次化 Petri net 对模型做形式化，并讨论如何把领域特定的触发集接入医疗、机器人等不同运行环境，以系统性地维持安全——前提是这些触发集满足完备性与可靠性准则。由于触发集被设计为可自适应，框架也容纳智能体运行范围随时间安全、可控地扩展。作者是 Srini Ramaswamy（DNRS.ai）。

核心构造是 SMARt 模型（Self-Managing Multi-tier Autonomous Reasoning with Regulated/Revoked transitions），一个四层、互斥的状态框架。Stable（稳定自主推理）状态下系统在已验证的认知边界内运行，也是唯一允许对外产出权威结论的状态；Meta-cognitive（元认知本地恢复）状态暂停自主执行，用于自诊断与内部修复；Assisted（协助式互助恢复）状态转向外部智能体或工具，弥补系统无法自行纠正的知识缺口；Regulated（受管制的控制权转移）状态则把自主权明确交还给治理流程或人工监督。值得注意的是，状态转移的判据不是抽象的“真值谓词”，而是可测量的证据信号，例如检索结果与 LLM 输出的分歧、多智能体之间的意见不一致、思维链熵。

论文列出的贡献有四项：把幻觉重新表述为自主管理的失败；给出 SMARt 模型规范；提供该框架的 Petri net 形式化实现；以及证明不确定条件下结构性有界推理与强制升级的理论命题。形式化带来的可宣称性质包括：架构能够强制触发升级、约束无效输出、并在特定条件下保证治理可达性（governance reachability）。这些结论都是在模型内部成立的理论性质，不是实测指标；就材料所见，论文没有给出实验评估或部署数据。

这些结论的实践含义，换句话说，是把目前多以“程序性启发式”存在的反思、自我批判、多智能体辩论等机制，改造成可强制执行的停止规则。作者指出，这类循环即便没能消解不确定性，也很少迫使系统显式中止运行，因此智能体在结构上天然偏向持续执行；把不确定性管理变成由显式停止规则支配的可监管过程，才有可能在架构层面为“交还控制权”留出通道。对于需要审计与责任归属的部署场景，这意味着可以把“何时必须升级到人”写成可检查的约束，而不是依赖运行时的临场判断。

做智能体架构、安全治理或形式化方法研究的读者，可以从中拿走一个重新定义幻觉的框架、一套四状态状态机，以及一条把自主性写成可验证性质的路径。边界同样明确：作者强调 SMARt 首先是概念与理论框架，诸如“结构性抑制无根据输出”“有界运行安全”这类较强的操作性主张，应当理解为在触发集完备且可靠等指定条件下才成立；论文的推进方向是先立数学性质，再谈现实集成。材料中未见实证评估，该工作目前被引 1 次，说明相关讨论仍处在很早期的阶段。

Intelligence as Managed Autonomy: Failure, Escalation, and Governance for Agentic AI Systems Srini Ramaswamy, Ph.D. DNRS.ai USA [email protected] Abstract - As autonomous and agentic AI systems scale in robotic and human-machine environments, managing hallucination and persistent but unjustified action remains an open challenge. Rather than attributing these failures solely to model or alignment limitations, this paper explores the architectural vulnerability of unbounded autonomy - the presumption that an agent should continue operating regardless of rising uncertainty. It introduces a theory of managed autonomy that defines intelligent behavior through the formal capacity to detect epistemic drift, suspend reasoning, attempt recovery, and ultimately surrender control when reliability diminishes. We instantiate this theory via the SMARt (Self -