可信LLM智能体综述:威胁与应对措施
OriginalA Survey on Trustworthy LLM Agents: Threats and Countermeasures
With the rapid evolution of Large Language Models (LLMs), LLMbased agents and Multi-agent Systems (MAS) have significantly expanded the capabilities of LLM ecosystems.This evolution stems from empowering LLMs with additional modules such as memory, tools, environment, and even other agents.However,
- 发布时间
- 2025-08
内容介绍
LLM 一旦被接上 memory、tool、environment,甚至接上别的 agent,它就不再只是一个语言模型,而成了能检索、能调用工具、能与环境交互的认知主体;能力抬高了,可信问题也跟着换了形状。这份资料要回答的正是:当研究对象从 LLM 变成 Agent 和 Multi-agent System(MAS),原先那套只盯着模型本身的可信研究还够不够用。作者的判断是不够——新增模块把系统的攻击面撑大了,也让既有的防御机制和可信评估需要扩容升级。材料里提到,学术界与产业实践已经验证了 MAS > Single Agent > LLM 这样的性能层级,能力一层层往上叠,需要盯住的东西也就一层层变多。
这是一篇由企业与高校研究者合作的综述,提出名为 TrustAgent 的框架,作者自述其特征是模块化分类、多维含义与技术实现三条线并行。模块化那条线把 Agent 与 MAS 的组件拆开,技术那条线沿 attack、defense、evaluation 三个方面梳理现有研究,多维那条线则展开可信的具体含义。所有被提及的研究都按这套分类整理,并放在公开仓库 github.com/Ymm-cll/TrustAgent 中。作者还用一张表与已有综述逐项对照:Liu 等只覆盖 LLM 的攻击与评估,Huang 等只覆盖 LLM 的评估,He、Li、Wang、Deng、Gan 等几篇聚焦 Agent,而 TrustAgent 同时覆盖 LLM 与 Agent、把 MAS 纳入视野,攻击、防御、评估三者都涉及。
框架最核心的一刀,是把可信问题按模块切开:内在部分包括 brain、memory、tool,外在部分包括 user、其他 agent 和 environment。这个分法的用意在于,很多风险并不长在模型权重里,而是长在记忆里存了什么、工具能调什么、环境返回什么、别的 agent 说了什么。换句话说,可信不再是模型的一个属性,而是整套系统配置出来的属性。材料也点明,有些工作只处理了 LLM 充当 agent「大脑」模块时带来的新问题,却忽略了其他附加模块引入的挑战,这正是这套拆分的针对性所在。
多维度那条线给出的清单相当具体。Safety 下列了 adversarial hijacking、unsafe action chain、role impersonation、recursive self-harm、environment damage;privacy 下是 password theft、agent profile leakage、dialogue collection、whereabouts exposure、illegal info-trade;fairness 包括 resource monopolization、role discrimination、collaborative exclusion、racist speech、celebrity worship;robustness 有 malfunction、model dependence、chain vulnerability、interaction fragility、endless over-thinking;truthfulness 则是 hallucination collusion、gossip spread、fake news、disease misdiagnosis、financial fraud,另有一组归入 others 的 agent accountability、ethics、transparency、explainability。从这份清单能看出,不少条目只有在多模块、多主体互动时才成立,比如串谋式的幻觉、角色冒充、资源垄断、协同排斥。这意味着防线不能只设在模型输出那一层。
对做落地的人来说,这套框架的直接含义是:评估一个 agent 系统,不能只测基座模型的表现,还要分别检查记忆、工具、环境和 agent 间通信各自带来的风险。防御同理,单点加固对链条型漏洞和交互型脆弱性帮助有限,得按模块分别布置。材料提到这份综述被引 57 次,说明 agent 可信这个题目确实在聚拢注意力。不过从材料看,作者的贡献主要是把问题结构化,而不是给出统一的量化基准。
如果你在做 agent 产品或研究 MAS,这份资料可以当一张问题地图用:它告诉你风险分布在哪些模块、已经有哪几类攻击与防御、评估该往哪些维度展开,配套仓库还能作为检索入口。阅读时需要清楚它的边界——这是一篇综述,价值在分类与串联,本身不提供新的实验结论;模块划分与维度划分是作者提出的框架,不是行业既定标准;材料也没有给出各维度的基准分数或横向比较结果。换句话说,它帮你把该问的问题问全,但不替你把答案测出来。
原文摘录
自动提取自 PDFA Survey on Trustworthy LLM Agents: Threats and Countermeasures Miao Yu1,†, Fanci Meng 1,†, Xinyun Zhou 4, Shilong Wang1, Junyuan Mao 1, Linsey Pang 2, Tianlong Chen3, Kun Wang4, Xinfeng Li 4,∗, Yongfeng Zhang5, Bo An 4, Qingsong Wen1,∗ 1Squirrel AI Learning, 2Salesforce, 3The University of North Carolina at Chapel Hill, 4Nanyang Technological University, 5Rutgers University Abstract With the rapid evolution of Large Language Models (LLMs), LLM- based agents and Multi-agent Systems (MAS) have significantly expanded the capabilities of LLM ecosystems. This evolution stems from empowering LLMs with additional modules such as memory, tools, environment, and even other agents. However, this advance- ment has also introduced more complex issues of trustworthiness, which previous research focusing solely on LLMs could not cover. In this survey, we propose the TrustAgent framework, a compre-