大规模模型与智能体安全综合综述

这份综述回答的是：当大模型成为对话AI、推荐系统、自动驾驶、内容生成、医疗诊断和科学发现等应用的基础时，它们面临哪些安全威胁，已有防御和评测资源到什么程度，还有哪些开放问题。大模型通过大规模预训练获得学习和泛化能力，但广泛部署也暴露鲁棒性、可靠性和伦理风险，攻击面从模型本身延伸到Agent。安全研究因此快速分化出多种攻击与防御路线，单篇论文很难给出全景。换句话说，现在值得看的是它提供的一张跨模型类别的安全地图，而不是某个单点技巧。

覆盖范围包括六类模型：Vision Foundation Models（VFMs）、Large Language Models（LLMs）、Vision-Language Pre-training（VLP）模型、Vision-Language Models（VLMs）、Diffusion Models（DMs）和大模型驱动的Agent，并对每类模型分别回顾攻击与防御。方法上是对已发表技术论文做系统调查，按模型类别和攻防类型组织文献；图1呈现攻击、防御、基准/数据集论文数量及其按模型类型、攻防类型的分布，图2呈现季度与年度趋势及攻防研究比例。配套的GitHub仓库Awesome-Large-Model-Safety提供资源线索。这意味着它把“模型—攻击—防御—评测”放在同一框架里，便于做全景对照。

这份综述把大模型安全威胁拆成十种攻击类型：对抗攻击、后门、投毒、越狱、提示注入、能耗延迟攻击、成员推断、模型抽取、数据抽取和Agent攻击。摘要层面还提到数据与模型抽取、Agent特定威胁等，说明威胁既覆盖训练数据与模型资产，也覆盖部署后的提示与系统行为。在组织上，后门与投毒在具体模型类别中会被合并为“backdoor & poisoning”讨论，以免重复。这样的分类把传统模型安全与Agent安全放在同一张地图上，便于比较不同模型类别的攻击面。

防御部分按攻击类型回顾已有策略，并汇总安全研究常用的数据集和基准。综述用图1和图2展示论文计数、模型类型分布、攻防类型分布以及季度和年度趋势，具体数值需要看原文图表。开放挑战集中在三处：全面安全评估、可扩展且有效的防御机制、可持续的数据实践；此外还强调研究社区集体努力和国际合作。换句话说，它不只回答“有哪些攻击”，也试图回答“防御做到哪一步、评测靠什么、还缺什么”。

这些结论对实践的直接影响是，安全评估不能只盯单一模型或单一攻击，而要把训练数据、模型资产、提示接口和Agent行为放在连续的风险链里看。解读来说，全面评估、可扩展防御和可持续数据实践被列为开放挑战，说明它们尚未成为即插即用的成熟能力；Agent特定威胁则提示系统边界比传统模型更宽。对团队而言，更现实的做法是先用综述中的攻击分类做威胁建模，再用它汇总的数据集和基准检查评测覆盖。国际合作和社区集体努力的强调也意味着，安全治理很难靠单个机构闭环。

适合读这份资料的人，是跟踪大模型与Agent安全全景的研究人员，以及需要做安全评估、防御选型或威胁建模的工程实践者。读完可以拿走一套六类模型的分类框架、十种攻击类型清单、按攻击类型组织的防御回顾、常用数据集与基准线索，以及三项开放挑战。边界也要说清楚：它是对文献的综述，不是单一系统的实验报告，不能替代具体方法细节和复现；图表中的具体计数与趋势需要回原文查看。换句话说，把它当作入口和索引更合适，具体结论仍要回到被引论文核对。

Safety at Scale: A Comprehensive Survey of Large Model and Agent Safety Xingjun Ma1, Yifeng Gao1, Yixu Wang1, Ruofan Wang1, Xin Wang1, Ye Sun1, Yifan Ding1, Hengyuan Xu1, Yunhao Chen1, Yunhan Zhao1, Hanxun Huang2, Yige Li3, Yutao Wu4, Jiaming Zhang5, Xiang Zheng6, Yang Bai7, Yiming Li8, Zuxuan Wu1, Xipeng Qiu1, Jingfeng Zhang9,10, Xudong Han11, Haonan Li11, Jun Sun3, Cong Wang6, Jindong Gu13, Baoyuan Wu14, Siheng Chen15, Tianwei Zhang8, Yang Liu8, Mingming Gong2, Tongliang Liu16, Shirui Pan17, Cihang Xie18, Tianyu Pang19, Yinpeng Dong20, Ruoxi Jia21, Yang Zhang22, Shiqing Ma23, Xiangyu Zhang24, Neil Gong25, Chaowei Xiao26, Sarah Erfani2, Tim Baldwin2,11, Bo Li27, Masashi Sugiyama10,12, Dacheng Tao8, James Bailey2, Yu-Gang Jiang†1 1Fudan University, 2The University of Melbourne, 3Singapore Management University, 4Deakin University, 5Hong