发现并修复机器学习中的脆弱性

这份博士论文处理的是一个在部署中反复出现的问题：机器学习模型很脆弱。脆弱性有两个来源，一是把模型组合进更大的系统、或放到真实运行环境里使用时出现，二是模型输入被扰动时出现——哪怕扰动量很小，尤其当扰动由对手刻意挑选时。论文把这两类脆弱性放在同一个框架里讨论，既有系统层面的安全论证，也有技术层面的对抗鲁棒性实验，而不是只谈其中一头。对关心机器学习在真实系统中能否被信任的读者来说，这种「系统工程 + 对抗攻防」的双视角本身就是值得一看的理由。

论文的方法是借用系统安全工程中已有的分析方法 System Theoretic Process Analysis（STPA），把它应用到具有明显社会与伦理风险的具体机器学习应用上，以此展示一条系统性的路径，用来论证社会技术系统中的机器学习是安全且可信的。按照论文自述，STPA 的作用是把安全、AI 伦理原则这类高层目标，与机器学习生命周期中低层的设计与实现决策衔接起来。在技术层面，论文还提出了一种针对深度神经网络（DNN）分类器的新防御方法，并在 CIFAR-10 和 CIFAR-100 数据集上做了对抗鲁棒性评测。

关键结果集中在防御效果上。论文称，所提出的防御在 CIFAR-10 和 CIFAR-100 上针对基准攻击的对抗鲁棒性超过了当时的最先进水平。其中表现最好的一种防御名为 LAD-SRNA，属于新颖的随机化「以上皆非」（none-of-the-above，NOTA）防御。按论文的表述，LAD-SRNA 在两个数据集上的 AutoAttack 攻击成功率都低于各自的自然错误率，同时保持了接近最先进的准确率，并在分类系统中取得了优于最先进的鲁棒性。

论文同时报告了攻防的另一面。作者共提出 16 种自适应攻击，做法是改造 8 种已有的最先进攻击，使它们能够突破 NOTA 防御、随机化防御，以及两者组合起来的防御。换句话说，防御方给出的鲁棒性提升并不是终点，而是被放在自适应攻击的检验之下重新评估——这是判断一个防御是否站得住的标准做法。论文的受控词表也印证了它的覆盖面：ML 安全、对抗攻击防御、逃逸攻击与逃逸防御、对抗样本、STPA、面向机器学习的系统安全、脆弱性、计算机视觉、DNN 分类器、NOTA 防御。

把这些放在一起看，含义有两层。第一层是方法论的：如果脆弱性既来自输入扰动，也来自模型被组合进系统后的运行环境，那么仅在数据集上测准确率和攻击成功率并不足以支撑「可信」的结论，需要一个能把高层安全目标往下落到生命周期决策的分析框架，STPA 被提议充当这个角色。第二层是工程上的：像 LAD-SRNA 这样把随机化与拒识（NOTA）结合的思路，把攻击成功率压到自然错误率以下，这意味着在某些分类场景中，攻击者要制造一次成功误导，其难度不低于模型本来就出错的概率。这是解读，不是论文的原话。

需要说清边界。上述鲁棒性结论限定在 CIFAR-10 与 CIFAR-100 两个图像分类基准上，是 DNN 分类器的结果，不能直接外推到其他模态、其他任务或其他模型族；16 种自适应攻击的存在也说明，鲁棒性的强弱是相对于所测试的攻击集合而言的。论文的定位是学位论文，其表述为「demonstrate a systematic means to argue for」，即论证一种系统性的方法，而非给出通用保证。适合读的人包括做机器学习系统安全与对抗鲁棒性的研究者、需要在社会技术系统中做安全论证的工程与合规人员，以及关心 AI 伦理原则如何落到设计决策上的读者。读完能拿走的是一套可复用的分析路径、一个具体的防御设计思路，以及一组关于攻防如何相互推进的实验证据；至于这套路径在自方系统中的适用性，仍需自行验证。

FINDING AND FIXING FRAGILITY IN MACHINE LEARNING Title FINDING AND FIXING FRAGILITY IN MACHINE LEARNING Item Type Thesis Authors Jatho, Edgar W., III URI https://hdl.handle.net/10945/72193 Publisher Monterey, CA; Naval Postgraduate School Date Issued 2023-06 Rights This publication is a work of the U.S. Government as defined in Title 17, United States Code, Section 101. Copyright protection is not available for this work in the United States. Download date 2026-11-04 22:58:42 Link to Item https://hdl.handle.net/10945/72193 Downloaded from NPS Archive: Calhoun NAVAL POSTGRADUATE SCHOOL MONTEREY, CALIFORNIA DISSERTATION FINDING AND FIXING FRAGILITY IN MACHINE LEARNING by Edgar W. Jatho III June 2023 Dissertation Supervisors: Peter J. Denning Armon C. Barton Joshua A. Kroll Approved for public release. Distribution is unlimited.