大规模二进制漏洞分析的基准框架与支撑

软件如今几乎嵌进生活的每个角落，它的漏洞也一样。被利用的软件漏洞会在财务、社会和经济层面造成损害，这是这份资料立论的起点。研究者依靠漏洞分析工具与技术（Vulnerability Analysis Tools and Techniques，VATT）来放大漏洞分析的过程，而市场上的 VATT 有数百种之多，却没有一种办法去比较它们的相对效能。换句话说，当一个团队要决定用哪件工具、或要判断某件工具是否真的提升了分析能力时，缺的是可依据的评测基准。这份 2021 年 9 月出自美国海军研究生院（Naval Postgraduate School）的博士论文，正是冲着这个空缺去的。

作者是 Kayla N. Afanador，论文指导为 Cynthia E. Irvine，题目把范围标为“大规模二进制漏洞分析”。从摘要看，工作由两块构成：一块是框架，一块是工具。框架方面，作者提出面向漏洞分析工具与技术的基准框架 BVATT（Benchmark for Vulnerability Analysis Tools and Techniques）；工具方面，作者指出现有生态里缺一件东西，并动手把它做出来。需要先有预期的是，材料呈现的是研究动机与贡献声明，而不是对市面上数百种工具的一次实测横评——从可见内容判断，方法上更偏框架设计与工具构建。

BVATT 的核心主张有两条。其一，框架要为单个 VATT 的性能量化提供关键指标（key metrics），也就是说，评价一个工具好不好，要落到可测量的量上，而不是靠印象。其二，框架要保证不同 VATT 之间的比较是在可重复（repeatable）、可复现（reproducible）、公平（fair）、可验证（verifiable）且相关（relevant）的方式下进行。这五个限定词恰好对应评测工作的常见软肋：同一实验别人跑不出同样结果，不同工具在不对等条件下被摆在一起，指标好看却与实际分析目标脱节。作者把它们写进框架目标，意味着基准本身要先把这些方法论要求固定下来。

另一条线索来自技术趋势。过去十年里，利用机器学习和数据挖掘技术识别漏洞的 VATT 有明显增长，但要把二进制文件中的常见特征提取、清洗、转换成这些技术可用的形式，此前没有一个开源工具来做这件事。作者为此开发了 BiSECT（Binary Synthesized Extraction, Cleaning, and Transformation）。按摘要的说法，它把这道工序综合起来，降低了入门门槛，使基于数据挖掘与机器学习的二进制漏洞分析对研究者更为可及。换句话说，如果每个团队都各自搭一套特征提取与清洗流程，工具之间的可比性就很难建立；有了统一工具，比较才有共同起点。

把这些放在一起看，这份资料处理的其实是一个方法论问题：漏洞分析工具越来越多，评价它们的方式却停留在经验层面。BVATT 试图把“哪个工具更有效”变成可以按统一口径回答的问题，这对工具选型、研究方向的横向对照都有直接价值；BiSECT 则从基础设施一侧降低机器学习方法的使用成本。需要说明的是，材料只交代了框架的设计目标与工具的存在，没有给出指标的具体取值、测试数据集或对比实验结果，因此上述影响是方向性的判断，而非已被数据证实的结论。

做二进制分析、漏洞挖掘、自动化漏洞分析工具评测的研究者与工程团队，可以从中拿到一套可借用的评测维度——关键指标，加上可重复、可复现、公平、可验证、相关这五条要求；关心机器学习落地安全场景的人，则能看到数据预处理这一环为何值得单独做成工具。范围上，标题与摘要都把对象限定在二进制漏洞分析及其支撑工具上，源码级或其他形态的分析不在其表述之内；论文本身也声明，文中观点属作者个人，不代表美国国防部或美国政府的官方政策与立场。该作品经批准公开发布、发布不受限制，可通过 NPS Archive（Calhoun）获取，适合在动手搭评测或数据管线之前先读一遍，用来校准自己关心的指标与口径。

A BENCHMARK FRAMEWORK AND SUPPORT FOR AT-SCALE BINARY VULNERABILITY ANALYSIS Title A BENCHMARK FRAMEWORK AND SUPPORT FOR AT-SCALE BINARY VULNERABILITY ANALYSIS Item Type Thesis Authors Afanador, Kayla N. URI https://hdl.handle.net/10945/68289 Publisher Monterey, CA; Naval Postgraduate School Date Issued 2021-09 Rights This publication is a work of the U.S. Government as defined in Title 17, United States Code, Section 101. Copyright protection is not available for this work in the United States. Download date 2026-11-04 23:25:05 Link to Item https://hdl.handle.net/10945/68289 Downloaded from NPS Archive: Calhoun NAVAL POSTGRADUATE SCHOOL MONTEREY, CALIFORNIA DISSERTATION A BENCHMARK FRAMEWORK AND SUPPORT FOR AT-SCALE BINARY VULNERABILITY ANALYSIS by Kayla N. Afanador September 2021 Dissertation Supervisor: Cynthia E. Irvine Approved for public release. Distribution is unlimited.