SECURE：大语言模型网络安全评测基准

大模型进入安全运营场景后，最让人犹豫的往往在于它答得对不对、知不知道自己不确定，而不在于它能不能答。材料开篇即指出，LLM 在网络安全应用中展现了潜力，却因幻觉和缺乏真实性而降低了使用者的信心。GLUE、MMLU、HELM、KOLA 这类基准提供了通用能力评估，但材料认为它们不足以覆盖网络安全特定任务中的实践与应用层面。SECURE 正是为补这个缺口提出的；编辑信息显示该工作已被引用 32 次，可以看作这套评测思路受到同行关注的信号。

SECURE 全称 Security ExtraCtion, Understanding & Reasoning Evaluation，把评测拆成知识抽取、理解与推理三类，并落到六个数据集上：MAET（Mitre Attack Extraction Task）、CWET（Common Weakness Extraction Task）、KCV（针对 Common Vulnerabilities 的知识测试）、VOOD（Vulnerability Out-of-Distribution 任务）、RERT（Risk Evaluation Reasoning Task）与 CPST（CVSS Problem Solving Task）。这些数据集面向工业控制系统（ICS）领域，取材于 MITRE、CVE、CWE 与 CISA 等业界标准来源。从原文的框架图看，数据源经过抽取、理解、推理三层任务设计，中间包含知识建模、人工校验与 GPT-4o 参与的环节。

材料中最能说明问题的是一个示例对话：研究者让 ChatGPT-3.5 扮演安全专家，围绕基准数据提问，跨不同任务类型的三个回答全部错误。值得注意的是，第一个任务问的是 2024 年披露的漏洞，模型显然没有这类新数据的训练覆盖，却仍然给出了明确判断——尽管提示里已经要求它在没有把握时返回「X」。这意味着失败模式不只是知识缺口，还包括对自身边界的错误估计；对一个要用于漏洞评估、事件响应的工具来说，后者更危险。

在六个数据集上，作者评测了七个当前先进的模型，并据此总结它们在网络安全语境下的强项与弱项，同时给出让 LLM 作为网络安全顾问工具更可靠的建议。评测覆盖的不只是「记住多少安全知识」，还包括从标准文档中抽取攻击与弱点信息、面对分布外漏洞时的表现、风险判断的推理链条，以及 CVSS 评分这类需要按规则处理的问题。数据集与评测框架已公开在 GitHub 的 aiforsec/SECURE 仓库，可供社区直接使用。

解读一下：这套工作的价值不在给出某个模型的排名，而在于把安全领域的 LLM 评测从通用题库拉到了带行业来源、带任务类型、带分布外考验的轨道上。对实践的影响有两层。一是选型时通用榜单的分数参考意义有限，需要用领域基准补测，尤其是在 ICS 这类关键基础设施环境，错误代价远高于一般办公场景。二是「不确定时是否拒答」应当作为一项独立的评测项，示例里那次自信的误答说明模型未必会遵守这类指令。

读者如果是做安全工具选型、LLM 评测集构建，或研究关键基础设施场景下的模型可靠性，这份材料提供了可复用的任务设计和公开数据集。读完能拿走的是三类知识划分、六个任务的具体形态，以及一个明确的失败案例。边界也要说清楚：从可见内容看，材料没有给出七个模型在各数据集上的具体分数与名次，六个数据集的规模与构建细节也无法从中判断；示例只涉及 ChatGPT-3.5 的一次对话，不宜外推为所有模型的普遍行为。

SECURE: Benchmarking Large Language Models for Cybersecurity 1st Dipkamal Bhusal ∗ Rochester Institute of Technology Rochester, USA [email protected] 2nd Md Tanvirul Alam ∗ Rochester Institute of Technology Rochester, USA [email protected] 3rd Le Nguyen Rochester Institute of Technology Rochester, USA [email protected] 4th Ashim Mahara RIT Rochester, USA [email protected] 5th Zachary Lightcap RIT Rochester, USA [email protected] 6th Rodney Frazier RIT Rochester, USA [email protected] 7th Romy Fieblinger RIT Rochester, USA [email protected] 8th Grace Long Torales RIT Rochester, USA [email protected] 9th Benjamin A. Blakely Argonne National Lab Lemont, USA [email protected] 10th Nidhi Rastogi Rochester Institute of Technology (RIT) Rochester, USA [email protected] Abstract—Large Language Models (LLMs) have demonstrated potential in cybersecurity applications but have also caused lower confidence due to problems