评估亚马逊Nova Premier在前沿模型安全框架下的关键风险

这份资料要回答的是：Amazon 最强大的多模态基础模型 Nova Premier，在 Frontier Model Safety Framework 的三个高后果风险领域里，是否越过了发布前必须守住的临界阈值，以及能否按 Amazon 在 2025 Paris AI Safety Summit 上作出的承诺公开发布。模型能力越强，安全义务越重，Nova Premier 又同时承担模型蒸馏中的教师角色，这个问题就不只是单个模型的合规判断。资料称这是首次以 system-card 风格披露 Nova Premier 相对这些阈值的表现，并把自动基准、专家红队和独立审计放在同一份评估里。换句话说，它试图把“模型是否安全到可以发布”从内部结论变成可检查的评估记录。

评估范围锁定三个领域：Chemical, Biological, Radiological & Nuclear（CBRN）武器扩散、Offensive Cyber Operations、Automated AI R&D；FMSF 对每个领域都定义了 critical threshold，一旦越过就要求追加 safeguards 或暂停部署。方法上分成两条线：一条是可复现的自动 benchmarks，用公开基准和与领域专家共同开发的专有测试集，量化模型在高风险领域的知识；另一条是以人为中心的风险评估，包括专家 red-teaming、uplift studies 和多 agent 压力测试，专门探测新兴的真实世界失败模式。为了验证内部发现，CBRN 部分由 Nemesys Insights 审计，Automated AI R&D 部分由 Model Evaluation & Threat Research（METR）审计，审查对象包括 test sets、scoring rubrics 和 safety-judge notes。这样的组合意味着评估不只看模型“知道什么”，也看它在专家推动和协作场景下“能做成什么”。

从能力规模看，Nova Premier 处理文本、图像和视频，上下文窗口为一百万 token，单个 prompt 就能分析大型代码库、400 页文档和 90 分钟视频；这些数字决定了评估对象不是短问答模型，而是能吞下长上下文并跨模态推理的前沿系统。资料报告，在三个高风险领域上，Nova Premier 相对前代 Nova Pro 都出现了可测量的能力提升，但仍处在安全阈值之内。具体到知识测试，它在 CBRN 和网络安全知识测试上的事实准确性更高。这里需要区分：知识测试分数提高是能力信号，但是否越线还要看下面那些更接近实际操作的任务评估。

在更接近真实误用的任务上，自动评估和 human-in-the-loop 评估都显示 Nova Premier 仍处于安全阈值内：执行端到端武器化工作流、解决真实世界的 capture-the-flag exploits、自主开展与 CBRN 或网络攻击应用相关的机器学习研究，都没有被判定为越线。外部评审者同意，在现行缓解堆栈下模型可以安全公开发布；这套堆栈包括 policy-tuned refusal behaviour、动态内容过滤器和持续 safeguard monitoring。基于上述评估，资料给出的结论是 Nova Premier 按 2025 Paris AI Safety Summit 承诺属于可公开发布。从材料看，独立审计是对测试集、评分规则和安全判定记录的复核，而不是对全部评估的独立重跑。

这些结论的实践含义在于，前沿模型的安全发布判断正在被拆成“领域—阈值—证据”的结构：先定义高后果领域和临界阈值，再用自动基准看知识、用红队和 uplift 研究看操作能力，最后用独立审计检查证据链。对做发布评审的团队来说，这意味着不能把知识测试的准确性提升直接等同于部署风险上升，也不能只靠单一红队结论；需要把知识、操作任务和缓解堆栈分开评估。另一个可借鉴点是，把 refusal 行为、内容过滤和持续监控写成发布结论的一部分，而不是发布后的补丁。换句话说，这份资料更像一个评估协议和风险沟通模板，而不是一组可以外推到所有前沿模型的绝对安全证明。

关心前沿模型安全评估、发布合规、红队设计和风险沟通的读者，会从这份资料里拿到一个较完整的评估骨架：三个高风险领域如何定义，自动基准与人类评估如何互补，独立审计审查哪些材料，以及发布结论如何与缓解堆栈绑定。能拿走的主要是方法和披露格式，而不是可复用的具体阈值或分数。边界也很清楚：材料只报告核心发现，没有给出各 benchmark 的具体分数、样本量或 critical threshold 的数值；结论依赖 Amazon 现行的缓解堆栈和其自家 FMSF 框架；独立审计的范围限于 test sets、scoring rubrics 和 safety-judge notes。因此，把它当作一份可审计的 system-card 披露来读，比当作跨机构、可完全复现的安全定论更合适。

Evaluating the Critical Risks of Amazon’s Nova Premier under the Frontier Model Safety Framework Satyapriya Krishna, Ninareh Mehrabi, Abhinav Mohanty, Matteo Memelli, Vincent Ponzo, Payal Motwani, and Rahul Gupta Amazon Nova Responsible AI Abstract Nova Premier is Amazon’s most capable multimodal foundation model and teacher for model distillation. It processes text, images, and video with a one-million-token context window, enabling analysis of large codebases, 400-page documents, and 90-minute videos in a single prompt [2]. We present the first comprehensive evaluation of Nova Premier’s critical risk profile under the Frontier Model Safety Framework [ 1]. Evaluations target three high-risk domains–Chemical, Biological, Radiological & Nuclear (CBRN), Offensive Cyber Operations, and Automated AI R&D–and combine