MiniMax-01：用闪电注意力扩展基础模型

MiniMax 这份技术报告要回答的问题很直接：在上下文窗口成为实际瓶颈的当下，能否用一条与主流 softmax 注意力不同的技术路线，把模型做到与顶级商业模型可比，同时把可处理的上下文长度提高一个数量级。报告给出的判断是，过去两年上下文扩展主要靠更强的 GPU 和更好的 I/O 感知 softmax 实现，但 transformer 固有的二次计算复杂度使进一步延长窗口越来越难，算力需求的增长快过硬件能力的增长。这正是闪电注意力（lightning attention）值得被认真对待的背景：它不是只在理论上成立的近似，而是要在长上下文下真正跑得高效。

报告覆盖的是 MiniMax-01 系列，包括语言模型 MiniMax-Text-01 和视觉语言模型 MiniMax-VL-01。架构上没有全线替换注意力，而是采用混合结构：每七个带闪电注意力的 transnormer 块之后，接一个使用 softmax 注意力的 transformer 块。模型规模的选择也不是先定指标再堆参数，而是受一个工程约束反推——要在单机上用最多 8 张 GPU、640GB 内存、8 位量化处理超过 100 万个 token。在此基础上再引入 MoE 以最大化参数与算力容量，最终定为 4560 亿总参数、每 token 激活 459 亿、32 个专家。视觉语言部分则通过继续训练完成，使用了 5120 亿视觉语言 token。

关键数字集中在三处。规模与效率上，4560 亿总参数配合每 token 459 亿激活，意味着模型容量和单次推理成本被拆开处理；训练时上下文窗口可达 100 万 token，推理时可外推到 400 万 token，报告称这是「可负担的成本」下实现的。能力对比上，报告称在标准与自建基准上，模型表现与 GPT-4o、Claude-3.5-Sonnet 等最先进模型相当，而上下文窗口长 20 至 32 倍。长上下文评测使用 RULER 基准，从 8k 到 1M 逐档给出平均准确率曲线，与 GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro、Gemini-2.0-Flash 并列比较。

要让这套混合架构跑起来，工程改造是报告的另一半内容。现有分布式训练与推理框架主要针对 softmax 注意力优化，而闪电注意力、softmax 注意力与 MoE 三者的组合迫使训练和推理框架都需要重新设计。具体做法包括：MoE 的全对全通信用专家并行（EP）与专家张量并行（ETP）实现，以压低 GPU 间通信开销；为支持上下文近乎无限扩展，设计了 varlen ring attention 以减少冗余计算，并改进了 Linear Attention Sequence Parallelism（LASP）以充分利用设备的并行能力；此外还实现了面向 MoE 与闪电注意力的计算—通信重叠技术。换句话说，报告的贡献不只是模型本身，还包括一套能支撑数千亿参数、数百万 token 上下文的系统方案。

这些结论的意义在于，长上下文不必只沿着「等更强硬件 + 更快的 softmax 实现」这一条路走。混合注意力加 MoE 的组合，配合为它重写的并行与通信策略，提供了一种在既有硬件条件下把窗口拉长一个数量级的可行解；而把模型规格反推到「单机 8 卡可处理百万 token」这样的约束上，也说明规模决策可以是从部署现实出发的工程选择，而非单纯的参数竞赛。对实际应用而言，这意味着整本书、完整代码项目或大量 few-shot 示例作为上下文，在成本上开始变得可讨论——当然，这仍是报告作者的主张，落地效果取决于真实负载。

适合读这份材料的是关注长上下文架构、线性注意力落地、以及大规模 MoE 训练推理系统的人。读完能拿走的是一套具体的设计取舍：七比一的混合层比例、32 专家与 459 亿激活的规模配置、EP/ETP 的 MoE 通信方案、varlen ring attention 与改进 LASP 的长序列并行思路，以及 1M 训练、4M 推理外推和 20–32 倍窗口差距这组对照数字。需要留意的边界是：文中性能结论主要建立在作者自建的评测与图表之上，「与顶级模型相当」是作者的表述而非独立复现；视觉语言部分的细节在给定材料中只到 5120 亿 token 这一层，具体训练配方与数据构成没有展开。

MiniMax-01: Scaling Foundation Models with Lightning Attention MiniMax1 We introduce MiniMax-01 series, including MiniMax-Text-01 and MiniMax-VL-01, which are comparable to top-tier models while offering superior capabilities in processing longer contexts. The core lies in lightning attention and its efficient scaling. To maximize computational capacity, we integrate it with Mixture of Experts (MoE), creating a model with 32 experts and 456 billion total parameters, of which 45.9 billion are activated for each token. We develop an optimized parallel strategy and highly efficient computation-communication overlap techniques for MoE and lightning attention. This approach enables us to conduct efficient training and inference on models with hundreds of billions of parameters across contexts spanning millions of tokens. The context window of MiniMax-Text-01 can reach up to 1