DeepSeek-V2 强大经济高效的混合专家语言模型

DeepSeek-V2 要回答的是一个在 2024 年已经相当尖锐的问题：语言模型的能力随参数增长而提升，但代价是训练算力膨胀和推理吞吐下降，这两端一起把模型的实际可用性压住了。这份由 DeepSeek-AI 发布的技术报告给出的方案是混合专家（MoE）路线，并且不只是给出一个模型，而是把「经济地训练」和「高效地推理」当作两个并列的工程目标来设计架构。它值得现在回看，是因为报告给出的不是单点指标，而是一整套关于注意力模块和前馈网络如何同时省算力、省显存的取舍，其中 Multi-head Latent Attention（MLA）与 DeepSeekMoE 后来被反复讨论和借鉴。

报告的覆盖面从架构讲到训练与对齐：第 2 章拆解 MLA 与 DeepSeekMoE，MLA 部分依次交代标准多头注意力的预备知识、低秩的键值联合压缩、解耦的旋转位置编码，以及 KV cache 的对比；DeepSeekMoE 部分则包括基础架构、设备受限路由、负载均衡辅助损失和 token 丢弃策略。第 3 章是预训练，含数据构造、超参数、基础设施与长上下文扩展，以及评测基准与结果；第 4 章讲监督微调与强化学习两阶段对齐及其评测。支撑这些结论的数据来源，是报告自述的 8.1T token 高质量多源语料预训练，附录还给出了一个 16B 的 DeepSeek-V2-Lite，以及 MLA 与 MHA、GQA、MQA 的消融对比。

核心数字集中在摘要与图 1。模型总参数 236B，每个 token 激活其中 21B，支持 128K token 的上下文长度。与 DeepSeek 67B 相比，报告称 DeepSeek-V2 性能显著更强，同时节省 42.5% 的训练成本、把 KV cache 减少 93.3%、将最大生成吞吐提升到 5.76 倍。评测层面，报告的说法是：即便只有 21B 激活参数，DeepSeek-V2 及其 chat 版本在开源模型中仍属顶级水平；图 1(a) 用 MMLU 准确率对激活参数作图，把 DeepSeek-V2 与 LLaMA 1/2/3 各规模、Mixtral 8x7B 与 8x22B、Command R 系列、Qwen1.5 32B/72B、DBRX、Grok-1 等放在同一坐标系里比较。

两个架构组件各自解决一端的问题，这是报告最值得注意的分工。MLA 的做法是把 Key-Value 缓存显著压缩进一个潜向量，用低秩的键值联合压缩来保证推理效率；换句话说，93.3% 的 KV cache 降幅不是靠牺牲注意力表达能力的近似换来的，报告把它表述为在压缩缓存的同时不牺牲性能，并通过解耦旋转位置编码来处理位置信息。DeepSeekMoE 则针对训练成本：靠稀疏计算，只激活部分参数，从而以经济的代价训练出强模型。训练成本降 42.5%、吞吐升到 5.76 倍这两个数字，对应的正是这两个组件分别作用的位置——前者在训练侧，后者在推理侧。

把这些放在一起看，意味着 MoE 的「总参数大、激活参数小」不只是一个参数量上的说法，而是可以折算成具体的训练账单和推理吞吐。21B 激活参数换来图 1(a) 中那个位置的 MMLU 表现，说明在同等激活规模下，架构选择本身就能拉开差距；而 128K 上下文与 KV cache 压缩同时成立，说明长上下文带来的显存压力可以在注意力层面被结构性缓解，而不是只能靠堆显存。对实践者来说，这意味着评估一个 MoE 模型时，把激活参数、KV cache 占用和吞吐放在一起看，比只看总参数更有意义；报告提供的这组对照，正好给出了一个可比较的基准点。

读这份资料能拿走的，是 MLA 与 DeepSeekMoE 两个组件的设计动机、关键机制名称（低秩键值联合压缩、解耦旋转位置编码、设备受限路由、负载均衡辅助损失、token 丢弃）以及一组可核对的效率数字。它更适合已经了解 Transformer 基本结构、想弄清 MoE 模型如何在训练与推理两端同时省资源的读者。边界也需要说明：报告中的对比基准主要是 DeepSeek 67B，效率数字是相对它而言的；性能主张以 MMLU 等基准和开源模型横向比较为依据，材料没有给出与闭源模型的正面对照，也没有展开 8.1T 语料的具体构成。引用这些数字时，把参照对象一并带上，才不至于误读。

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model DeepSeek-AI [email protected] Abstract We present DeepSeek-V2, a strong Mixture-of-Experts (MoE) language model characterized by economical training and efficient inference. It comprises 236B total parameters, of which 21B are activated for each token, and supports a context length of 128K tokens. DeepSeek-V2 adopts innovative architectures including Multi-head Latent Attention (MLA) and DeepSeekMoE. MLA guarantees efficient inference through significantly compressing the Key-Value (KV) cache into a latent vector, while DeepSeekMoE enables training strong models at an economical cost through sparse computation. Compared with DeepSeek 67B, DeepSeek-V2 achieves significantly stronger performance, and meanwhile saves 42.5% of training costs, reduces the