腾讯混元-Large开源MoE模型激活参数520亿

在开源大模型多数仍基于dense架构、少数MoE开源模型参数规模相对较小的背景下，这份资料要回答的是：腾讯混元团队如何用MoE做出一个总参数3890亿、激活参数520亿、支持256K tokens的模型，并把代码与checkpoints公开。它值得现在看，不是因为又一个模型发布，而是报告把预训练数据、模型结构改进、MoE缩放定律和后训练流程放在同一份技术文档里，给出了可核对的规模数字与训练实践。对关心开源MoE能否在能力与部署效率之间取得平衡的读者，这提供了一份来自腾讯的完整说明。

覆盖范围从预训练到后训练：预训练部分讲数据与tokenizer、模型结构、预训练recipe；后训练部分讲SFT和RLHF；实验部分用中英文多类基准做评估，并与类似参数规模的最佳dense和MoE模型比较。数据来源上，预训练共7T tokens，其中近1.5T是高质量、多样化的合成数据；评估任务包括语言理解与生成、逻辑推理、数学问题求解、编码、长上下文和聚合任务。方法上采用经典Transformer架构加MoE，先预训练获得基础能力，再后训练做指令跟随、能力增强和人类偏好对齐。报告还专门讨论MoE的scaling laws和学习率调度，作为模型设计的指导。

关键数字首先集中在规模与数据：Hunyuan-Large总参数3890亿、激活参数520亿，支持最多256K tokens，报告称其为目前最大的开源Transformer-based MoE模型。预训练用了7T tokens，其中合成数据近1.5T，报告强调这个合成数据规模比以往文献大几个数量级。结构上，报告列出KV cache压缩、混合专家路由策略和专家特定学习率策略；正文把路由策略称为recycle routing，并说明不同共享/特化专家采用不同学习率，目的是让每个token在训练中被有效利用。KV cache开销降低被描述为有利于更无缝的部署和扩展。

评测结论是：在语言理解与生成、逻辑推理、数学、编码、长上下文和聚合任务上，Hunyuan-Large超过LLama3.1-70B，并与显著更大的LLama3.1-405B表现可比；报告还称它在现有开源类似规模LLM中取得整体最佳表现。实验覆盖中英文，比较对象包括类似参数规模的最佳dense和MoE模型，任务类型包括常识理解、问答、数学推理、编码和聚合任务。除评测外，报告对MoE缩放定律的分析给出模型大小、训练数据与性能之间关系的观察，并讨论学习率调度，声称这些洞见可用于未来更大MoE模型的开发与优化。这些是报告作者的结论，具体分数和消融细节在资料当前可见部分没有展开。

这些结论意味着，Hunyuan-Large把“总参数很大、每次激活较少”的MoE路线摆到了开源社区面前：3890亿总参数对应520亿激活参数，报告用它与LLama3.1-70B和405B的比较来论证能力位置。换句话说，模型容量与推理时激活计算量被拆开看待，这对需要控制部署开销的团队有直接参考价值。KV cache压缩和专家特定学习率不是孤立的工程技巧，报告把它们与部署扩展、训练中token利用效率联系起来，说明大规模MoE的落地不只取决于架构，还取决于缓存和训练策略。大规模合成数据被放在预训练配方的核心位置，也提示数据构成可能和模型结构一样影响最终表现。这些判断是基于报告叙述的解读，不是独立复现结论。

关心MoE架构、大规模预训练数据策略、长上下文部署和开源模型复现的读者，可以从这份资料里拿走一组明确的规模数字、数据构成、结构改进清单和评测结论，以及公开的代码与checkpoints入口。它更适合用来建立对Hunyuan-Large技术路线的整体认识，而不是替代对实验章节的细读。需要留意边界：当前可见内容主要是摘要和引言，正文细节只展开到预训练开头，后训练SFT/RLHF、完整实验配置和深入分析在后续章节；因此具体基准分数、训练超参和消融结果不能从这份摘录中得出。报告称“目前最大的开源Transformer-based MoE模型”等判断也需结合后续独立评测理解。

Hunyuan-Large: An Open-Source MoE Model with 52 Billion Activated Parameters by Tencent Tencent Hunyuan Team Abstract In this paper, we introduce Hunyuan-Large, which is currently the largest open- source Transformer-based mixture of experts model, with a total of 389 billion parameters and 52 billion activation parameters, capable of handling up to 256K to- kens. We conduct a thorough evaluation of Hunyuan-Large’s superior performance across various benchmarks including language understanding and generation, logi- cal reasoning, mathematical problem-solving, coding, long-context, and aggregated tasks, where it outperforms LLama3.1-70B and exhibits comparable performance when compared to the significantly larger LLama3.1-405B model. Key practice of Hunyuan-Large include large-scale synthetic data that is orders larger than in