盘古 Ultra 在昇腾 NPU 上突破稠密大语言模型极限

在大模型参数规模持续上升、MoE稀疏结构成为推高能力上限的常见选择时，稠密Transformer在千亿参数以上还有没有空间？在Ascend NPU上训练这样的稠密模型，能否同时做到稳定和高效？Pangu Ultra的技术报告用135B参数、94层的稠密模型给出一个端到端回答。值得看的地方在于，它没有停留在架构之争，而是把训练稳定性、超大规模集群系统和后训练流程放在同一个案例里讲，并明确说模型与系统将面向商业客户。

这份资料覆盖模型结构、预训练数据配方、后训练、系统优化和基准评估。预训练使用13.2万亿token，分三个阶段、采用不同数据配方，上下文窗口从4K逐步扩展到128K。后训练先用SFT做冷启动，再通过强化学习继续优化推理能力。系统侧在8192个Ascend NPU上使用数据并行、张量并行、序列并行和流水线并行四类并行，并用虚拟流水线调度做细粒度调优。评估则在多个不同基准上进行。

报告把深层模型的loss spikes归因于梯度波动，认为这类尖峰会把模型踢出理想参数景观，并对训练造成不可修复的损害。为此提出depth-scaled sandwich normalization和tiny initialization：前者把pre-layer norm换成sandwich norm，并按模型深度缩放post-layer normalization的初始化值；后者按模型宽度和深度缩放权重初始化标准差。作者称两项技术让梯度更稳定，消除了Pangu Ultra训练过程中的loss spikes，并提升了整体模型性能。这意味着稳定性不是靠试错调参，而是被当作架构和初始化层面的设计问题来处理。

为训练135B、94层的稠密模型，报告使用8192个Ascend NPU，并做了一系列系统优化。一个关键问题是大规模下的流水线气泡：随着训练集群扩大，每个数据并行分到的mini-batch变小，气泡比例上升；报告用虚拟流水线调度和细粒度调优把流水线气泡比例从30.45%降到6.8%。另一个问题是长序列训练效率，涉及attention mask生成和self-attention计算，材料在此处只展开到挑战层面。评估方面，报告称Pangu Ultra在多个基准上相对Llama 405B、Mistral Large 2等稠密模型显著推进了能力边界，甚至与参数更多的稀疏结构DeepSeek-R1达到有竞争力的结果。

这些结论意味着，至少在报告覆盖的基准上，稠密模型在100B以上仍可与稀疏MoE模型竞争；而稠密结构在推理时参数使用确定，系统性能优化更直接。对实践的影响有两个层面：一是训练超百亿稠密模型时，深度带来的稳定性问题需要前置到归一化和初始化设计；二是用数千个AI处理器训练时，并行策略和流水线调度会直接决定效率。报告还明确说Ascend NPU能够高效、有效地训练100B以上稠密模型，模型和系统将面向商业客户，这为使用Ascend集群的团队提供了一个可参考的端到端案例。

关注大模型训练系统、稠密架构稳定性、Ascend集群工程实践的研发读者，可以从这份资料里拿走一套问题清单：深层模型如何控制梯度波动，三阶段数据配方如何衔接知识与推理，8192个Ascend NPU规模下如何压流水线气泡。读完能理解Pangu Ultra的基本规模、训练流程和系统优化方向，但它不是完整复现指南：给定材料没有列出各基准的具体分数，长序列优化的细节也在挑战处截断，商业客户可用的表述也意味着模型和系统并非直接开放获取。因此更适合把它当作方法与系统设计的概览，再结合完整报告核对实验设置和评估结果。

arXiv:2504.07866v2 [cs.CL] 11 Apr 2025 Huawei Proprietary - Restricted Distribution2 Huawei Cloud Pangu Models Icon Huawei Cloud Pangu Industry Models Icon TECHNICAL REPORT PANGU ULTRA: P USHING THE LIMITS OF DENSE LARGE LANGUAGE MODELS ON ASCEND NPU S Pangu Team, Huawei [email protected] ABSTRACT We present Pangu Ultra, a Large Language Model (LLM) with 135 billion parameters and dense Transformer modules trained on Ascend Neural Processing Units (NPUs). Although the field of LLM has been witnessing unprecedented advances in pushing the scale and capability of LLM in recent years, training such a large-scale model still involves significant optimization and system challenges. To stabilize the training process, we propose depth- scaled sandwich normalization, which effectively eliminates loss spikes during the training process of deep models.