Pangu Ultra MoE是一款在昇腾NPU平台上进行全流程训练的准万亿级MoE模型。近期，华为的盘古团队公布了该模型的架构设计与训练技术报告，对Pangu Ultra MoE的详细信息进行了更深入的揭示。
开发具有超大规模和极高稀疏度的MoE模型是一项极具挑战性的任务，其在训练过程中往往难以确保稳定性。为了解决这一难题，盘古团队在模型结构和训练策略上进行了创新性的研发，最终在昇腾NPU上成功完成了准万亿级MoE模型的全流程训练。
盘古团队创新性地提出了Depth-Scaled Sandwich-Norm（DSSN）的稳定架构以及TinyInit的小初始化技术，该团队在昇腾NPU平台上成功实现了对10+ T tokens数据的长期稳定训练。除此之外，他们还引入了EP loss负载优化策略，这一创新设计不仅确保了不同专家间的负载分配相对均衡，还增强了专家在各自领域的专业化能力。而且，Pangu Ultra MoE采用了行业领先的MLA和MTP架构，在训练过程中实施了无丢弃的训练技巧。
破解准万亿MoE模型性能瓶颈，打造芯片协同的先进架构
最近，盘古团队在MoE模型训练的领域中取得了新的进展，隆重发布了参数量达到718亿的准万亿级全新模型——Pangu Ultra MoE。这一模型致力于在超大规模MoE架构的模型效果和效率之间寻求最佳平衡点。
在追求这一目标的过程中，研究团队在打造Pangu Ultra MoE架构时，细致考量了昇腾硬件的特性。依托昇腾NPU平台，他们综合考量了计算、通信及内存等多个维度的指标，成功搭建了一个大规模系统模拟器。此外，他们系统地研究了近一万个MoE结构组合，并最终筛选出了一套在训练和推理效率方面均达到最佳状态的架构方案。
Pangu Ultra MoE具备超大规模和高稀疏比的特点，融合了MLA与MTP等前沿架构。此外，它还独有DSSN稳定性架构以及EP loss负载优化技术。以下列举了Pangu Ultra MoE的核心架构与训练特性：
以下是Pangu Ultra MoE昇腾亲和设计考虑：
Pangu Ultra MoE的预训练过程是在6k至10k张NPU上完成的，整个训练过程均采用了无丢弃的训练模式。在这一阶段，对长序列进行了扩展，使得模型最终拥有了128k的长序列处理能力。在后续的训练环节中，Pangu Ultra MoE去除了负载均衡的辅助损失，同时保留了专家之间的独特技能，这样做有效提高了模型对目标数据的吸收速度。经过测试，该模型在多个知名的公开评测集中表现出了稳定的性能，具体数据见表1，整体表现显示出一定的领先优势。
表1展示了Pangu Ultra MoE与当前流行模型之间的性能对比。
针对超大MoE模型稳定训练的新方法：借助DSSN架构和TinyInit技术，成功降低了梯度突刺率51%，确保了10T以上token长文本数据的稳定训练。
参数规模与数据量的急剧膨胀，给大模型训练带来了史无前例的稳定性难题。梯度范数的频繁剧烈波动，已成为制约收敛速度和模型性能提升的关键障碍。如何在确保训练深度和广度拓展的同时，保持梯度信号的稳定传输，已成为构建高可靠性大模型架构的核心问题。在Pangu Ultra稠密模型的训练过程中，Depth-Scaled Sandwich-Norm技术与TinyInit策略对于确保训练的稳定性至关重要，因此Pangu Ultra MoE模型继续沿用这一方案以维持训练的稳定性。实验结果显示，该设计方案在Pangu Ultra MoE的训练过程中，不仅提升了系统的稳定性，而且加速了收敛的速度。
DSSN，即深度缩放三明治规范，它针对传统Pre-LN结构中因子层输出规模波动所引发的训练不稳定问题，特此提出了一种解决方案。在每个子层输出环节，我们增设了额外的归一化层，同时采用了深度缩放的初始化策略，以此确保网络各层的输出尺度保持稳定，进而有效抑制梯度的异常波动，减少范数的剧烈变化。
TinyInit：在Transformer模型中，普遍采用的是较小的初始化参数，TinyInit则提出了一种新的方法，该方法采用的标准差值作为初始化尺度。
的初始化方案，能够同时兼顾模型深度与宽度，其中
表示隐藏维度，
模型层数被确定。此外，词嵌入层以0.5的标准差进行初始化。实验结果显示，这种初始化方法能够有效提高模型的表现力和训练过程的稳定性。
采用Depth-Scaled Sandwich-Norm与TinyInit相结合的方法，成功降低了51%的突刺现象（详见图1），有效缓解了梯度范数在训练过程中频繁出现的突刺问题，显著降低了大模型训练时的不稳定性，并促进了模型的快速收敛，从而提高了模型的整体性能。DSSN+TinyInit技术被纳入Pangu Ultra MoE模型，成功实现了对超过10万亿token数据的高稳定性训练。
图1展示了训练过程中梯度范数的对比情况，其中黑色实线标志着突刺的分界点。通过采用DSSN+TinyInit模型，梯度突刺的比率由1.54%显著降低至0.76%，实现了51%的相对降幅。
依托于EP group的负载均衡机制，既可提升计算效率，又能够增强路由的表达示能。
在训练混合专家模型的过程中，常常会遇到专家负载分布不均的问题。这种不均衡现象表现为不同专家所承担的token数量有着明显的差异。若实施专家并行策略（EP），这种负载不均衡将降低计算效率，承担过多token的专家可能成为计算过程中的瓶颈，而其他专家则可能处于低效利用的状态。专家若承担的任务量过小，可能面临训练不足的风险，这会对模型的整体性能产生不利影响。鉴于此，如何确保token在各个专家之间实现更均匀的分配，对于提升混合专家模型的训练效率和性能至关重要。
为确保负载均衡，通常采取提升辅助的负载均衡损失（auxiliary loss）的手段，以促使tokens在专家模型间实现均匀分布。但若该损失对tokens分配的均衡性施加过度的约束，则可能对模型的路由表达能力造成不利影响。以往，负载均衡的损失函数多侧重于确保单个序列或单个micro batch中的token分配达到均衡，然而，这些序列通常源自同一领域，过度的均衡处理可能会对专家的专长领域产生不利影响。
盘古团队的研究揭示，在运用专家并行策略进行模型训练的过程中，能够开发出一种对模型路由限制较低的EP-Group负载均衡loss，这一设计既不会对计算均衡性造成影响。在实施专家并行的情形下，专家被分配至不同的显卡上执行并行运算。在这些显卡上，每个专家都会收集来自EP组内所有显卡的micro batch路由所分配给自身的token。因此，可以构建一种针对负载均衡的损失函数，以规范EP组内所有micro batch在路由至组内专家后达到的均衡状态。这等同于将EP组内所有的小批量合并，共同计算负载均衡的损失值，因此，在训练过程中，即便单个小批量存在不均衡现象，只要多个小批量在经过专家分配后达到均衡状态即可。
为了检验EP-Group均衡损失函数的实际效果，盘古团队选取了一个参数规模达20亿的MoE模型，并在100亿数据量的基础上进行了对比实验。实验结果显示，如表2所列，EP-Group均衡损失函数在多数任务中相较于传统的Micro-batch方法展现出明显的优越性，其平均性能提升了1.5个百分点。
表2展示了Micro-batch与EP-Group在辅助损失方面的性能对比。
盘古团队对Pangu Ultra MoE的专家特化进行了深入分析，结果显示，如图2所示，不同领域的数据在专家选择上呈现出显著的不同，这揭示了EP-Group均衡损失函数为模型提供了丰富的路由选择可能性，进而推动了专家特化的进程。
图2展示了Pangu Ultra MoE的专家特化功能。在此，ar、de、fr、ru四个字母分别对应阿拉伯语、德语、法语和俄语。
探索多Token投机的新途径：采用MTP头部延迟拓展策略，有效提升了投机接收的长度预期，增幅高达38%。
投机推理作为提高大型模型生成速度的有效途径，其核心理念在于，在主模型生成token之前，由一个轻量级的辅助模块提前预测出多个可能的token，然后通过快速的验证机制来判定是否采纳这些预测，进而实现推理过程的并行执行和速度提升。在目前的大规模模型推理领域，Multi-token Prediction（MTP）技术已经变成了一种关键手段，它对于实现多token级别的投机性生成起到了至关重要的作用。
盘古团队在实践操作中观察到，实现获取多token的投机推理功能，并非必须从训练初期就设置多个MTP头，实际上，在训练后期对单个MTP头进行扩展也能实现相似的效果。为了检验这一策略的实际效果，该团队选取了20B MoE作为核心模型，并基于此训练了185B规模的数据集。以实现两个token的投机推理为训练目标，我们分别对从头开始构建单个/两个MTP头的模型进行了训练（这包括了对单头模型从零开始训练和双头模型从零开始训练的两种方式），同时，在单头MTP模型训练达到收敛状态后，我们还通过复制现有头的参数，进一步增训出了第二个MTP头。对于模型规模的扩大，我们对比了两种不同的训练方法：一是全部参数的持续训练，二是冻结主干网络和头部网络的持续训练，分别称为双头全参训练和双头冻结训练。在下游任务中，我们采用LAMBADA续写作为评估标准。
如图3所示，双头扩增模型的接纳长度及延迟与双头从头开始训练的结果相近。具体来看，双头的接纳长度约为2.30，而单头的接纳长度则约为1.67，这表明双头相较于单头有大约38%的提升。在模型性能方面，双头扩增模型进行全面参数训练的效果与从头开始训练相当。另外，由于主干和一头被冻结，双头扩增模型在冻结训练阶段，其精度在扩增区域基本维持稳定。这揭示了在MTP的后期扩展中，能够实现多头从头训练的投机推理功能，且在模型训练初期可维持较小的MTP配置，而在后期再行扩展，从而在计算成本与推理能力之间取得平衡。
图3展示了20B MoE的MTP在LAMBADA续写任务中的投机推理成效。具体来看，其接受长度较单头模型提高了大约38%，并且双头模型能够通过后期扩增，几乎无损地转换为单头模型。
迭代难例挖掘与多能力协同：后训练强化学习持续提升的关键
在模型后续的训练阶段，我们团队借鉴了业界的标准GRPO算法，以增强模型的推理效率。然而，在超大参数规模的应用中，直接使用GRPO会引发两个主要问题：首先，算法的训练过程必须依赖多回复通过率介于0到1之间的数据，而随着模型性能的增强，对于相同提示的推理结果准确率持续上升，这导致在训练阶段被浪费的数据量逐渐增多，进而影响了推理效率；其次，模型训练还需综合考虑多种能力的协同进步，涉及数学、编程以及通用能力等多个方面，而不同能力项的奖励函数设计若不当，可能会导致模型能力增长的不均衡，从而产生类似“跷跷板”效应的问题。
图4: Pangu Ultra MoE 的强化学习训练系统
针对前述两项实际挑战，盘古团队研发了Pangu Ultra MoE的强化学习训练机制，如图4所示，这一机制显著增强了大MoE模型的训练稳定性，并提升了其推理效率。系统设计的核心包含两个主要环节：首先，通过迭代挖掘难度较高的案例，在模型更新阶段，从原始数据集中进行多次推理，并挑选出通过率位于(0,1)区间的回复构建RL训练数据集，以此确保推理效率达到最优；其次，引入一个多能力项奖励系统，数学和编程方面采用规则为基础的奖励机制，而通用奖励模型则运用LLM作为评判标准对生成回复的质量进行评估，并对最终奖励值进行归一化处理，确保模型在多个能力方面的整体表现得到保障。文中提及的所有插图及数据，均来源于该篇文章：《盘古 Pro MoE：昇腾原生的分组混合专家模型》。
Pangu Ultra MoE：如何在Ascend NPUs上训练你的大型MoE模型Pangu Ultra：在Ascend NPUs上挑战密集型大型语言模型的极限
