引言
设想你正用手机进行长途路线的导航规划，此时可能有众多AI模型正同步分析路况，预测交通拥堵；而在医院，AI辅助诊断癌症时，系统需在瞬间处理数百甚至上千张CT影像。这些看似普通的智能应用，其背后均仰赖着类似“超级大脑”的AI算力集群，它们全天候不间断地运行。
将 AI 算力集群比作一座庞大的工厂生产线，那么高可用性便意味着赋予这条生产线“永不停歇”的特性，相当于为 AI 算力集群增添了一份“保障”，确保了这一支撑智能时代的“数字引擎”不仅能抵御日常的“小挫折”，还能在遭遇意外故障时维持稳定运作。唯有保障算力资源始终处于可用状态并持续高效输出，AI 才能真正充当推动业务创新的稳固动力，避免成为随时可能陷入停滞的“半成品”。
高可用核心基础——面向超节点的故障感知、管理及容错
AI集群的问题诊断难度大，涉及系统庞大、软硬件技术复杂、调用路径冗长，需首先明确故障范围，接着在各个领域内进行故障定位，这一过程充满挑战；目前定位所需时间从数小时延长至数天，对技术水平要求极高，且难以准确锁定故障设备及其根本原因。华为团队致力于提高集群运维工具的快速问题定位能力，以高效解决现网问题，因而推出了全栈可观测技术。该技术通过构建大规模集群的故障感知体系，涵盖了集群运行状态、告警信息、网络链路监控、告警接入与配置管理以及网络流量可观测性等多个方面；此外，团队还创新性地提出了全栈故障模式库、跨域故障诊断、计算节点故障诊断、网络故障诊断等四大故障诊断技术。
在现有行业技术水平中，万卡规模的AI集群平均每日遭遇故障不止一次，这一现象不仅极大地削弱了训练效能，同时也造成了算力资源的巨大浪费。为此，华为的研究团队构建了AI集群全系统的可靠性分析模型，从而能够对可靠性指标进行预测性评估与分配细化。在可分析性、可强化性、可验证性、可诊断性等多个维度上，不断强化可靠性系统工程的建设，攻克核心可靠性技术难题，确保CloudMatrix超节点万卡集群的硬件可靠性达到MTBF超过24小时的高标准。
为了充分利用超平面网络的优势，超节点必须扩大其规模。然而，目前尚无运用光链路技术构建超节点的成功先例。鉴于此，华为团队提出了一套针对超节点光链路的软件容错策略。通过构建多层防护体系，运用超时代答、绿色通道等先进技术，确保了无超节点级故障的发生。同时，采用链路级重传、光模块动态调整Lane、HCCL算子重执行、借轨通信、双层路由收敛以及Step级重调度等特性，大幅提升了光模块闪断故障的容忍度，使其达到99%以上。在增加超过十倍的光模块之后，我们通过实施软件的可靠性策略，以及运用光链路压力测试技术等多种手段，成功将光模块的闪断率降低到了与电链路相当的水平，从而确保了超平面的稳定运行。同时，通过建立Step级的高效重调度能力，使得高频的HBM多比特ECC故障恢复时间大幅缩短至一分钟，并且有效降低了因故障导致的用户算力损失，降幅达到了5%。
高可用助力业务——万卡集群上千亿模型的线性度和训推快恢
线性度指标旨在评估训练任务速度或处理能力的提升幅度（即完成时间的减少比例）与算力卡数量增加比例之间的比值。华为团队推出了拓扑感知协同编排技术TACO、网络级网存算融合技术NSF、拓扑感知层次化集合通信技术NB以及无侵入通信跨层测量与诊断技术AICT等四项核心技术，以此实现了Pangu训练线性度的显著提升。总体方案如下图所示：
实验和理论分析的数据表明，在训练Pangu Ultra 135B这一稠密模型的过程中，采用4K卡Atlas 800T A2集群，其线性度达到了96%，这一指标相较于256卡的基线模型有了显著提升。在训练Pangu Ultra MoE 718B稀疏模型的过程中，采用8K卡Atlas 800T A2集群与512卡基线相比，其线性度达到了95.05%；而使用4K卡CloudMatrix集群与256卡基线相比，线性度更是高达96.48%。
在大型AI集群运行期间，训练任务常因各种硬件与软件问题而被迫中断。为了应对这一问题，业界普遍采取在训练周期内定期保存CKPT文件的方法来恢复训练。华为依托其软硬件全栈式技术方案的创新，构建了一套分级分层的训练任务故障快速恢复系统，各层级的故障恢复能力具体如图所示。
利用数据集索引加速、模型编译缓存优化、集合通信链路加速以及存储CKPT的加速等核心技术的改进，使得万卡集群的训练恢复时间缩短至10分钟以内；此外，进程级重调度技术的应用，能将训练恢复时间进一步缩短至3分钟以内；而进程级在线恢复技术则可将训练恢复时间压缩至30秒以内。同时，这些技术还能将训练回滚时间减少至一个训练迭代所需的时间，且这种提升与集群规模和模型规模基本无关，从而显著提高了AI集群的可用性以及大模型训练的效率。
随着千亿MOE模型架构的不断发展，实例部署的组网架构已从传统的单机八卡模式升级为大EP组网架构。然而，在大EP组网架构中，我们主要遇到了因部署规模扩大而引发的故障概率增多、故障影响范围扩大的可靠性挑战。任何硬件故障都可能使整个Decode实例失效，从而对推理业务造成损害，甚至引发业务中断。
华为团队针对大型EP推理架构的可靠性挑战，提出了一个包含三级容错机制的解决方案，涵盖实例间的切换、实例内的重启恢复以及实例内的无损恢复。该方案通过芯片驱动层、框架层和平台层的协同工作，构建了一个端到端的可靠性体系。根据不同的故障情境，采取相应的容错恢复措施，旨在将用户损失降至最低。
在实例内部，通过应用重启恢复技术，能够实现带内快速故障感知与重调度，以及参数权重调整和镜像预热等手段，从而显著缩短实例重启恢复所需的时间，使其控制在5分钟以内。TOKEN级重试技术依托于DeepSeekV3 1P2D多机CloudMatrix 384平台，在处理HBM KV Cache出现故障的情况下，其故障恢复时间（即从故障发生至Token再次输出的整个过程），可控制在10秒以内。与业界普遍的10分钟恢复时间相比，TLR技术能够将故障带来的影响降低至原来的1/60。
总结与展望
华为团队为提升AI算力集群的高可靠性，推出了包括故障感知与诊断、故障管理以及集群光链路容错在内的三大基础保障措施，同时，还提出了集群线性度优化、训练快速恢复以及推理快速恢复等三大助力业务的高可用性支撑方案。这六大创新举措带来了显著的经济效益，具体表现在万卡集群的高可用性达到了98%，集群训练和推理速度最快可达每秒恢复，集群的线性度超过95%，以及拥有千种故障模式库和分钟级故障诊断能力等方面。
面向未来，华为团队致力于在多个领域展开深入探索。首先，他们将在场景的多元化和复合化方面推动新应用的进展；其次，他们计划在异构融合和资源池化方面实现新架构的突破；最后，他们还将探索极致的可观可测性和智能自治免维的新工程范式。通过这些努力，华为团队有望带来更多创新成果。
