简介：Meta AI公布了其训练Llama 3的集群细节，储备60万块H100 GPU，展示了其在通用人工智能(AGI)领域的雄心与实力。本文将深入解析Meta的算力布局、集群架构及面临的挑战。
在人工智能领域，Meta（前身为Facebook）一直走在技术前沿。最近，Meta AI公布了其训练Llama 3的集群细节，并宣布到2024年底将拥有35万个英伟达H100 GPU，未来算力储备更是高达60万个H100 GPU。这一壮举不仅彰显了Meta在AI基础设施上的投入，也为其迈向通用人工智能（AGI）的征途奠定了坚实基础。
算力资源储备
Meta的算力布局可谓雄心勃勃。根据Meta AI发布的技术博客，到2024年底，Meta将拥有35万个英伟达H100 GPU，这一数字在未来还将增长至60万个。这一庞大的算力储备，使得Meta能够支持更大规模、更复杂的人工智能模型训练。
集群架构
Meta为训练Llama 3构建了由24576个H100 GPU组成的集群，这一集群在高性能网络结构和存储决策上进行了深度优化。集群采用了RoCEv2和InfiniBand两种网络结构解决方案，均能实现400 Gbps的端点互联。这种高带宽、低延迟的网络结构，为大规模AI模型的训练提供了强有力的支持。
网络架构
Meta的集群采用了基于Arista 7800的远程直接内存访问（RDMA）融合以太网（RoCE）网络结构，并配备了Wedge400和Minipack2 OCP机架式交换机。另一个集群则采用了英伟达Quantum2 InfiniBand Fabric。这两种网络结构的选择，使得Meta能够评估不同互连方案在大规模训练中的性能和可扩展性。
硬件平台
集群使用了Meta内部设计的开放式GPU硬件平台Grand Teton。该平台将电源、控制、计算和结构接口集成到一个机箱中，提供了卓越的整体性能、信号完整性和散热性能。Grand Teton的简化设计和快速可扩展性，使其能够轻松部署到数据中心机群中，并满足未来更大规模集群的需求。
存储方案
Meta的存储部署通过自创的用户空间Linux文件系统（FUSE）应用程序接口（API）来满足人工智能集群的数据和检查点需求。该API由Meta针对闪存媒体优化的Tectonic分布式存储解决方案版本提供支持。此外，Meta还与Hammerspace合作，部署了并行网络文件系统（NFS），以满足开发人员对集群性能的需求。
硬件故障问题
在训练Llama 3的过程中，Meta遇到了硬件故障的挑战。据报告显示，其16384个H100 GPU的集群在54天内出现了419次意外故障，平均每三小时就有一次。为应对这一问题，Meta团队开发了多种优化策略，如缩短任务启动和检查点时间、利用PyTorch的NCCL飞行记录器诊断性能问题等。
环境因素影响
Meta还注意到了环境因素对GPU性能的影响，如午间温度波动和巨量GPU同时运行对电网的压力。为此，Meta在数据中心的设计和运维上进行了优化，以确保系统的稳定运行。
Meta在Llama 3训练集群上的投入和布局，不仅展现了其在AI基础设施上的雄厚实力，也为其迈向通用人工智能（AGI）的征途奠定了坚实基础。随着技术的不断进步和应用的不断拓展，我们有理由相信，Meta将在AI领域取得更加辉煌的成就。
对于正在或计划进行大规模AI模型训练的企业和研究机构来说，Meta的经验和做法无疑具有重要的借鉴意义。通过不断优化硬件、网络和存储等基础设施，我们可以更好地应对AI训练中的挑战，推动AI技术的持续进步和应用落地。