Meta正在俄亥俄州新阿尔巴尼推进其最具雄心的AI基础设施项目——“普罗米修斯”（Prometheus）千兆瓦级超算集群。该项目旨在训练下一代基础模型，为全球用户提供更先进的AI体验。两年前，该地点仅为处理常规Web流量的传统数据中心，如今已升级为前沿模型训练基地。“普罗米修斯”分阶段建设，第一阶段已完成，并成功用于训练Meta“缪斯”（Muse）系列基础模型，包括在智能体任务中表现卓越的Muse Wonder。

大规模训练对系统稳定性要求极高，单点故障可能导致作业停滞，降低有效算力（Goodput）。通过提升系统可靠性，Meta实现了Muse Wonder预训练有效算力超85%、强化学习（RL）运行超90%。训练期间，GPU中断平均间隔时间（MTBI）约为47,000 GPU小时；经固件修复等优化，该指标已提升至超54,000 GPU小时，并持续改善。

超算集群：解锁AI新能力

目前，“普罗米修斯”由分布在多个互联建筑中的数十万块GPU组成，涵盖传统数据中心、AI优化建筑及快速部署结构，通过数英里光纤紧密连接，作为整体运行。全规模下，集群将包含约100万个分布式GPU，协同工作以支持更大参数量模型和更长上下文窗口的探索。

多代AI硬件平台演进

“普罗米修斯”现部署两代NVIDIA GPU平台，第三代基于NVIDIA Vera Rubin NVL72的平台即将加入。各代平台均采用NVL72机架架构，即72块GPU在网络织物内作为统一加速器运行，实现性能与效率的代际飞跃。

Catalina：NVIDIA GB200

第一代平台Catalina采用NVIDIA GB200 NVL72。其Ariel变体采用双机架配置，每机架36块GPU通过NVLink互联，形成统一的72 GPU域。相比Grand Teton H100，Catalina在计算能力和内存容量上均有提升，并采用开放计算项目（OCP）的Open Rack V3 (ORv3)高功率机架设计。Ariel以1:1的CPU-GPU比率，为每块Blackwell GPU搭配Grace CPU和两块ConnectX-7 400G网卡，率先实现每GPU 800G I/O带宽，解决扩展带宽不平衡问题。

  • 72块NVIDIA Blackwell GPU，配备13.4 TB HBM3e内存（每GPU 192 GB）。
  • 峰值FP8训练算力达720 PFLOPS（FP4下为1,440 PFLOPS）。
  • 域内峰值NVLink带宽130 TB/s。
  • 峰值聚合内存带宽576 TB/s。
  • 双机架总功耗约120 kW。

Clemente：NVIDIA GB300 NVL72

第二代平台Clemente采用NVIDIA GB300 NVL72，性能优于Catalina。GB300将每GPU HBM容量提升1.5倍至288 GB，密集FP4吞吐量增加，注意力机制加速能力翻倍。平台层面，ConnectX-8 SuperNICs原生提供每GPU 800G扩展带宽，消除瓶颈。结合2:1的GPU-CPU比率，Clemente将72 GPU域压缩至单机架，简化部署，并支持模块化空气辅助液冷（AALC）或设施液冷（FLC），提升可维护性。

  • 72块NVIDIA Blackwell Ultra GPU，配备20.7 TB HBM3e内存（每GPU 288 GB，较GB200多50%）。
  • 峰值FP4算力超1 exaFLOP。
  • 峰值NVLink带宽130 TB/s（每GPU双向1.8 TB/s）。
  • 单机架功耗约135 kW。
  • 较GB200 NVL72性能提升5-10%。

构建专用高速网络

大规模AI训练需高带宽、高性能及服务器间紧密协调。Meta构建基于以太网的专用后端（BE）网络，实现数据中心内及间的直接GPU通信。针对数据并行复制层级，网络设计低延迟、高带宽的建筑内织物及连接各建筑的聚合网络。Meta与超级智能实验室合作，优化并行设计和通信算法，减少GPU等待网络传输的时间。

网络织物与聚合

在建筑级别，每个以太网织物通过多层拓扑互连多达20,736块GPU。初期采用去调度织物（DSF）缓解拥塞，后升级至非调度织物（NSF），使用浅缓冲区51.2T以太网交换机（如Minipack3）及基于NVIDIA Spectrum-4 ASIC的Minipack3N，配合ConnectX网卡自适应路由。这些设计基于Meta FBOSS网络栈，支持快速迭代优化。

后端聚合（BAG）网络为多层星型网络，连接跨越2至100多公里的建筑级织物，采用Arista 7800系列机箱和Broadcom Jericho3硅片，为每个区域对提供数Pbps带宽。整个网络涉及数百万英里光纤、数万台交换机和光模块，针对光速限制进行专门优化以避免速度下降。

工程可靠性与故障恢复

Meta与NVIDIA建立联合工程模式，共享实时遥测数据并进行联合故障排查。针对NVL72将故障影响范围扩大9倍的情况，Meta将72 GPU机架作为容量规划基本单元。每个NVL72域运行一个64 GPU切片，剩余8块作为备用。GPU故障时，备用GPU立即接管，作业从检查点重启，无需等待维修。对于罕见整机架故障，保留约2额外机架作为储备。

Meta通过两种机制最小化故障影响：

  • 感知并行度的容错（PAFT）：故障局限于数据并行副本时，允许单个副本下线，其余集群继续训练，故障切片在备用主机重启同步，将全面停滞转化为短暂吞吐量下降。
  • 检查点机制：故障影响超过单个副本时，作业回退至上一个检查点。分布式架构异步保存模型状态至多层存储，使用增量检查和内存暂存最小化对吞吐量的影响。

系统性降低中断率

经过一年工程优化，“普罗米修斯”中断率降低99%，从初期每天每8K GPU近1,000次事件降至极低水平。主要改进包括：

  • NVLink信号完整性：实施连续遥测和自动标记，利用L11诊断燃烧测试隔离弱链路。
  • 内存可靠性：细化HBM固件设置、内存清洗、改进LPDDR纠错算法及预测检测，提前退役降级设备。
  • 网络健康监控：毫秒级监控织物健康，自动恢复路径隔离故障组件并重新平衡流量。
  • 后端网络事件管理：通过硬件故障检测透明管理链路事件，平面拓扑确保单点故障不中断同步流量。

Meta的可靠性目标为每天每8K GPU两次中断（即约100,000 GPU小时的MTBI）。

规模化硬件成熟与运营优化

大规模部署揭示了小批量生产隐藏的质量问题。Meta重点推进以下工程措施：

  • 快速固件部署：自动化系统在数小时内向超10万块GPU部署修复，单次Pod升级时间从7小时以上缩短至2小时。
  • 机队健康管理：关联多机架遥测数据，分类中断以指导修复决策。
  • 跨合作伙伴认证：与多家制造伙伴并行验证，确保质量一致性。
  • 自动信号筛选：生产前使用诊断压力测试验证超60万条NVLink路径。
  • 供电与液冷测试：研究高负载下电源模块相互作用，严格执行液冷组装质量关卡防止泄漏。
  • 健康检查：通过高级摄入/老化测试及作业前检查，识别适合大型训练任务的节点。

在电力管理方面，Meta采用“Dynamo Dimmer”集群级电源管理框架，通过智能功率封顶逐步调整GPU功率限制，辅以机架级电池备份（BBU）、电容托盘（CBU）及与企业级储能系统（BESS）和公用事业提供商的协调，管理30-40%的负载波动。

冷却管理与可持续发展

“普罗米修斯”结合模块化空气辅助液冷（AALC）和设施液冷（FLC）。最新AI优化建筑采用FLC以实现最大功率密度，快速部署结构加速产能扩张。Meta与当地公用事业公司合作，全额支付能源成本，并匹配清洁可再生能源。新一代数据中心采用闭环液冷，提高空间利用率，并通过OCP分享IcePack等液冷设计，促进行业可持续发展。

展望未来：Beyond Prometheus

Meta将继续与NVIDIA合作，混合部署GB300 NVL72和即将推出的Vera Rubin NVL72平台。San Miguel平台集成Vera Rubin，预计能效比GB300提升10-20%。

  • 72块NVIDIA Vera Rubin GPU，配备288 GB HBM4内存，每GPU峰值带宽19.2 TB/s。
  • 单机架峰值FP4训练算力2.52 EFLOPS，FP8为1.26 EFLOPS。
  • 峰值NVLink带宽216 TB/s（每GPU双向3 TB/s）。
  • 峰值聚合内存带宽约1,500 TB/s。
  • 全液冷计算托盘，单机架功耗超170 kW。

“普罗米修斯”的技术成就为未来超算设计确立蓝图。位于路易斯安那州里奇兰教区的下一代超算“海伯利安”（Hyperion）将从零开始设计，整合闭环液冷、与Entergy的全网格连接及下一代网络设计。