高速互连方案的选择直接决定AI训练效能。数据显示，在相同的分布式训练任务中，若使用InfiniBand而非NVLink，性能可能下降43%。
传统架构中，NVLink仅限于单节点内通信，多节点负载被迫依赖InfiniBand或云厂商等效方案（如AWS EFA、GCP GPUDirect-TCPX）。NVIDIA NVL72系统打破了这一限制，通过统一NVLink架构连接机架内全部72块GPU，实现节点间数量级更高的带宽交换。然而，要最大化NVL72优势，必须解决任务放置与硬件故障带来的挑战：跨机架分散运行仍受InfiniBand瓶颈制约，而节点离线导致的资源碎片化使得保持“机架内局部性”愈发困难。
SkyPilot平台通过拓扑感知放置、硬件故障就地恢复及自动碎片整理，确保多节点任务始终运行在同一机架内，从而释放NVL72的全部潜力。
规模化训练本质是通信博弈
前沿训练任务通常跨越数千块GPU，核心在于解决模型分片与并行副本最大化两个问题。其中，张量并行（TP）的全归约通信和专家并行（EP）的全对全通信位于训练关键路径，必须尽可能保留在NVLink上。
张量并行：通过将Transformer层的权重矩阵拆分至不同GPU，减少同步次数。尽管经过优化，每个Transformer层在前向传播中仍需两次全归约操作。Hugging Face测试显示，从NVLink迁移至InfiniBand会导致训练吞吐量下降43%。
专家并行：在混合专家（MoE）模型中，令牌需分发至不同GPU上的专家进行计算，随后合并结果。随着专家数量增加，通信流量激增。在标准8-GPU服务器上，64路专家并行会将流量推向低带宽的InfiniBand，未优化通信可占用60%的训练时间。而在NVL72系统中，所有GPU处于同一NVLink域，有效消除了该瓶颈。
推理场景同样依赖高速互联
模型并行不仅服务于训练，也能提升推理吞吐量。将模型权重拆分至更多GPU可为KV缓存腾出内存。vLLM基准测试显示，将模型以张量并行方式拆分至两块GPU，KV缓存块增加13.9倍，吞吐量提升3.9倍。
在专家并行推理中，NVL72同样优势显著。以交互速度服务DeepSeek-R1时，配备32路专家并行的GB200 NVL72，其单GPU吞吐量比上限为8路的8-GPU B200服务器高出4.4倍。
NVL72：机架即超级加速器
NVL72将NVLink扩展至整个机架，使其如同拥有共享内存的巨大加速器。每块GPU拥有18个NVLink端口，双向带宽总计1.8 TB/s。机架内部通过18个NVSwitch芯片互联，聚合带宽高达130 TB/s，且完全无阻塞，确保任意GPU间传输延迟均匀。
少即是多：16节点切片策略
尽管NVL72机架包含18个节点，但全量分配并非最优解。Meta数据显示，4-GPU节点的平均中断时间（MTBI）约为490天。对于由18个节点组成的NVL72机架，其MTBI缩短至约27天。若任务占用整个机架，单次故障即导致整个机架不可用。
通过在每个机架预留2个备用节点，采用16节点切片策略，可显著提升集群可用性。NVIDIA建模分析显示，在2%的节点不可用率下，16节点切片比18节点切片提供多27%的可用容量（2,037 vs 1,602节点）。即便对比9节点切片，16节点方案也高出4%，因为前两次故障可被机架内备用节点完全吸收。此外，16节点对应64块GPU（2的幂次），天然匹配并行组大小。
SkyPilot：拓扑感知与自动碎片整理
简单的调度器可能将多节点任务拆分至不同机架，迫使通信降级至InfiniBand。SkyPilot的拓扑感知调度器（TAS）确保工作进程驻留于同一机架内。
故障热替换：当检测到GPU故障时，SkyPilot Frontier Trainer利用预留的健康节点进行热替换，实现无中断运行。若无备用节点，则将切片重新调度至健康机架。
性能实测：NVIDIA GR00T团队在512块GB300 GPU上预训练GR00T N1.7模型时发现，相比随意放置，采用机架感知的16节点切片策略使吞吐量提升14.4%，单次迭代时间从1.59秒缩短至1.39秒。在万卡集群规模下，此举每小时可节省约1.67万美元，日均节省约40万美元。
自动碎片整理：针对共享集群中因任务完成时间不同产生的资源碎片，SkyPilot Auto Defrag功能会抢占可安全重启的工作负载，释放完整机架以供大型任务调度，同时避免干扰交互式开发环境。
结语
NVL72等机架级系统从硬件层面解决了通信瓶颈，但需配合软件层面的拓扑感知放置、故障弹性及动态重平衡才能发挥极致效能。SkyPilot通过上述机制，填补了硬件能力与实际应用间的空白，为管理大规模NVL72集群提供了高效解决方案。