LC：万众瞩目的英伟达

  ICC讯（编译：Nina）近日，LightCounting分享来自GTC 2024的网络和互连亮点。

  除了首席执行官黄仁勋（Jensen Huang），DGX GB200 NVL72也是GTC 2024主题演讲的明星。该机架级系统集成了72个下一代Blackwell GPU，通过NVLink连接，形成“1 Giant GPU”。Jensen对NVLink无源铜“背板”的描述在投资者中引起了短暂的恐慌，他们认为它会以某种方式取代InfiniBand，但事实并非如此。NVL72代表了下一代人工智能系统，但英伟达（NVIDIA）还透露了其部署的Hopper一代集群的新细节。下一代800G (XDR) InfiniBand要到2025年才能到达客户手中，因此早期的Blackwell系统将使用400G (NDR) InfiniBand代替。

图片：GTC 2024，4月4日（来源：英伟达）

  Jensen表示，Hopper一代EOS超级计算机刚刚上线。本集群使用608台64端口的NDR交换机，交换机端口总数为38912个。该系统将叶交换机放置在排末端的机架中，因此所有InfiniBand链路都使用光收发器。LC估计服务器为系统总共44032个NDR端口添加了5120个端口。由于英伟达使用所谓的“双端口OSFP”800G收发器，每个收发器服务两个NDR端口。因此，LC估计完整的EOS系统使用大约22000个800G光收发器。

  Blackwell一代GPU包括第五代NVLink，其互连带宽是Hopper的两倍。它通过将每条通道的速度提高一倍至200Gbps，从而为每个NVLink x2端口提供400Gbps的单向带宽。每个Blackwell GPU包括18个端口，可提供1.8TB/s（14.4Tbps）的聚合双向带宽。为了连接NVL72机架中的72个GPU，英伟达开发了NVLink5交换机芯片。NVL72机架包括九个NVLink交换机托盘，每个托盘带有两个ASIC。交换机使用5184根无源铜（DAC）电缆，在机架内提供All-to-all GPU连接。

  对于网络生态系统来说，GTC 2024最大的失望可能是800G InfiniBand延迟到2025年。尽管延期，该公司还是公开了Quantum-X800交换机系统和ConnectX-8适配器(NIC)。当这些800G InfiniBand产品可用时，每个GPU的带宽将增加一倍，因为ConnectX-8网卡将一对一地取代ConnectX-7 (400G)网卡。他们应该还将率先在电气(主机)端处理带有200G通道的光学器件，从而推动对第二代200G/lambda DSP的早期需求。

  备注：GTC大会全称是GPU Technology Conference，是英伟达主办的最重要的GPU技术交流活动，从2019年开始每年举办一届。