LC讨论超级计算大会SC2023的亮点

  ICC讯（编译：Nina）超级计算大会2023 (SC23)于2023年11月12日至17日在美国科罗拉多州丹佛市举行，参会人数超过14000人，创下了新纪录。

  两大主题主导了今年的会议：其一是光子学日益重要的作用，其二是高性能计算和人工智能超级计算机发展速度之间的矛盾。

  使用光子学，可以通过光纤发送PCI Express(PCIe)和Compute Express Link(CXL)等协议，从而实现数据中心的系统分解和新型超级计算架构。

  Drut Technologies，一家在SC22上崭露头角的系统初创公司，利用去年的活动推出了其服务器分解架构。今年，这家初创公司展示了其日益增长的雄心。它正在开发一种架构，将这一概念扩展到数据中心。它的DynamicXcelerator(DX)架构将支持多达4096个使用光交换的加速器，类似于谷歌互连其张量处理器单元(TPU)集群的方式。

  其他光子展亮点包括Avicena的光学互连演示，展示了它所声称的世界上最小的1Tb/s基于microLED的收发器。Ayar Labs展示了其嵌入Intel FPGA的光学输入输出(I/O)TeraPHY小芯片，而Lightelligence则展示了在光链路上使用PCIe/CXL的内存分解。

  SC23也是最新的500强超级计算机亮相的地方。今年有一台超级计算机——微软Azure的Eagle——跻身前三，这是商业机器第一次获得如此高的排名，而且是微软在一周内推出的。

  Top500突出的一个趋势是高性能计算正在放缓。直到2013年，高性能计算以每11年1000倍的速度增长，但自那以后，增长速度大幅放缓。Top500委员会认为，计算能力现在以每11年不到10倍的速度增长。相比之下，超大规模提供商(Hyperscaler)的人工智能计算需求每3到4个月增长一倍，这种情况将在可预见的未来持续下去。

  高性能计算和人工智能超级计算机的增长梯度不同有几个原因。

  高性能计算所需的处理是多种多样的，要求非常高。由于它处于计算的前沿，因此也是第一个遇到关键限制的板块。相比之下，人工智能和机器学习的计算更加专业化，且超大规模提供商在各个方面都做得非常出色，包括在处理器的指令级、浮点数学表示、核心、芯片和内存以及刀片级。

  此外，还介绍了如何通过使用先进的网络技术和拓扑结构来横向和纵向扩展刀片以组成超级计算系统。反过来，人工智能计算需求的指数级增长不会无限期地持续下去，而不会出现瓶颈。与高性能计算一样，这将需要新的思维。

  两场会议讨论了高性能计算和人工智能计算瓶颈的问题：一个论坛讨论了光I/O在未来人工智能和高性能计算系统中的作用，以及小芯片(Chiplets)如何使高性能计算和人工智能受益。

  超级计算会议的重点是软件、算法和应用。但硬件——处理器、存储器和包括光学在内的互连——也有突出表现。例如，最新的Compute Express Link(CXL)规范3.1版在展会上发布，这是一年多来的首次升级。

  英伟达在活动新闻发布会上发表的一个令人惊讶的声明是，NVLink网络没有使用任何光学连接。这意味着英伟达部署的光学收发器和AOC主要用于InfiniBand连接，有些用于以太网。LightCounting将在2024年1月题为“人工智能光学”的报告中讨论这一发展的影响。