ICC讯 SK海力士(SK Hynix)携手全球顶尖研究团队,在权威科学期刊《自然·电子学》(Nature Electronics)上发表了共封装光学(Co-packaged optics,CPO)的技术路线图。该论文提出了通过光学互连解决机架级和集群级数据瓶颈的架构蓝图,标志着SK海力士正从HBM创新向定义下一代AI基础设施系统架构演进。
论文标题为《用于高性能计算和人工智能的共封装光学》(Co-packaged optics for high-performance computing and artificial intelligence),由SK海力士AI基础设施团队负责人Seunghoon Hong和弗吉尼亚大学电气与计算机工程系Kyusang Lee教授担任通讯作者,联合伊利诺伊大学厄巴纳-香槟分校、南洋理工大学、麻省理工学院和延世大学的研究人员共同完成。
从芯片到系统:CPO是HBM创新在系统级扩展的关键
超大规模AI模型不再在单个芯片或服务器上训练,而是在由机架和集群组成的大规模网络上运行。在这些架构中,整体系统性能不仅取决于处理器、内存和AI加速器之间的连接,还取决于数据在机架之间的移动效率。实际上,计算吞吐量每两年增长约三倍,而互连带宽同期仅增长约1.4倍,形成日益严峻的“带宽墙”挑战。传统铜基电互连在传输距离增加时面临信号损耗和功耗快速增长的问题,被视为下一代AI数据中心的限制因素。
配图一: 计算吞吐量通常每两年增长三倍,而互连带宽仅增长约1.4倍,形成“带宽墙”。
弗吉尼亚大学Kyusang Lee教授表示:“即使计算芯片变得更强大,如果芯片间的数据移动跟不上,整体系统性能也无法提升。用光学链路取代面临固有物理限制的铜互连,是实现未来可扩展性最有希望的路径。”
CPO技术路线图:明确百Tb/s以上带宽目标
论文将CPO定位为克服AI基础设施中“带宽墙”挑战的核心技术。SK海力士AI基础设施团队负责人Seunghoon Hong解释道:“CPO将光收发器集成到与处理器相同的封装中,使芯片能够利用光而非长距离电互连来交换数据。这从根本上改变了数据在AI系统中的移动方式,消除了扩展计算的最大障碍之一。”
配图二: CPO将光学引擎集成到更靠近处理器的位置。随着电信号传输距离被最小化,带宽和能效均得到提升。
基于该架构,研究团队为下一代AI基础设施明确了技术目标:每节点超过100Tb/s的带宽、低于1pJ/bit的能耗、低于10纳秒的芯片间延迟。论文还提出了从2D和2.5D中介层方案向3D异构堆叠演进的技术路线图,以及商业化部署需解决的关键技术挑战。
光学互连延伸至内存接口
配图三: 光学中心架构的概念示意图,其中光子中介层通过光学链路将XPU池中的计算资源与内存池中的存储资源直接连接。
长期来看,CPO的演进预计将把光学互连一直延伸至内存接口。提出的光学中心架构使用光子中介层通过光学链路直接连接内存和处理器,最大化系统内数据移动效率。通过该架构,多个AI加速器可共享大型内存池,使AI基础设施在模型持续增长时能够更灵活地扩展。
Lee教授表示:“光学互连很可能成为未来AI基础设施的基础连接技术。该技术已走出实验室,进入商业化早期阶段。从集成低功耗光子器件到开发一致性协议和提高系统可靠性,仍存在重大挑战。最终关键在于将内存器件和控制器、光子组件和封装作为一个集成系统进行协同设计。这正是与SK海力士的合作尤为有意义的地方。”
Hong补充道:“此次合作尤为重要的是将学术专长与行业经验相结合,为AI基础设施的未来提出了共同愿景。我们将继续扩大开放合作,为客户和更广泛的AI生态系统创造切实价值。”
访谈摘要
在采访中,Lee教授表示,与SK海力士这样的全球领先半导体公司共同达成这一里程碑尤其有意义。该论文不仅展示了单一器件的进步,更为AI基础设施的未来提供了路线图。Hong则表示,此次合作展示了将学术专长与行业经验相结合的价值,SK海力士将继续努力为客户和行业生态系统创造有意义的价值。
关于光学连接延伸至内存接口的优势,Lee教授指出,这将突破计算芯片周围的物理限制,消除内存容量和电连接数量的制约,使多个AI加速器共享大型内存池,让AI基础设施更具适应性。Hong认为,最大优势在于通过提高数据移动效率使AI系统更灵活地扩展。
对于CPO成为未来AI基础设施关键技术的驱动力,Lee教授强调CPO具备高带宽密度、优异的能效距离比、可扩展并行连接和强信号完整性四大优势。Hong表示,随着客户构建更大AI系统,光学互连的重要性将持续增长,内存公司正从单一组件供应商向帮助客户增强整个系统竞争力的合作伙伴演进。
原文标题:SK hynix’s technology roadmap for co-packaged optics features in ‘Nature Electronics,’ as AI competition shifts from chips to systems