CPO交换机应用落地挑战
AIGC的持续升温和大规模的算力运行,使得数据中心的“能耗焦虑”日益加剧,高速互联下的绿色数据中心的建设也成为了未来的发展趋势。早在2023年6月,新华三就发布了全球首款基于51.2T交换容量的800G CPO硅光数据中心交换机,为智算网络部署全面降温。
CPO硅光交换机除了支持高密800G端口能力、满足更大规模智算中心建设需求之外,还进一步降低了设备功耗,满足PUE≤1.2的要求。
全球首款基于51.2T交换容量的800G CPO硅光数据中心交换机
从业界发展来看,CPO交换机的概念由来已久,从早期10G时代的OBO(on-board Optics)模块到56G时代的CPO交换机芯片,而近期,随着AIGC的热度又再次被市场所注视,可谓是数据中心领域皇冠上的明珠。
然而,虽然关注者众多,但有关CPO交换机的消息通常是风声大雨点小,往往仅提出一个DEMO便没有了后续商用的消息。这是因为CPO交换机的落地应用面临着许多挑战,首当其冲的便是CPO交换机的可靠性。
对于客户而言,交换机最关键的要求便是可靠性。CPO交换机相较于传统可插拔模块的形态,由于将更多的模块组件被集成在一块基板之上,因此这块大芯片出现问题的概率指数级上升。此外,早期方案中,光源也被集成在芯片内部,根据大量统计数据显示,光模块最容易失效的部件是激光器,更有甚者,为了降低功耗,一个激光器需要为4个通道提供激光,那么一旦出现问题将影响4个通道的业务。由于上述问题,以及集成方案的不可更换性,集成激光器的CPO方案往往都无法真正商用落地。
CPO交换机落地关键:外置光源
为了解决以上问题,新华三在CPO交换机上采用了16个外置光源,将最容易失效的部分通过机箱内部无源光网络的方案部署在前面板侧,大幅提高了CPO交换机的可维护性。
外置光源将高功率激光器产生的功耗从芯片内部剥离,使得整体机箱内部的温度梯度更为均衡,有利于设备的散热。而且外置光源内的激光器可工作在更低的温度环境中,相较于在交换芯片附近70~80度的高温,激光器的电光效率也能得到提高。
新华三针对客户关注的可靠性重点问题,对设备进行了软硬件的专业优化,让S9827-64EO的每个通道也能像可插拔光模块一样进行监控诊断。对于出现异常的通道,S9827-64EO会根据各个监控点的反馈智能判断故障点,辅助运维快速、准确、高效完成异常排查和维护。
利用直通型外置光源压缩交换机尺寸
CPO交换机通过将传统光模块中的光电转换器件与交换芯片集成在同一基板上,实现了空间和功耗上的节约。虽然采用光纤法兰作为与其他节点互联的光接口,但依然需要大量前面空间来布置法兰。并且,为了提高光源的可靠性和可维护性,还需要额外的1U空间来布置外置光源,因此现有CPO交换机的尺寸无法进一步压缩。
H3C S9827-64EO CPO交换机在CIOE 2024上的实机上电展示
直通型外置光源是一种将前面板法兰与外置光源集成于一体的解决方案。
传统外置光源均使用光电混合盲插接口来保证人眼安全,拉手环处的连接空间被闲置。直通型外置光源将这一部分空间充分利用,结合高密连接器方案将前面板法兰与外置光源结合,在外置光源内部则使用短跳线与光电混合接口相连。
这一方案的优势在于:
由于当前电力供需紧张形势进一步加剧,为确保电网安全,确保民生用电,确保不出现拉闸限电,经研究决定,从8月15日起取消主动错避峰需求响应。
显著提高了设备的集成度,使得采用该技术的CPO交换机最低只需1U的空间;减少了CPO交换机内部光缆复杂度,无需将数据光纤和光源光纤分别布置;
更贴近传统光模块的使用体验;
可以实现多种连接方案的切换需求,原本CPO交换机由于光接口形态与激光器是需要一一对应,无法灵活的切换DR或FR等需求方案,采用直通型外置光源后,可以同步切换接口和激光器,因此有望实现兼容DR和FR的CPO交换机。
直通型外置光源和传统外置光源方案对比
光电混合接口的方案对比
目前,业界已提出了多种方案的直通型外置光源形态,它们对于光电混合接口的定义也各有不同,主要分为IPEC组织下的PELS形态,和OIF组织下的ELSFP形态,以下我们分别介绍:
1. 直通型ELSFP
OIF定义的ELSFP采用横向双MT的设计,直通型ELSFP是通过增加MT插芯的芯子数量来实现额外的数据通道。在使用MT-36的情况下,最高可支持64个通道(4*DR8)的数据传输和8个通道的保偏激光传输。ELSFP的直通型和普通型在光电混合口外形上并无差异,为了区别这两种方案以防错配导致光口损伤,OIF在外壳上定义了一个键位序列作为防呆结构,以保证不同方案外置光源在盲插时不至于损坏光电混合接口。
直通型ELSFP
2.直通型PELS
PELS定义的直通型采用纵向堆叠的双MT的设计,同样在使用MT-36的情况下,最高可支持64个通道(4*DR8)的数据传输和8个通道的保偏激光传输。由于PELS的直通型方案和普通方案存在构型上的区别,并没有设置额外的防呆结构。
直通型PELS
不过这两种方案均需要使用到MT-36插芯需要使用3排12芯来满足4*DR8业务的插芯排布,由于插芯在制作过程中,光纤是以排为基础单位进行组装,多排光纤间会存在互相干扰,保偏光纤需要使用人工对齐偏振角,在多层组装时有可能会降低插芯的良率。2组MT-36插芯为了能够满足4对DR8数据通道的需求,所有光纤通道均需要使用,因而普通方案中MT-12中间4个插芯用于保偏激光的通道,也被对称的用于数据传输。
两组MT-36插芯在4*DR8需求下可能的排列方案
这与传统MT插芯中的光纤分布有一些差异,也会影响到前端口的扇出,因为与CPO交换机对接的4组DR8接口必然遵循传统的MT插芯排布,无论是MT-16还是MT-24都无法兼容。
传统MT插芯的Tx、Rx排布情况
新型PELS直通型外置光源
新华三基于在CPO交换机领域的先进开发经验和光模块领域的多年深耕经验,投入核心研发力量开发了全新PELS直通型外置光源,模块设计满足IPEC OIO Pluggable External Laser Source IA规范。
新型PELS直通型外置光源
新型PELS直通型外置光源将传统位于前面板的连接器通道通过Pass-through技术转移到外置光源的前端,使采用高密度直通型PELS外置光源的CPO交换机使用体验更接近传统交换机。
使用SENKO研发的超高密度SNMT-24插芯作为光电混合盲插接口的直通光路连接器,最高可支持8路保偏光源通道+32对数据通道以传统MT-12的形式对称排列在两侧,可使51.2T CPO交换机最低降至1U高度。
光电混合接口示意图
Host侧SNMT连接器可独立拆卸更换,清洁维护更方便。在保持相同连接密度下,4个SNMT-24插芯的双排插芯使得光纤组装相对三排插芯的MT-36有着更好良率表现。
新华三研发的新型PELS直通型外置光源在2024年9月的CIOE光博会上,由多家合作单位共同展示,收获了广泛关注与好评,也将很快为更多行业客户的算力建设提供更加高效可靠的网络基础底座。