从器件切换到系统恢复：面向GPU Scale-Up互联的快速OCS链路恢复时间优化研究

  作者：周正凯（UT斯达康通讯有限公司，杭州 310053）；黄水清（*默升科技（上海）有限公司，上海 201315）

  摘要

  AI 大模型训练推动 GPU Scale-Up 互联向超高带宽、低延迟方向演进，光交换凭借透明转发与大端口优势适合在电 Leaf + 光 Spine 混合架构中承担高层转发任务。然而快速光路重构的业务可用性不由器件切换时间决定，而由端到端系统级链路恢复时间决定 —— 光路切换后的 CDR 锁定、DSP 收敛、光功率稳定与链路层恢复可将恢复时间从器件级纳秒响应放大到微秒级，抵消光交换的延迟收益。

  本文定义系统级恢复时间边界，建立关键路径时延模型，提出基于高精度同步、路径时延预标定、CDR 局部捕获与 DSP 参数预加载的跨层优化机制。在分阶段工程成熟度模型下，本文将异步商用基线、同步恢复、近期工程优化和全栈协同极限目标进行对比。预算分析表明，若维持商用异步重捕获模式，系统级恢复时间可能处于微秒量级，难以支撑高频光路重构；引入同步和路径先验后，恢复时间有望压缩到百纳秒量级；在光开关、SerDes、DSP、光功率控制和链路协议深度协同设计条件下，进一步逼近50ns以内具备架构可行性。

  关键词：快速光电路交换；GPU Scale-Up；系统级链路恢复；高精度同步；CDR局部捕获；DSP参数预加载；电光混合架构

  第1章 绪论

  1.1 研究背景与意义

  大语言模型与多模态模型的规模化训练，推动GPU集群向机架级、Pod级Scale-Up方向发展，张量并行、集合通信与内存池化对互联网络提出了超高带宽、亚微秒级端到端延迟的严苛要求。以UALink为代表的加速器互联协议已将链路层处理延迟压缩至数百纳秒，机架级往返延迟目标控制在1μs以内，传统电交换Fat-tree架构的多级延迟累积、端口爆炸与高功耗问题日益凸显。

  光交换通过光路重构实现数据透明转发，无需逐包存储转发，天然适配GPU大带宽连续传输特征。本文提出电-光协同混合架构：电Leaf保留细粒度包交换与流量控制，快速恢复光交换承担高层Spine的大带宽透明转发。然而工程实践表明，快速可重构光交换的业务可用性由系统级链路恢复时间决定：若恢复时间过长，将降低传输效率、触发流控超时，甚至抵消光交换的延迟收益。当前针对光交换链路恢复时间的系统性研究严重不足，开展机理分析与优化研究具有重要的理论与工程价值。

  1.2 国内外研究现状

  光电路交换（Optical Circuit Switch, OCS）器件已形成多技术路线：MEMS开关毫秒级切换，适用于静态配置；硅基热光开关微秒级切换，适配秒级甚至分钟级重构；硅基电光开关基于等离子色散效应达到纳秒级，已有32×32规模MZI型开关验证1.0/1.2 ns上升/下降时间，光子晶体纳米梁腔方案进一步将上升沿压缩至0.43 ns；以薄膜铌酸锂（TFLN）为代表的异质集成电光开关基于Pockels效应，已实现超过100nm带宽、响应时间小于3ns的性能。组网层面，扩展Benes硅光拓扑已可实现128×128交换能力与低于7dB插入损耗，但现有研究普遍聚焦器件速度与光学损耗，对端到端系统级链路恢复过程关注不足。

  链路恢复方面，传统电信光网络保护倒换为毫秒级，高速互联协议（如 PCIe、以太网）的链路训练机制面向初始上电场景设计，完整训练流程（含自动协商、均衡收敛、通道对齐等）通常需要毫秒至秒级，商用400G/800G光模块热切换的CDR搜索、DSP收敛与FEC验证时延可达微秒至毫秒级。时间同步方面，White Rabbit（WR）技术由CERN提出，融合同步以太网频率同步、IEEE 1588 PTP与数字双混频时差相位测量，可在短距离光纤链路上实现亚纳秒级同步，其核心扩展已纳入IEEE 1588-2019标准，但在数据中心光交换场景中用于压缩链路恢复时间的研究尚未系统开展。

  第2章 相关技术基础与术语边界

  2.1 核心术语界定

  本文所称快速光电路交换（以下简称快速OCS），是指面向数据中心GPU Scale-Up场景、可在百纳秒量级完成业务可用恢复的光路重构系统，不等同于传统电信传送网中毫秒级保护倒换语义下的光电路交换。本文关注的核心指标是业务可用链路恢复时间，而不只是光开关器件状态翻转时间。本文研究的链路恢复特指可预调度光路重构场景下的重配置恢复，不包含突发故障恢复与初始链路建立；其中故障恢复无法预知目标路径，恢复时间量级显著更高，不在本文研究范围内。

  根据恢复深度不同，物理层恢复可分为三个层级：（1）部分重捕获：频率锁定保持，仅相位、功率与均衡状态小幅波动，CDR仅需局部跟踪微调，恢复时间最短；（2）扩展重捕获：相位大幅跳变、功率波动显著，CDR需扩大搜索范围，均衡器重新收敛，但协议状态不复位，恢复时间居中；（3）完整链路初始化：频率失锁、链路层状态机复位，执行全流程上电式链路训练，恢复时间最长，可达毫秒级以上。

  光开关的器件级切换时间随技术路线存在数量级差异：MEMS开关为毫秒级，硅基热光开关为微秒级，而硅基与异质集成电光开关可实现纳秒级器件响应，部分方案响应速度可低于3ns。需要明确的是，器件级切换时间不等于系统级开关稳态时延：完整的光路切换可用过程还包含驱动电路响应、多级开关单元级联过渡、输出光功率波动稳定等环节。在商用基线场景下，含功率稳定的开关稳态时延约为10~30ns，该值包含了开关阵列驱动、多级光路过渡与功率收敛的完整过程，远大于单器件本征翻转时间。

  而完整的端到端链路恢复还需经历物理层重捕获：光路切换后，接收端光信号的功率、相位、偏振态发生突变，需重新完成CDR时钟锁定、DSP均衡收敛、FEC/block-lock状态与短窗口链路健康确认三个环节。异步无先验场景下，扩展重捕获过程时延可达微秒至毫秒级，远大于光开关本身的稳态时延。

  2.2 White Rabbit（WR）高精度同步技术

  WR基于标准以太网物理层，通过频率同步、时间同步与高精度相位测量三层机制，在短距离光纤链路上可实现亚纳秒级时间同步精度，且支持与数据业务共纤传输。是否采用共纤传输取决于系统波长规划、滤波器隔离度、同步链路与业务路径的一致性以及可接受的标定复杂度，并非无代价的默认方案。同机房场景链路距离短、温度波动小，为高精度同步部署提供了天然有利条件。

  需要明确的是，高精度同步平面的作用不是产生112Gbps PAM4信号的UI级相位对齐。对于56GBd量级符号率，1UI约为二十皮秒量级，纳秒级时间同步仍远大于单个UI。同步平面的工程价值在于提供统一时间戳、切换时刻对齐、路径传播时延表和接收端恢复窗口约束，使CDR从无边界盲捕获转为有边界局部跟踪，使DSP从默认初值收敛转为路径参数表附近的小范围微调，而非直接替代CDR的UI级相位恢复。

  第3章 快速OCS系统级链路恢复时间机理与瓶颈分析

  3.1 定义与边界

  本文定义系统级链路恢复时间为：从控制面向光开关下发切换指令开始，到两端GPU间逻辑链路完全就绪、可正常传输业务数据为止的端到端完整时长。该指标直接决定业务中断时间，是衡量快速OCS工程可用性的核心标准，与器件级切换时间存在数量级差异。恢复过程覆盖四个技术层级：控制面配置、光开关物理切换、光模块物理层恢复、逻辑链路建立，是一个串行与并行混合的完整流程。

  3.2 时延拆解与关键路径模型

  在异步光路切换场景中，接收端可能经历不同程度的恢复过程。若参考频率保持且只有相位、功率和均衡状态突变，恢复过程可被视为部分重捕获；若CDR失锁、DSP均衡器状态失效或链路层状态机重置，则进入完整链路初始化路径。本文采用约1000ns（即1μs）作为无状态保持、无路径先验条件下的扩展物理层重捕获预算点，用于体现无同步先验条件下的系统级瓶颈与问题边界，不代表所有商用400G/800G模块的统一实测值。

  基于异步场景的典型商用器件参数，对各阶段时延进行量化拆解，结果如表1所示。

  表1 异步场景下系统级链路恢复时延构成

  恢复过程并非全流程串行，其中接收端参数预置可与光开关切换并行执行，而信号依赖型恢复必须在光路稳定后串行开展。完整的关键路径时延模型如下：

  其中：

  · Ttrigger：控制面触发与配置下发时延；

  · Tswitch_stable：光开关完成状态切换并达到功率稳定的时长；

  ·  TRX_prepare：接收端参数预加载、状态机预置时长，可与光开关切换并行执行；

  · Tsignal_recovery：CDR相位重捕获、均衡器微调、链路健康确认，必须在有效光信号稳定后串行执行；

  · Tlink_ready：链路层状态恢复、流控参数加载时长。

  该模型明确了并行优化的空间：参数预加载、状态预置等操作均可在光开关物理切换期间同步完成，不占用关键路径时长。

  3.3 恢复时间对GPU业务的性能影响

  定义传输效率η为有效数据传输时间与总周期时间的比值：

  其中Tburst为单burst裸数据传输时长，Trecovery为系统级链路恢复时间。需要说明的是，该模型假设为每次burst传输伴随一次光路重构，即恢复时间在每个传输周期中均发生一次。OCS作为电路交换，光路一旦建立即持续稳定传输，恢复时间仅发生在重构瞬间，并非每个报文都需要缓存等待。在上述高频重构模型下，重构期间Leaf层连接OCS的端口需缓存待发送报文，因此恢复时间构成每个传输周期的固定开销：大burst传输时间长、恢复时间占比小、效率较高，小burst传输时间短、恢复时间占比大、效率较低。若光路建立后持续传输多个burst（低频重构场景），则恢复时间仅在重构瞬间发生一次，其对整体效率的影响随传输持续时间增加而摊薄。

  第4章 快速OCS链路恢复时间的多维度优化机制

  4.1 基于WR同步方案的物理层快速恢复机制

  针对GPU Scale-Up集群，部署三级10GE WR同步网络：主时钟节点（铷钟+GPS驯服）提供全局基准，边界时钟节点部署于机架顶端向下分发，从时钟节点集成于GPU网卡与Leaf层EPS交换机实现端口级同步。同机房短距离下端到端同步精度可优于1ns。

  全局高精度同步从三个层面压缩光模块物理层恢复时延，其本质是将"无先验的扩展重捕获"转化为"有先验约束的快速恢复"：

  （1）CDR从全局盲捕获转为局部相位跟踪

  基于WR的同步以太网（SyncE）机制，可为全网节点提供同源频率参考，使接收端CDR在光路切换期间维持频率锁定状态，避免进入大范围频率捕获流程。在频率同步、相位先验和路径时延表可用的条件下，接收端CDR可避免传统异步切换中的大范围盲搜索，其锁定过程从全局搜索转化为局部相位跟踪与微调。最终锁定时间仍取决于接收端CDR架构、数据跃迁密度、前端信噪比以及均衡器状态，但相比异步场景可缩短一个数量级以上。

  （2）Guard band开销显著压缩

  异步场景下预留的保护带用于吸收未知的相位偏差与抖动。WR时间同步与路径传播时延标定用于约束新路径信号的宏观到达时间窗口，从而缩短确定性guard time；UI内相位重捕获范围的缩小还需要同源频率、CDR holdover、路径小数UI时延先验以及接收机快速鉴相能力。

  （3）DSP均衡参数初值预加载

  不同光路的色散、损耗、偏振模色散等信道特性可在稳态下预先测量并存储于接收端寄存器。光路切换时，可加载对应路径的预训练均衡参数作为初始值，使DSP从接近最优点开始进行小范围自适应，而不是从默认状态或全局搜索状态重新收敛。

  因此，DSP恢复时延满足如下模型：

  其中Tload为参数加载时间，Tfine_tune为小范围自适应微调时间，Thealth_check为FEC/block-lock状态与短窗口链路健康确认时间。参数预加载的作用不是完全消除DSP收敛，而是显著缩短均衡收敛及快速健康确认时间。

  引入同步优化后，光模块物理层恢复的子项分解与前提如表2所示。

表2 光模块物理层恢复的子项分解和目标

  表注：5~10ns仅对应基于锁定指示、快速误码门限的链路健康初筛，不代表统计意义上的误码率达标验证。

  4.2 光层、控制面与链路层协同优化

  光层快速稳态：在光开关输出端集成高速可变光衰减器/半导体光放大器（VOA/SOA），通过闭环或前馈补偿主动抑制功率波动，使接收端光功率快速进入稳定区间，避免功率波动导致CDR失锁，缩短功率稳定等待时间。

  控制面预调度：利用GPU业务周期性特征，提前计算光路配置并将开关参数与DSP系数预加载到寄存器，切换时仅触发硬件执行，消除控制面计算时延；批量光路采用并行调度，避免串行配置累积，使整体恢复时间与单链路基本持平；将切换安排在集合通信间隙等业务空窗期，使恢复时间被间隙掩盖，不占用有效传输时间。

  链路层协议适配：物理层锁定后立即硬件上报就绪状态，减少轮询等待；保存历史流控参数与信用值，光路恢复后直接加载，无需重新协商初始化，缩短逻辑链路建立时间；针对快速OCS切换的确定性中断特征，调整流控超时阈值，避免短暂中断触发不必要的重传与链路复位。

  第5章 电光协同快速恢复架构设计

  本文采用通道正交分片的并行 CrossBar 架构，与可能需要全局路径重排的多级Benes网络相比，在一对一连接约束下可实现严格无阻塞，同时新连接不需要重排已有合法连接，路径计算和配置关系更直接，避免 Benes 全局重排造成的多连接扰动。图1(a)所示1152卡超节点由8个Rack组成，每个Rack含4个Kyber Box如图1(b)，共32个Box，每个Box由36个GPU（2 Die）、36片28.8T Switch交换芯片和324只1.6T OSFP224 4LR4可插拔带波分复用光模块构成Leaf层电交换子节点，即图1(c) 中双线框内所示，32个这样的子节点经Spine层36*36=1296个32×32严格无阻塞硅光交换矩阵将它们全带宽any-to-any互联。因为Leaf-Spine是带宽1:1无收敛的，Spine层带宽和Leaf层上行带宽相同，与目前CPO交换机方案相比，没有Spine层重复的O/E/电交换过程，即1/3的电交换和1/2的O/E转换被节省下来，所以Spine层光交换替代CPO交换机在延迟、功耗、成本、密度等方面均可能占据优势。

  面向GPU Scale-Up的快速恢复OCS采用电Leaf + 光Spine的混合互联架构，由三个平面构成：

  1、高精度同步平面：基于10GE WR实现全集群端口级高精度频率同步和亚纳秒时间同步，为快速恢复提供全局时间与频率基准；

  2、光交换数据平面：采用通道正交分片的并行CrossBar架构。每个32×32硅光CrossBar连接32个Kyber Box在同一通道维度上的输入与输出端口，可独立实现任意一一置换；36个并行Plane分别承载相互独立的通道集合，避免多级共享中间链路产生内部阻塞。在端口容量1:1配置和一对一连接约束下，该架构提供系统级严格无阻塞的全带宽any-to-any连接能力。本文所称严格非阻塞针对输入输出端口之间的一一置换连接集合；多对一incast仍需由电Leaf层的仲裁、缓冲与流控机制处理。

  3、跨层协同控制平面：统一管控同步与数据平面，负责路由预计算、切换调度、链路状态管理，与GPU调度器交互实现业务感知调度。

  完整恢复流程分四阶段：稳态预准备阶段维持全局同步、实时标定光路参数、预计算路由并预加载配置；光开关物理切换期间，接收端并行完成频率保持、CDR状态预置及DSP/EQ参数加载，待新路径输出达到接收机工作门限后，再执行信号依赖的CDR相位重捕获、DSP/EQ微调和链路健康确认；链路验证阶段物理层锁定后上报就绪、链路层快速恢复流控参数；业务回迁阶段流量平滑切回、系统进入新稳态。

  第6章 恢复时间预算与适用边界

  6.1 评估设置

  本文以系统级链路恢复时间为核心评估指标，并通过恢复时间与有效光路驻留窗口的比例关系分析其业务适用边界。评估参数由公开器件结果与工程预算组合得到，不代表完整原型实测数据：高速电光开关器件切换<3ns、含功率稳定稳态时延10~30ns；异步场景光模块扩展重捕获约1000ns；控制面+链路层基线30ns；单链路速率100G。

  设置四级递进评估场景：Baseline异步模型（商用模块热切换，无同步优化）；Synchronized Recovery模型（WR同步+频率保持+CDR局部捕获+DSP参数加载）；Practical Optimized模型（高速电光开关+快速功率控制+协议快速恢复+同步优化，近期可实现目标）；Aggressive Co-designed模型（光开关/SerDes/DSP/协议全栈协同，极限目标取50ns保守上界）。

  6.2 恢复时间优化效果

  四级模型系统级恢复时间对比如表3所示。在频率保持、路径参数可预标定且SerDes支持快速恢复的前提下，同步辅助机制可将恢复时间从微秒量级压缩至约100ns，预算压缩比超过90%；配套光层、控制面与链路层优化后近期目标约80ns；50ns以内为全栈深度协同极限目标，需光开关、SerDes、DSP、协议联合定制。

表3 不同工程成熟度下的系统级链路恢复时间对比

  表注：表中数值为系统级恢复预算，不代表单一光开关器件切换时间。其中光开关/稳态时延包含驱动电路响应、多级开关级联过渡与光功率稳定过程；Aggressive模型依赖下一代高速EO开关、保持频率锁定的CDR、预加载DSP参数和协议状态不重置。

  6.3 传输效率对比

  以100Gbps单链路速率计算：64B裸数据对应512bit，传输时间约为5.12ns；在50ns恢复时间下，小事务传输效率仅约9.29%。1μs burst传输下，50ns恢复时间对应效率约95.24%。不同burst长度下的传输效率对比如表4所示。

表4 不同场景下的传输效率对比

  结果表明：

  1、异步场景下，即使微秒级burst传输效率也不足50%，快速OCS难以体现价值。近期工程优化后，500ns级burst即可达到86%以上的传输效率，可适配多数collective级GPU通信。极限目标下，500ns burst效率可达90%以上，适用场景进一步拓宽。

  2、 上述效率分析基于每次burst伴随一次光路重构的业务模型。需要说明的是，在低频重构场景下，恢复时间仅在光路切换瞬间发生一次，对整体传输效率的影响有限。快速OCS的适用边界主要取决于业务的光路重构频率，而非单纯的报文大小。

  第7章 结论

  本文针对GPU Scale-Up互联场景下快速可重构光交换的系统级链路恢复时间这一核心问题，开展了机理分析、机制设计与分阶段性能评估，主要结论如下：

  第一，面向GPU Scale-Up的快速光交换工程价值不应以单一光开关器件切换时间衡量，而应以系统级链路恢复时间衡量。控制面触发、光开关状态变化、光功率稳定、CDR/DSP/FEC恢复和链路层状态就绪共同决定业务可用时间。若仍采用商用异步热切换和扩展重捕获模式，系统级恢复时间可能处于微秒量级，难以支撑高价值的动态光路重构。单纯提升光开关器件切换速度对系统级恢复时间的优化边际十分有限，研究重心应从器件速度转向系统级跨层恢复优化。

  第二，高精度同步平面和路径先验是压缩恢复时间的核心机制，但其作用边界必须准确表述。纳秒级同步不能直接实现UI级相位对齐，也不能替代CDR和DSP的物理恢复过程；频率同步保持是实现纳秒级恢复的核心基础，时间同步用于约束宏观切换窗口，路径参数先验用于缩小收敛范围，三者协同才能将无先验的全局搜索转化为有边界的局部捕获，将默认初值收敛转化为路径参数表附近的小范围微调，从而显著缩短恢复窗口和guard band。

  第三，百纳秒级恢复时间是近期工程可用目标，50ns以内是全栈协同设计目标。前者依赖高速电光开关、同步调度、路径参数预加载和协议快速恢复；后者进一步要求EO开关、SerDes、DSP、光功率控制和链路协议联合定制。50ns的意义不是支持高频光路重构，而是让500ns级burst、集合通信和内存池化等单次传输持续时间较长的业务进入更高效率区间。

  第四，电光混合架构是快速光交换落地的合理路径。电Leaf应继续承担细粒度包交换、流控、控制报文和异常处理，光Spine则承担大带宽、低功耗、透明转发和高基数互联任务。二者不是替代关系，而是互补关系。快速OCS的工程目标不是消灭电交换，而是在正确粒度上减少高层电交换跳数、降低端到端确定性延迟并改善系统能效。

  本文研究为光交换技术在AI数据中心的落地提供了理论支撑，后续将围绕原型验证与产业适配开展进一步研究。

  参考文献

  [1] CERN. The White Rabbit Project[EB/OL]. (2024-11-15)[2025-10-25]. https://white-rabbit.web.cern.ch.

  [2] Torrijos-Morán L, Xie Z, Calabretta N, et al. Scalable silicon photonic Benes switch architecture for data center networks[J]. Optics Express, 2021, 29(10): 15623-15637.

  [3] Gómez-Hidalgo C, Papadovasilakis M, Fernández-Vicente J, et al. Fundamental building blocks for scalable photonic programmable processors[J]. Nanophotonics, 2023, 12(1): 187-203.

  [4] Li Z, Chen S, Wang Y, et al. 2×2 TFLN-on-Si3N4 electro-optic switch with >100 nm bandwidth and sub-3 ns switching time[C]//2025 Optical Fiber Communication Conference (OFC). San Diego: OSA, 2025: Paper W3F.2.

  [5] 黄水清, 邹俊. 几种算力芯片超节点内互联技术的比较[EB/OL]. (2025-09-25)[2025-10-25]. http://www.iccsz.com/Site/CN/News/2025/09/25/20250925073009857727.htm.

  [6] Jiménez-López J, Moreira P, Alvarez D, et al. 10 gigabit White Rabbit: sub-nanosecond timing and data distribution[C]//2020 IEEE International Symposium on Precision Clock Synchronization for Measurement, Control and Communication (ISPCS). Geneva: IEEE, 2020: 1-6.

  [7] UALink Consortium. UALink specification: an open high-efficiency scale-up interconnect for AI accelerators[R]. San Francisco: UALink Consortium, 2025.

  [8] Kachris C, Tomkos I. A survey on optical interconnects for data centers[J]. IEEE Communications Surveys & Tutorials, 2012, 14(4): 1021-1036.

  [9] 徐明伟, 张晗, 李斌, 等. 数据中心光交换网络技术研究进展[J]. 计算机学报, 2023, 46(5): 1023-1045.

  [10] IEEE Std 1588-2019 (Revision of IEEE Std 1588-2008). IEEE standard for a precision clock synchronization protocol for networked measurement and control systems[S]. New York: IEEE, 2020.

  [11] Qiao L, Tang W, Chu T. 32×32 silicon electro-optic switch with built-in monitors and balanced-status units[J]. Scientific Reports, 2017, 7: 42306.

  [12] Zhong H, Li J, He Y, et al. Ultra-low-power consumption silicon electro-optic switch based on photonic crystal nanobeam cavity[J]. npj Nanophotonics, 2024, 1(1): 33.

  [13] Patronas G, Terzenidis N, Lapukhov P, et al. Optical switching for AI factories[C]//2026 Optical Fiber Communication Conference (OFC). San Diego: Optica Publishing Group, 2026: M3F.6.