腾讯开放光学平台（TOOP）：大道至简，衍化至繁

      本文转载微信公众号“鹅厂往事”，原创作者：李方超

  ICC讯 TOOP(Tencent open optical platform)，近日TOOP硬件家族又添新的成员，TPC-4开放电层产品!其实它是基于原有OPC-4平台子框进行开发的，通过设计一款电层板卡T2X4C8来实现传送功能，其特点是采用基于400G CFP2-DCO线路侧方案，实现相干器件分离设计。每块T2X4C8单板可以支持两个400G线路口，8个100GE客户侧端口。在2U的机架空间内可以容纳4块业务板卡，600W+的功耗能提供3.2Tbit/s的互联业务容量。每个线路口使用64 GBaud 16QAM调制，在单个波长上传输400Gbps的数据，并且可以在75GHz波道间隔上调谐至64个波长通道，从而在单根光纤上实现高达25.6Tbps的总传输容量。

  对于多跨段系统或大损耗跨段，可以采用200G QPSK调制方式来提升传送性能实现复杂跨段场景的应用 。凡支持Tencent CFP2-DCO MSA的DCO模块均可在T2X4C8上应用，即电层核心器件也是开放解耦的!至此我们的TOOP算是实现了波分系统的全部功能模块，同时彻底的将原有波分系统的封闭实现了全面的开放。

  TOC(腾讯光网络控制器)+ OPC-4(开放光层产品)+ TPC-4(开放电层产品)将为腾讯今后数据中心互联提供强有力的基础能力支持。但这一切也仅仅是开始，后面还有很长的路要走，TOOP到底做了个什么事?为什么要做TOOP?为什么要彻底开放?今天我们就来聊聊，TOOP以及它的未来。

  TOOP诞生的背景

  大家看到，随着数据中心业务的爆发式增长，数据中心互联需求已经在过去的若干年里给光传输设备带来显著而不同以往的特点。不同于传统电信级光通信设备，数据中心互联设备有高带宽，接口开放，简化运维，快速部署，网络应用模式固定等特点。传统的波分设备，各商用设备差别较大，在产品应用设计上没有统一标准。就像MAC OS和Windows的差异一样，每一个厂商有自己的一套逻辑。这样的差异化导致使用者要付出额外的学习成本。每多一个厂商，需要重新的培训。这就导致传统波分系统在多厂商、规模化部署时对运营成本带来了很大的挑战。

  同时，我们注意到在数据中心互联场景应用中，如上图所示，波分系统在数据中心网络结构中位于最底层，提供节点间的互联。单个网络平面内，IP设备可以是多供应商来源混合部署，即不同节点的IP设备可以是来自于不同供应商。波分设备通常每个平面采用单一供应商进行组网，波分系统长期以来处于一个相对封闭的系统。一个平面全部为单一来源时，当发生供应商风险时，运营团队将面临十分棘手的状态。TOOP也正是基于这样的原因而诞生，为降低数据中心互联这一类用户的运营复杂度与提高系统健壮性的痛点而生。

  那TOOP给我们带来了什么?

  波分系统是由光层、电层设备组成，到底他们的区别是什么呢?从功能上区分，光层设备是提供不同波长的光信号的合并与分离、光信号的监控与管理，以及光信号的放大的作用。简单的来理解就好比是高速公路，光层设备合分波器件就相当于高速公路入口与出口的收费站，将不同车道的车汇聚进入高速公路，同时收费站也提供从高速公路驶离的出口。高速公路沿途的电子眼、道路指示牌就类似光层设备提供的监控与管理功能，保证每一辆车都按照规定速度行驶，各司其咎。沿途的加油站就相当于光层设备的光放大器，提供光信号的供功率补偿。而波分系统电层设备功能就很专一了，就是负责将客户侧信号(交换机/路由器的100GE/400GE端口)通过一系列的信号处理算法调制成可以在光纤中传送的光信号，例如TOOP的自研电层产品，T2X4C8单板可以提供2路400G 16QAM信号，即可将8个100GE的交换机端口数据封装到2个400G的波分线路侧端口中用于传送。电层设备呢就好比跑在高速公路上的货车，一辆辆车传输着来自交换机的数据包。

  TOOP可以解决什么呢?传统的波分系统就好比，波分厂商自己修建了自己的高速公路，且这条高速公路只能跑自己厂的货车，其他厂商的货车即使能驶入，也无法被监控和管理系统所识别，导致维护这条高速公路交通的工作变得十分麻烦，如果车辆发生召回事件或者批次问题时，面临很大的系统稳定隐患。TOOP呢改变了这个游戏规则，我们自己修建了可以支持任意货车的高速公路(OPC-4)，并且通过对每辆货车简单的加装标准化监控协议(Tencent Yang module)实现了多厂商车辆在我们的道路上安全有序的行驶，在TOC(腾讯光网络控制器)的指挥下让指挥调度人员(NOC运营人员)可以快速、安全的无差异化的监控不同厂商的货车并将货物送抵目的地。这就是TOOP第一阶段所解决的问题，无论下面硬件是来自“方块、圆圈、三角、菱形”，都可以无差异化的在统一的TOOP控制器下管理，“软硬解耦，大道至简!”即，传输系统在TOOP框架下是一个开放的场景，光层与电层完全分离，需求量与成本最高的电层产品在TOC(控制器)的协助下通过打破封闭从而将单一来源的风险解除。同时TOC配合Tencent Yang的管控模型，将差异化在控制器与设备北向层面完全屏蔽，极大的减少了我们对不同供应商产品的学习成本。

  光电解耦喊了很多年了，为什么还要搞TOOP，搞自研波分硬件?

  随着14年～18年移动互联网的全面发展，数据中心互联带宽急剧增长，随之而来的网络规模也成倍增长。因为出于成本与供应链安全角度，我们引入了多供应商的策略，但随之而来的管控与运营成本问题愈发凸显。同时波分系统的封闭性，也导致老系统扩容成本居高不下;这些因素导致我们需要更好的解决方案来应对如此爆发式的增长，在传统方案局限性凸显的情况下，我们走上了TOOP的道路。

  18年的时候我们启动了TOOP，也定下了一个愿景，“让价值回归其根本，让技术回归其应有的位置。”我们的目标是打造一款好用的光网络产品，我们对此还是很有信心的。因为没有人比我们更了解我们的需求，我们是在打造更符合我们需求的软硬件产品。包括在成本上帮助我们节约CapEx和OpEx即资产采购成本和运营成本。我们开始给波分设备作减法，因为它太复杂。我们从几个角度来对TOOP硬件产品进行设计：

  ● 删减不必要功能，例如TPC设计时，我们不做overhead开销处理，降低复杂度，仅通过MDIO对DCO寄存器对应PM数据进行抓取，包括LLDP、PM等全量数据进行抓取;

  ● 增加人性化设计，增加LCD、Button等提示与反馈按键，实现现场操作时可以与NOC相互确认，避免误操作;

  ● 增加精细化运营功能，通过gRPC反馈回臂，实现1秒telemetry推送，OPC与TPC每秒上报各采集点的性能数据，这些数据将协助我们做告警事件分析;

  ● 提升快速交付能力，通过高器件集成度设计，减少板卡类型与架内尾纤的数量，提升交付效率。同时产品含包装小于23kg重量符合单人搬运限制规定，连接器与安装套件精心设计减少部署环节的时间成本;

  TOOP采用集中化控制的思路，TOC为国王角色，OPC与TPC为臣民的角色。硬件设计就如同传感器一样，采集数据回传给控制器，由控制器进行决策。这样减少硬件OS内开发工作量，降低bug与系统的复杂度。

  安全方面我们设计选用了符合电器规范的带屏蔽盖的LC法兰，当光纤拔出时端口会立即自动闭合，实现Class 1M的激光安全规范。同时所有功率会超过Class 1M限定的端口均支持APR功能(自动功率衰减)，对于OA单板的系统口我们也设计了反向ARP功能防止意外发生。

  当然这些描述起来是很容易，但做起来是十分复杂和困难的，器件的选择、功能的取舍都是难点，在这过程中也体现了光器件行业的痛。以单波速率400G的电层产品来说，oDSP的开发，IC-TROSA的开发国内少有人做，在深入到ADC/DAC的IP基本上还是来自于北美。说到国产化程度最高的光层器件，高维度WSS也还没有成功攻克，甚至一个LC法兰也是有专利保护。这些问题在与商用系统厂商沟通中或多或少的影响我们定制化需求，这也是我们做自己的硬件的原因。我们理解商用系统厂商面对众口难调的难处，导致目前的产品面对IDC应用的需求还有一些优化的空间。当然TOOP也欢迎各商用系统商一起加入进来，希望可以一起推动产业的发展。

  TOOP用互联网思维方式设计通信产品

  OPC-4是TOOP产品的第一个硬件产品，这个是一个通用的光层平台产品。我们在设计这款产品时选用了很多创新产品与一些高品质器件，就像我们的愿景一样，让价值回归其根本，让技术回归其应有的位置。其主要特性如下：

  ● 体积小巧，便于部署，可以安装在19英寸、600mm深的机柜内，同时散热与安装方式适合数据中心场景等多种不同场景应用

  ● 高集成度设计，单个子框实现OMSP的部署

  ● 端口标识具备防错插/拔设计，减少误操作造成的业务损失

  ● PANEL设计有状态显示LCD屏幕，显示当前告警状态，屏幕依据告警级别进行对应颜色显示，同时常态显示本机管理IP地址，用于定位子框使用

  ● 设计有反馈按键，按键操作会触发Notifaction至NOC，TOC上会显示该设备被操作，配合PANEL的LCD屏幕，每次现场对设备进行操作时可以通过反馈确认，并根据屏幕显示开始/停止内容进行操作，减少误操作的可能。同时按键支持查看重要线路状态信息，包括OPS工作路由，A/B路接收功率等

  ● OPC 系统逻辑设计有维护状态模式，便于现场人员确认并识别子框信息与状态，即子框、子卡、电源、风扇单元具备提示指示灯，NOC人员可以通过预设提示状态指引现场人员进行对应部件的识别确认操作

  ● 无源背板设计，减少子框故障的可能，设备主控单元CU支持1+1热备，CU选用多核高性能处理器，单板与器件内置flight recorder功能，实现硬件原生支持故障异常可溯源，器件寿命到期前警告

  ● 电源单元支持1+1热备，支持多种电源规格，AC 100~230v / HDC 230v，DC -48V电源系统

  ● 支持50GHz间隔96波系统 / 75Ghz间隔64波系统 / 以及Flex Grid(50GHz +/- 6.25GHz)的系统

  ● 高性能 OCM 支持500ms内完成 C 波段扫描，OTDR 支持 36dB 跨段的探测能力

  ● 高性能 EDFA 覆盖多场景跨段需要，宽增益调节范围7～32dB可调节，其中15～30dB为平坦增益范围 (NF<6.5板卡SIG ?àLINE)

  ● 1s 级别的 Telemetry 能力，全部 PM 采集点支持 1s 级别的数据推送(包括OCM、各节点端口PD、温度、风扇转速、增益、平坦度、激光器温度、偏置电压电流等全部可读取节点)

  ● 1GE的OSC交互带宽，灵活的管理网接入方案及DCN方案，支持OSPF协议

  ● 支持基于Netconf协议的管控方案，以及Tacacs+的认证机制

  ● 原生支持 Tencent Yang model

  ● 支持电层板卡混插实现TPC-4功能

  化繁为简，减少误操作的可能

  OPC-4的一些功能源于现场运营的痛点，我们在设计时牺牲前面板宽度增加了一个PANEL子卡。

  PANEL板卡上有LCD屏幕与Button按键。PANEL会显示当前运行告警，按照告警级别匹配对应颜色。Button作为交互信息按键，提供网络运营中心NOC与现场维护人员的确认/反确认的能力。出于安全考虑IDC可能没有做手机信号覆盖，亦或噪音很大的情况下难以通过电话说清信息。通过button，现场运营人员点按Button后，NOC会在TOC上收到事件提示，显示该设备被人触碰，从而确认所维护的设备是否正确。NOC也可以下发简单命令信息如“GO，STOP，NEXT STEP，OK”等信息，通知现场人员可以进行操作或者停止，来避免产生误操作的可能。

  真能有人找错机框?会有人拔错板卡吗?不幸的是，这个答案是肯定的。其实我也有过类似的疑问，经历过这么巧合的故障后发现，人是运营环节中的一个不可靠因素。其实就如同法航447空难一样，人在紧张的情况下是不可靠因素，特别是面对复杂的设备很容易发生误操作。现在大多采用双平面组网方案，平面A故障时，如果误操作了平面B带来的损失将是极大的。如何通过系统有效规避误操作是OPC-4设计时重点考虑的一个因素。

  除了PANEL之外，对于OPC-4上的端口，通过丝印设计进行提示，OPC与TPC产品的丝印遵循色标含义。连接外线光纤的端口为红色丝印;本子框内互联的端口为蓝色丝印;不同子框间互联的端口为绿色丝印。同时默认配发的是单管双芯跳纤，成倍数的减少光纤布防的数量，精简现场操作。相比传统设备安装调测可能需要数天，我们曾经计时对比，开通1.6T带宽业务，从库房拆箱开始计时，1个人耗时2个半小时完成单个站点的调试与业务开通，极大的缩短了业务交付的时间。

  将复杂留给设备内部，精简留给用产品的人

  波分设备长久以来是需要专业人员运维的，即使波分系统一直是通过UI界面的网管进行操作，但不同厂商的网管也有着各样的设计。从架构方案设计、现场工程交付、后期故障运营维护，人性化缺失在各个环节。总结其原因，还是单一系统承载了太多需求，同时满足各家需求时往往产品会非常繁冗。因此需要专业团队来维护这样一个封闭的，复杂的系统。我们能否化繁为简?答案也是肯定的，通过内繁外简的思路，将传统设备众多功能的板卡集成在一块板卡中实现。精简信号流关系，减少架内连纤数量，我们可以看到，传统设备一个光方向可能需要36根光纤，而OPC-4 将这些复杂的功能小型化集成在单一板卡内时，一个标准OMSP应用也仅仅需要5根双芯纤实现。节省下来的是复杂度，在进行故障排查时会减少难度，对于工程建设也会缩减工作量。

  OPC系统是如何做到这一点的呢?

  以线路放大器单板ILA-SWG为例，一块单板相当于传统设备5块业务单板的功能。OPC-4的OA-SWG单板内置2块高性能OCM、OTDR、OSC、VOA、无缘滤波器、双向的PA单元。每一个器件在传统设备中都是单独以板卡形态存在。以BA/PA为例，我们选用了高功率Switchable gain EDFA，输出功率高达23dBm，增益范围支持7～32dB可调节，其中平坦增益段支持15～30dB可调(NF < 6.5)，这个噪声系数是EDFA单板的噪声系数，相当于传统设备的一个光方向的噪声系数。

  采用可切换分段增益EDFA的好处是，一块板卡实现适应众多跨段，传统的光层产品，以华为OSN系列为例，光放种类高达十余种，即使是较为常用的也有OAU101～OAU107之多。每次进行架构设计时需要根据光缆工勘结果进行配置，不同跨段损耗，配置不同增益范围、输出功率的OA，对应备件也应配置相应的OA，因此对于系统设计复杂度，维护便利性均带来了很大的挑战。传统波分系统的各功能均采用独立单板设计，单板之间通过架内尾纤进行连接，维护人员需要根据图纸进行操作，端口设计密集操作难度大。OPC-4的单光放设计规避了这些问题，高集成度，一块单板解决众多应用场景，精简设备连纤，端口采用色标标记，逻辑清晰方便开站应用。采用新器件、新技术来解开操作的繁琐的难题。器件与设计繁冗但操作简便，是OPC-4的一个特点，我们相信随着网络规模增长降低运营成本将会更划算。

  对于OPS光保护单板我们也做了全新的设计，并融入了重量级功能——倒换精准计时。我们在OPS单板的每个端口均增加了PD，这个也赋予我们一个能力，OPS在发生了主备路由切换时，OPS单板可以精确的计算出切换的时间，即光切换瞬间丢失信号多次时间，并通过切换时间上报给TOC腾讯光网络控制器。结合TPC的同样的保护倒换瞬态业务丢失计时功能，我们可以精确的知道，一个保护倒换在光层上丢失了多少ms，在电层上丢失了多少ms。并借此可以定位故障，比如当OPS显示0.7ms完成切换，而电层设备的DSP记录到resync时间达到了1-2秒，那我们有理由相信，可能OTU单板的入光功率接近灵敏度了，或者线路OSNR余量不足，需要进行线路或者系统优化。这样我们可以精准的记录系统的每一个细节变动，这是精细化运营的基本要素。每一次网络抖动我们都希望知道真实的发生了什么，波分层、underlay层网络、overlay层网络，每一层上面业务损失了多少时间。为什么损失我们希望调查明白，这样当发生故障时，我们知道整个系统的SLA是否可以保证，分配给波分系统的50ms是否可以守住，这个从硬件层面我们做了这些工作来理解切换的那一瞬间到底发生了什么。

  其实类似的细节设计还有很多，我们重新定义了光网络硬件设备的PM信息。OA、ILA、OPS、WSS、T2X4C8电层单板，包括即将发布的CMUX-64(支持Flex-grid的合分波板卡)均支持全量PM数据的1秒级别的Telemetry。

  TOOP硬件层面原生支持1秒及telemetry的性能采集是什么意思?传统波分设备仅有15分钟及24小时性能记录，这样的数据经常的给我们带来故障判断的困扰。从故障分析、硬件故障预判方面1秒级的telemetry让TOOP系统大有可为。这个赋能让我们头一次彻底的在微观层面，在秒级尺度上进行了故障描述。以前我们常遇到光缆抖动一下，瞬间业务有丢包，但是寻找故障并无法得知具体原因，因为PM数据无法给到更精确的信息，这些故障统一的归类给光缆抖动因素。但是现在，我们可以在光域、电域内进行更微观尺度的检查，精准定位到底是光缆真的发生了瞬间的抖动还是激光器存在异常。

  TOC—TOOP项目的精髓

  所谓大道至简，衍化至繁。当前TOOP的成功部署，其实仅仅是个开始，我们用了2年时间，日以继夜的设计、开发、测试实现了这个系统由0至1的迁跃，而这也为TOC(腾讯光网络控制器)带来了无尽的想象，我们做到了对光网络的数字化转变。TOC这里我们有太多的创新与设计，待后续单独呈现这部分内容。基于反馈回臂所带来的海量PM数据，我们现在每周可以抓取到数百G的运行数据，这些数据都是基于我们类似传感器一样的各个器件所反馈回来的性能数据。我们希望能够通过机器学习的方式将这些数据利用起来，我们有燃料，我们需要火箭来燃烧他们，与我们寻找未知的高度。有相关愿景的小伙伴们可以联系我们哦，欢迎加入我们一起改变世界!

  (例如，下图中的每一个细点都是那一秒的PMD数据。让我们试想一下，光缆收到应力作用PMD会发生变化，原理是光缆因施工或其他因素产生应力变化，从而产生双折射。进而有没有可能我们从DSP的数据中采集到这个变化，基于这个数值，我们是否可以推断出现场有施工?或者两条光缆是否统一时刻产生了类似的问题，是否是同路由?当然从更精确的角度来看，我们也在推动DSP供应商上报SOP等信息，震动是否可以带来更具有价值的数据?)

  电层核心器件解耦，TOOP彻底拥抱开放

  在19年OFC上，我们看到业内在7nm芯片DSP(数字信号处理芯片)上推出了两款产品，即低功耗版本和高性能版本。其中低功耗版本应用于DCO模块，主要是为400G-ZR产品设计，应对80km的传送距离的需求。但是如大家所知，国内的环境与海外有很大的不同，海外的城市规模较小，数据中心相距较近，光缆损耗相对较小，因此400G-ZR的应用十分适合。而国内城市相对大很多，轻轻松松的在城市内光缆距离超过100km，同时光缆损耗较大以及光层保护的加入使得400G-ZR性能不足以满足场景需求。我们发现这款低功耗的DSP如果采用高性能的FEC(前向纠错编码)配合模块内置SOA或EDFA实现高功率输出时，其性能相比传统的波分设备并没有相差太多，可以轻松的应对城域网的应用环境，而成本相比400G-ZR并未增加太多，同时考虑到100GE的应用还有大量需求，因此TPC-4平台的第一块业务板卡T2X4C8的设计概念就浮现出来。基于这个背景，我们又结合了此前我们已经自研的光层设备OPC-4产品，采用相同的平台子框去支持这块T2X4C8板卡，减少重复研发的成本，并加速研发速度。

  不同的光学前端ITTRA+DSP的组合让我们有了更多的选择余地，我们可以更好的挑选相应的组合，也可以更好的把握不同器件的特点，比如硅光的低功耗，磷化铟高带宽性能。从最底层进行波分系统的设计从而实现对需求的准确把控，这也是TOOP所带来的价值。相比传统的5x7英寸相干模块来说，DCO的方案成本具有一定优势(相同速率情况下)，两者的发货量有着非常大的差距。虽然5x7模块的性能更好，短距离应用可以提供更大单波速率，但是在光缆距离较长，应用OMSP保护的场景下400G DCO可以充分发挥其价值。我们输出了Tencent CFP2-DCO MSA，继而实现单一OTU板卡支持多厂商相干模块的能力，在避免供应商危机、批次故障方面具备了相当灵活的可能性。硬件解耦后最大的收益是控制器开发工作降低，以前每一款新的板卡引入，均需要对其进行适配、软件测试、硬件系统测试等一系列工作。通过在板卡层面屏蔽硬件差异性，标准的MSA保证电器性能与管理接口可控，极大的释放了控制器研发的需求量。对于运营也十分便捷，统一软、硬件架构，像管理客户侧光模块一样简单。这就是拥抱开放所带来的好处，也是TOOP的愿景“让价值回归其根本，让技术回归其应有的位置。”，让我们通过技术方案的创新来降低成本，而不是通过使用廉价器件，正所谓工欲善其事必先利其器，好的设计与品质器件选择将帮助我们降低故障发生的可能。

  TOOP的未来

  软硬解耦，大道至简之后，便是衍化至繁。这里的繁是繁华的意思，功能多而不杂，产品优而简洁是我们TOOP设计的目标。TOOP硬件产品有2个事情近期将实现，一个是对于Flex-grid的支持，一个是20维方向调度能力的支持。以前对波分业务开通调整，需要现场配合，扩容和故障替换的效率也因此而受到影响，能否做到真的Zero-Touch，资源池储备后按需投产，通过技术换来一种从容感。

  另一方面，开放解耦后我们面临一个问题，即OTU是否需要互联互通，即FEC的统一。我们知道OIF等一些组织在推动FEC的标准化，但我们认为，FEC和其他一些算法的差异性也恰恰是波分系统的精髓，趋同有时未必是一件好事。同时巨头的垄断可能让市场丧失创新性，标准成立前和成立后对不同玩家会带来不同的影响。因此腾讯不会强迫各厂商去支持相同的FEC，可由此而来的端到端设备同供应商的问题我们通过TOOP产品解决。即Colorless实现现场电层设备无规则任意连接，电层设备安装后，可以随意的在CMUX-64单板对应的端口上进行连接，无需考虑波长的因素，连接好后系统会自动的对齐两端波分设备，实现即使没有相同FEC，系统也可以自动的无需人员干预的实现端到端业务的创建。

  对于更远的未来，多维度大容量CDC、L-band、800G,我们会根据需求进行开发，TOC会给予整个网络更灵活与更智能的变化，我们相信光网络的未来会朝向智慧互联发展，期待着大家一起来讨论，共同推动产业的发展。