数据中心高速铜缆“芯”未来

  本篇文章转自微信公众号“鹅厂网事”，作者：孙敏

  “铜”进“光”退的需求

  伴随着云业务的快速发展，数据中心互联硬件对高运行稳定性和低成本的诉求也越来越强烈。以25G速率的服务器到交换机互联方案为例，主要的连接方式有两种，DAC和AOC。

  DAC(direct attach cable)顾名思义，由于是直连方案，高速通信信号在设备之间传递，处于透传状态，而常用的AOC(active optical cable)由于需要将电信号转换成光信号，再转换成电信号，存在多次信号转换的过程，会引入相应的适配问题，而数据中心互联硬件故障里面因为信号或者协议匹配导致的适配性问题占比在30%以上，而且故障更因定位过程复杂、时间长，严重的会影响数据中心的交付使用。DAC由于装配组件少，结构简单，相比于AOC在BOM成本上有着明显的优势。不仅如此，DAC几乎没有功耗，一根25G DAC的线缆功耗在0.1w左右，而同样速率的AOC功耗在2w左右，相差10倍以上。以20w台服务器接入的规模为例，一年可以节省大几百万的电费。为满足快速交付的要求，数据中心安装布线的时效非常重要，布线过程中必然会存在线缆损伤，从材料及结构上讲，铜比玻璃有着更好的机械应力容忍性，因此，DAC也能够比AOC容忍更多布线过程中导致的损伤。但由于机柜功耗的限制，服务器到交换机的连接距离很多场景下往往需要达到甚至超过7m，所以早期25G服务器到交换机连接的方式以AOC(有源光缆)为主，而DAC(直连铜缆)方案，由于理论上只能支持到5m的应用，使得其应用大为受限。

  25G NRZ的尝试

  在保证低成本的前提下，如何延长铜缆连接距离，有效的方式有两种：一种是基于信号时钟恢复的Retimer方案，一种是基于信号放大的Redriver方案，如下图：Retimer技术原理：

  Redriver技术原理：

  显而易见，以25G为例。在成本，功耗和功能复杂性等各方面，Repeater方案都有着明显的优势，因此我们选择了Repeater方案。

  根据信号传输的特点，我们在多个不同的频点和频率范围进行输出参数调整，使输出信号能够，最终使得极限情况下DAC的连接距离延长到了10m。但是，理论上设计的连接距离，并不意味着最终量产可用，除了成本还要考虑量产一致性和系统的冗余度。通过多轮的测试验证，结合现网故障率容忍度，我们最终确定了25G Linear-ACC的应用范围<8m，这个距离已经可以覆盖25G服务器80%的应用场景。

  最终，25G相关的产品带来了预想的收益，通过DAC+ACC的布线方案，成本相对于传统AOC方案，降低了40%，现网故障率由原来的0.3%降低一个数量级。

  50G PAM4的升级

  对于linear-ACC方案的尝试，25G只是一个开始，无论是方案，还是成本，都还没有做到极致化，进入50G PAM4时代，成本必然进一步提高，而系统对于信号质量的要求也更上了一个台阶，ACC的设计也需要更加精细化。在50G PAM4调制下，我们进一步参与到的芯片设计上，包括整体方案选择、参数调节功能优化、融入降噪技术等一系列的工作。从这一代开始，我们给它一个新的名字TAC(Tencent Active Cable)。

200G 7m TAC产品

  1. 更精细的成本控制

  通信行业硬件成本优化离不开的大原则：单从材料层面上讲，InP比Si贵，Cu比Si贵。跟25G一样，DAC和ACC一定有一个交界点，同样的长度下，ACC一定比DAC便宜;在50G PAM4下，以200G1分2铜缆为例，2.5m就是这个成本变化的交叉点，超过2.5m的铜缆应用，用ACC不仅性能裕量更大，而且综合成本更低。

  2. 系统参数归一化

  IEEE802.3cd要求50G PAM4调制下的线缆满足在13.28GHz下的SDD21小于17dB，而实际大规模生产出来的线缆，超过2.8m长的距离，已经超出这个标准。另一方面，虽然50G PAM4调制下的基准频率与25G NRZ相差不大，但对于信号输出强度更加敏感，中高频的衰减相比于25G NRZ带来的误码代价更高，因此在50G PAM4的应用和设计上我们倾向于更大的冗余度。新一代ACC的设计，我们取名TAC，这里T即有Tencent的意思，也有Tunable的意思，意味着相比25G，我们可以更加灵活的调制线缆的参数，使其与系统更加匹配。需要特别说的是，系统在识别铜缆的过程中，需要对铜缆的SI进行定标，这个定标的过程，我们称之为Training，如果已知铜缆的SI参数，并且参数统一，我们只需要在系统侧输入一个匹配参数，即可快速连接，降低了系统在识别过程中的时间损耗和错误率，并且由此可能带来的链路故障。TAC的最大特点就是可以将不同长度的线缆SI归一化到一个极小的范围，使得不同长度的线缆，看上去就像是同一个规格。这就是“T”的精髓。

  3. 融入降噪设计

  刚刚提到，相比较25G NRZ信号，50G PAM4信号对ACC的性能要求高了很多。首先，PAM4信号单个眼的信号能量比相同幅度的NRZ信号少了9.5dB，所以对Redriver芯片的噪声性能要求提高了。其次，PAM4信号的多电平特性需要Redriver芯片有更好的线性度，从而保持三个眼张开的一致性。最后，PAM4信号比同等波特率的NRZ信号对上升/下降沿的要求更高，这意味着需要更多的高频补偿。用于50G PAM4 ACC的Redriver芯片需要同时实现更低的噪声，更高的带宽和线性度。但是，噪声和带宽以及Redriver提供的高频增益是相互矛盾的，为了解决这个问题，进一步优化噪声和均衡能力之间的折中，我们在新一代的Redriver芯片中加入了噪声抵消技术(Noise CancellingTechnique，NCT)。其工作原理如下图：均衡器里的晶体管在Y点的输出噪声通过反馈网络同相拷贝到了输入X点。另一方面，Y点的输出信号和X点的输入信号是反向的。通过引入前馈网络把X点的信号和噪声进行反相放大并和Y点的信号和噪声相加，可以抵消一部分输出噪声，同时加强了信号本身。在理想情况下(HFF=-1/HFB)，均衡器里晶体管的噪声可以被完全抵消。通过在线性均衡器电路里引入上述噪声抵消技术，晶体管的等效高频噪声减少了30%。通过这个技术，线性Redriver在提高带宽和高频增益的同时没有恶化信噪比(Signal-to-Noise Ratio, SNR)。换句话说，在保持一样的带宽和高频均衡增益时，提高了Redriver的输出SNR。另外，一种新颖的推挽式跨导结构(Push-Pull Transconductance)被用在了新一代线性均衡器里，大大提高了电路的大信号线性度，使得在提高SNR的同时，保持了PAM4信号三个眼的一致性。

  4. 性能实测

  为了验证基于新一代50G PAM4线性Redriver芯片的性能，用7m 28AWG制作的SFP56有源线缆在实验室里测试了S-参数和误码率(Bit Error Rate, BER)，测试环境和结果如下图所示：

  经测试，各项指标已经超出预期，7m 28AWG ACC的回波损耗和插入损耗完全满足和超出了802.3bj标准的要求，COM值达到了6dB。测试接收误码率，不开FEC下BER在10-9量级，远低于标准要求，开FEC下无误码。线缆整体功耗实测小于0.4W，大约是56G PAM4 AOC的1/10。

  结语

  “光”进“铜”退是通信行业的必然趋势，但并不意味着“铜”的消失，在数据中心标准化快速发展，数据中心硬件设计更加极致化的今天，“光”与“铜”需要结合自身的优势，分别承担好自己的“角色”，更好的为数据中心网络服务。