数据中心光互联技术发展及400G光模块测试

一、数据中心的网络结构

  随着云计算和大数据的普遍应用，数据中心作为云计算的核心基础设置，其计算能力和内部数据交换能力也呈现出指数级的发展。

  对于数据中心来说，其内部服务器以及交换机间普遍采用光模块或AOC电缆进行互联。现代新一代的数据中心为了应对数据流量的增长以及兼顾更灵活的扩容升级和冗余备份能力，普遍开始采用以Facebook公司倡导的Spine-Leaf的网络架构，数据中心内部的数据交换和吞吐能力更强，同时网络结构也更加扁平化和密集。

  因此，现代大规模数据中心对于光模块的需求量及光纤资源的需求量非常大，光互联的成本占了网络成本的很大比例，如何选择合适的技术同时兼顾技术发展和建设及运维成本是巨大的挑战。

从技术需求来说，数据中心的光模块选择主要考虑的是传输距离、速率、密度和功耗。

  从传输距离来说，其应用场景主要分为以下几个方面：

  <20m，主要用于机柜内部的服务器和TOR交换机互联，目前数据速率以10G、25G为主，正在向50G或100G过渡。实现方式以DAC(直接连接的铜线电缆)或AOC(有源光缆)电缆为主。

  <500m，主要用于数据中心同一机房内Leaf到Spine交换机的互联。目前数据速率以40G、100G为主，正在向400G过渡。其中100m以下的短距离主要以850nm的多模(MM)光纤为主;100m～500m距离多采用1310nm波长的单模(SM)光纤，出于成本考虑主要采用并行单模(PSM)技术。

  <10km，主要用于数据中心楼宇间交换机或路由器的互联。目前数据速率以100G为主，正在向400G过渡。这个距离上光纤的成本占比已经较大，因此多采用波分复用技术在单根光纤上传输更多路信号，以1310nm波长的粗波分复用(CWDM)技术为主，部分短距离(500m~2km)场合仍可以使用PSM技术。

  >10km，主要用于多个数据中心间的互联(DCI)。目前实现方式以100G+DWDM(密集波分复用为主)，未来80km以上主要采用400G相干通信+DWDM，80km以下也有采用PAM4+DWDM的实现方式。传输波长以1550nm波长为主，通过DWDM方式在单根光纤上实现40～80个波长的复用来达到4T～32T的传输速率。部分短距离(10km~40km)、速率要求不高的场合仍可以使用1550nm波长的CWDM技术。

  二、400G光模块的分类

  光模块是实现数据中心内部光网络互联的关键硬件设备，随着端口数和密度的提升，光模块的成本会占到数据中心光网络成本的接近一半。目前各大互联网公司新建的数据中心已经普遍采用100G的互联技术，并会在未来2～3年内大规模商用400G的互联技术。因此，400G光模块的实现技术成为业界关注的重点。

   从光波长上区分，400G光模块可以分为多模(MM)、单模(SM);从信号调制方式上，分为NRZ和PAM4调制(目前以PAM4为主);从传输距离上区分，400G光模块可以分为SR、DR、FR、LR;从封装形式上，400G光模块可以分为CDFP、CFP8、OSFP、QSFP-DD等。下图是400G光模块的技术分类。

早期的400G光模块使用的是16路*25Gbps NRZ的实现方式(如400G-SR16)，采用CDFP或CFP8的封装。其优点是可以借用在100G光模块上成熟的25G NRZ技术，但缺点是需要16路信号进行并行传输，功耗和体积都比较大，不太适合数据中心的应用。

  目前的400G光模块中，在光口侧主要是使用8路*53Gbps PAM4(400G-SR8,FR8,LR8)或者4路*106Gbps PAM4(400G-DR4,FR4,LR4)实现400G的信号传输，在电口侧使用8路*53Gbps PAM4电信号，采用OSFP或QSFP-DD的封装形式。OSFP和QSFP-DD封装都可以提供8路电信号接口。相比较来说，QSFP-DD封装尺寸更小(和传统100G光模块的QSFP28封装类似)，更适合数据中心应用;OSFP封装尺寸稍大一些，由于可以提供更多的功耗，所以更适合电信应用。

  下图分别是400G-FR8/LR8以及400G-FR4的实现方式(Reference:OSFP MSA Specification for OSFP OCTAL SMALL FORM FACTOR PLUGGABLE MODULE)。可以看到，其电口侧都是8路53Gbps PAM4信号。

  光口侧情况稍微复杂一些，对于400G-SR8/FR8/LR8等模块来说，光模块内部只是做CDR(时钟恢复)以及电/光或光/电转换，因此光口侧与电口测一样，也是8路53Gbps PAM4信号;对于400G-DR4/FR4/LR4等模块来说，光模块内部还有Gearbox(变速箱)芯片把两路电口输入复用成一路信号再调制到光上，因此光口侧的速率是电口侧速率的2倍，即4路106Gbps PAM4信号。

另外，由于多模光纤在短距离传输上的成本优势，所以IEEE也在2018年3月份成立了802.3cm工作组，把之前在业界讨论的用8路(SR8)甚至4路(SR4.2)多模光纤实现400G传输的技术纳入规范讨论中。

  从未来来说，出于成本的考虑，用4路光信号实现400G传输的方式可能会成为主流;同时光模块的电接口也可能会逐渐升级到4路*106Gbps PAM4的形式，以省去Gearbox芯片从而节省功耗和成本。在超远距离(>80km)传输上，以OIF组织正在制定的400G-ZR规范为例，会采用相干通信+DWDM方式实现。

  三、400G光模块主要测试项目

  从前一章的介绍可以看到，400G的光模块普遍采用了PAM4(4-level Pulse Amplitude Modulation：4电平脉冲幅度调制)的信号调制技术，即采用4个不同的信号电平来进行信号传输，每个符号周期可以表示2个bit的逻辑信息(0、1、2、3)。

  因此，要实现同样的信号传输能力，PAM4信号的符号速率只需要达到NRZ信号的一半即可，传输通道对其造成的损耗大大减小，但付出的代价是信噪比会比NRZ信号恶化很多，测量方法也会有比较大的差异。下图是典型的NRZ信号的波形、眼图与PAM4信号的对比。

对于400G光模块来说，其主要的高速接口包含电输入接口、光输出接口、光输入接口、电输出接口，以及其它的电源和低速管理接口。

  因此，对于400G光模块的电气性能验证来说，其主要测试项目分为光口发射机指标、光口接收机容限、电口发射机指标、电口接收机容限、系统测试。

  3.1 发射机测试

  光发射机、电发射机电气特性测试环境如下。

发射机的测量项目又分为光发射机的测量项目和电发射机的测量项目，主要用于验证光口及电口输出信号的质量。

  3.1.1 光发射机测试方法

  主要用于验证被测光模块发出光信号的质量。测试方法如下：被测光模块插在MCB夹具上，上电并配置正常工作;误码仪产生PAM4电激励信号送给光模块一路电输入端，使得被测光模块输出SSPRQ的光信号，模块的相邻电通道上输入PAM4的串扰信号。输出光信号经时钟恢复进采样示波器进行光发射机参数测试。更换其它通道依次测量所有通道光发射机指标。

  TDECQ (Transmitter and dispersion eye closure for PAM4)即发射机色散眼图闭合代价，是衡量光发射机经过一个典型的光通道后PAM4信号功率裕量的损失。正常用于光信号传输的激光器都有一定的谱线宽度，经过一段距离传输后，色散效应就会造成信号中不同波长成分的传输时延的变化。这些不同传输时延的信号在接收端叠加在一起就会造成信号质量的恶化，从而导致接收端的灵敏度下降。

  在10G以太网IEEE 802.3ae标准里，这个指标定义为TDP (Transmitter and Dispersion Penalty) ;在100G以太网IEEE 802.3bm标准里，这个指标定义为TDEC(Transmitter and Dispersion Eye Closure) ;而在针对200G/400G以太网IEEE 802.3bs标准里，这个指标就是TDECQ(Transmitter and dispersion eye closure for PAM4)。

  TDECQ通常用dB表示，对于PAM4信号来说，TDECQ值越小，表示这个信号相对于理想信号的功率裕量损失越小，或者说能在光纤里传输更远的距离。根据802.3bs里的定义，TDECQ的参考测试方法如下图所示：

在测试中，被测件产生SSPRQ码型的光信号，然后经过测试光纤进行传输。被测信号经光纤传输后进入测量用的采样示波器，采样示波器一方面通过符合规范的CRU(Clock Data Recovery)电路进行时钟恢复，另一方面把被测光信号经过参考滤波器后进行采样。采样后的波形要进行5阶FFE的信号均衡，然后以CRU恢复时钟为基准形成PAM4信号眼图。

  眼图形成以后，再根据信号眼图的光调制幅度(OMA)、信号幅度噪声(R)、以及和误码率要求对应的外推系数(Qt)根据公式计算TDECQ的值。

  下图是在采样示波器里对均衡后光信号的参数进行OMA、ER、TDECQ等参数测试的例子。我们可以看到，尽管很多测量参数的定义非常繁琐，但基于示波器里的PAM4测量选件，使用者不需要繁琐的操作，就可以快速得到需要的测量结果。

3.1.2 电发射机测试方法

  主要用于验证被测光模块电口输出的质量。测试方法如下：被测光模块插在MCB夹具上，上电并配置正常工作;误码仪产生PAM4电激励信号送给光模块一路电输入端，光模块相邻电通道上输入PAM4的串扰信号。输出光信号环回到光接收机，并测试其电通道输出的PRBS13Q信号参数。

  眼高(Eye Height)和眼宽(Eye Width)是400G光模块电信号质量测试的重要参数。在IEEE 802.3bs规范中，定义眼图测试时使用PRBS13Q的PAM4码型。被测点输出的信号经过参考均衡器和时钟恢复后叠加形成眼图。因此，合适带宽的示波器、正确的均衡器以及可靠的时钟恢复对于PAM4信号的眼图测试至关重要。而对于Module输出端的测试来说，还需要模拟出信号经过Host内部走线损耗对于信号的影响，所以测试中示波器还需要在捕获到的信号上叠加上约6.4dB的传输通道损耗。

  由于PAM4信号会形成3层眼图，所以对每层眼图要分别测量。在IEEE 802.3bs规范里，定义以中间层眼图的中心位置为参考点计算眼高和眼宽。在测试过程中要更换不同的均衡器的值，并根据信号的噪声和抖动概率分布来计算等效的眼高和眼宽，这是一个非常复杂的计算过程，这里不做具体论述。

3.2 接收机及误码率测试

  发射机的测试项目主要用于保证光模块的光口和电口输出信号的质量。严格来说，还需要验证光模块的光口和电口接收信号的能力。

  光模块接收到的光信号通常经过很长距离的光纤传输，接收到的光信号上可能叠加了各种抖动和噪声，所以光接收机测试可以用于验证被测光模块对于恶劣光信号的容忍能力。

  同时，光模块需要从电口接收交换机或服务器发送过来的电信号并转成光信号发出去。由于电信号经PCB、连接器传输会产生较大的损耗和发射，所以电接收机测试项目可以验证被测光模块对于恶劣电信号的容忍能力。

  3.2.1 光接收机测试方法

  IEEE 802.3bs规范中对于光接收机的压力容限测试方法描述如下：通过参考的PAM4信号源与抖动、噪声、码间干扰注入源，以及参考的光发射机产生所需的光压力信号。

  对光压力信号由外围消光比OER，外光调制幅度OOMA和压力眼图闭合代价SECQ来表征。PAM4光压力信号首先由一个参考光接收机进行校准，以确保其参数符合规范要求。这个接收机包含符合规范要求的理想4阶贝塞尔-汤姆逊低通滤波器，规范要求的FIR均衡器以及时钟恢复功能。

  校准后的光压力信号输入被测接收机的一个通道，被测接收机其余通道输入正常通信的光信号。最后由被测光模块环回电信号到误码仪的误码检测口，或通过接收机内部的误码统计功能进行误码和压力灵敏度等测试。下图是400G-DR4光模块的光压力眼图测试框图，以及各部分对应的测试仪表。

3.2.2 电接收机测试方法

  IEEE 802.3bs规范中对于光模块的电输入口的压力容限测试方法描述如下：通过参考电发射机(通常是码型发生器)以及抖动注入源、码间干扰源和串扰源，将压力电信号输入MCB夹具。之后将参考接收机(通常是示波器)通过HCB夹具与MCB夹具连接在一起，对压力电信号进行校准。

  参考接收机包含符合规范要求的理想4阶贝塞尔-汤姆逊滤波器，规范要求的CTLE均衡器以及时钟恢复功能。PAM4电压力信号由眼图对称模板宽度ESMW，眼宽EW，眼高EH和附加正弦抖动SJ的频率和幅度来表征。经过校准的电压力信号接入被测模块电输入口被测通道，并由模块内的FEC误码检测功能进行误码与接收容限测试，或将信号环回输出至外部的误码分析仪进行分析。

下图是测试中用到的实际测试仪器。

3.3 系统测试

  系统测试的主要目的是验证被测光模块配合交换机工作时，在真实的业务流量情况下的误码率以及错误容忍能力。400G的光模块普遍采用了PAM4(4电平调制)技术，虽然减少了高速信号传输需要的带宽，但由于信噪比的恶化，使得其原始误码率很难达到传统2电平调制时1e-12的水平，所以其原始误码率的要求比较低，比如IEEE 802.3bs中对于光口误码率的要求仅仅为2.4e-4。

  很多通信过程在这么高的误码率情况下是无法正常工作的，所以FEC(前向纠错)技术被普遍采用。FEC是通过在数据块里插入一些冗余的校验bit，可以对随机产生的错误bit进行修正，从而保证最终数据包的丢包率在可以接受的范围之内(<6.2e-11)。

  因此，系统测试中需要对光模块的原始误码率以及经过FEC修正后的丢包率都进行测试，并验证在出现已定随机错误符号或者频率偏差时系统性能是否受到影响。典型的系统测试环境如下：

其测试方法如下：在数据流量测试仪上发送64字节长度连续数据帧，FEC修正前的BER值应小于2.4e-4;在流量测试仪上运行以太网流量测试软件，并发送64字节长度、100%线速率的数据帧，累积至少1e+12个数据帧后，读取端口的Frame Loss Ratio值应小于6.2e-11;在流量测试仪上进行FEC后单个或多个(<15个)的误码注入，并验证经FEC后的误包率满足802.3bs的规范要求;在流量测试仪上对速率进行100ppm的调整，并验证误码率和误包率满足802.3bs的规范要求。

  下图是进行FEC修正前的误码率及FEC修正后的丢包率测试的例子。

四、测试仪器

  4.1 高性能采样示波器(光/电眼图仪)及时钟恢复

  高速采样示波器主要用于光发射机的光眼图测试、光模块以及AOC的电眼图测试等，也可以用于未来电接收机以及光接收机容限测试中的信号校准。眼图仪的测试需要和信号同步的工作时钟，当被测件无法提供同步参考时钟时，需要光/电时钟恢复模块从被测件恢复时钟才能进行测试。

Keysight N1000A系列是在原86100D基础之上再续经典的采样示波器系列，它可向下兼容原有86100D平台上的模块，与高带宽并内置CDR, PTB功能的N1060A模块组合使用是研发阶段的调试利器。N1092系列光/电采样示波器和N1077A/N1078A光/电时钟恢复模块是市面上集成度最高、功能最灵活的高速光/电眼图测试仪器。其主要指标及特性如下：

  单模/多模光口测试：工作波长范围830 至 1600 nm

  光通道速率：支持25G/28Gbps NRZ、53G/56Gbps PAM4、106G/112Gbps PAM4光信号测试

  灵敏度：-11dbm @850nm;-12.5dbm@1310nm

  差分电口测试：集成差分50GHz带宽电口，支持32Gbps NRZ和64Gbps PAM4的电眼图测试

  固有抖动：≤200fs rms

  时钟恢复：支持32Gbps NRZ和64Gbps PAM4的光/电时钟恢复

  多通道扩展：通过电脑USB口控制，可连接多个模块;测试软件支持最多8个测量模块、共32个光或电通道的并行眼图测试。

  软件功能强大：支持100GE 802.3 发射机各种参数的测试，包括抖动TJ, DJ, RJ, PJ, DDJ, ISI, BUJ, J1~J9, UJ, F/2, TI, DI, RI, OMA, Q值及 RIN, RIN&OMA 等测试，还包括802.3bm标准中对多模信号的TDEC测试，以及400G PAM4 信号波形参数的测试以及TDECQ测试等。

  和Keysight 误码仪以及其他光学仪表配合，可以测试100G或400G光接收机的压力容限，是业界唯一可以提供所有压力容限测试方案的厂家，保证了未来测试系统的平滑升级。

  4.2 高速PAM4误码仪

  高速误码仪主要用于光发射机(光眼图)测试中产生高质量的电信号激励以及误码率测试，也可以用于电接收机以及光接收机容限测试中产生带抖动和压力的电信号验证接收容限。如果仅仅进行光眼图或电眼图测试，可以用经过验证的高质量的流量测试仪产生电信号激励。

Keysight M8040A误码仪是市面上性能最高、最灵活、连接最简单的NRZ及PAM4误码仪，其主要特性和指标如下：

  高速电信号产生：单机箱内可以产生1～2路32Gbps的NRZ信号产生，可以升级64Gbps的PAM4信号或128Gbps的PAM4信号功能用于400G模块测试。

  高速电信号误码检测：单机箱内可以支持1～2路32Gbps的NRZ信号误码率检测，可以升级64Gbps的PAM4信号或128Gbps的PAM4误码率检测功能用于400G模块测试。

  光压力眼测试：可以升级100G、400G光模块的光压力眼测试及自动校准功能。

  预加重：可选内置4阶NRZ/PAM4信号预加重。

  抖动注入：可选内置NRZ/PAM4信号的PJ、RJ、BUJ等抖动注入

  线性度调整：对PAM4信号3个眼高可独立调整。

  接收机均衡：内置可调CTLE均衡器，用于优化误码接收。

  自动抖动容限测试：可根据事先设定参数自动调整注入到信号上的抖动频率和大小，并根据误码率变化自动扫描出抖动容限曲线。

  PRBS码类型：2n-1, n=7, 10, 11, 13, 15, 23, 31等。

  自定义码型长度(每通道)：2Gbit(NRZ)或1G 符号(PAM4) 。

  4.3 数据流量测试仪

Keysight公司的数据测试仪表通过测试仪机框插入测试业务板卡的方式完成组装，并根据插入的不同测试业务板卡提供不同的测试能力。

  Novus测试业务板卡提供QSFP28接口，K400测试业务卡提供QSFP_DD测试接口。

  QSFP28测试业务板卡支持根据IEEE协议，提供扇出(即FAN-OUT) 能力，每个QSFP28接口支持扇出成4个25GE速率SFP28接口，相关协议标准为IEEE 802.3 100GBASE-R、IEEE P802.3bj、IEEE P802.3bm、IEEE P802.3by。

  K400测试业务板卡支持400G、200G、100G PAM4速率转换。基于QSFP_DD支持前向纠错(FEC)端口统计，具体的包括: Total Bit Errors, Max Symbol Errors, Corrected Codewords, Total Codewords, Uncorrectable Codewords, Frame Loss Ratio, Pre-FEC Bit Error Rate, and Codeword error distribution analysis;协议以为KP4 RS-544。

  支持对400G前向纠错(FEC)注入差错。

  支持L1 BERT测试。

  五、总结

  综上可见，数据中心的光互联网络正面临从100G到400G的过渡，针对不同应用场景的技术也在彼此竞争。400G光模块作为未来数据中心内部光网络互联的关键硬件设备，也面临速率、功耗、体积、成本等方面的挑战。同时，PAM4、FEC技术的广泛采用也使得400G光模块的测试和评估方法与传统的100G光模块有比较大的区别。为了保证其在有限成本和功耗下的性能，需要对其光口、电口的输出质量、接收容限，以及承载真实业务数据下的误码率等表现进行详细的测试，以保证设备间良好的互联互通及可靠数据传输。