数据中心建设方案（二）

　　根据以上新一代数据中心网络的技术要求，必须对传统数据中心所使用的常规以太网技术进行革新，数据中心级以太网(Data Center Ethernet，简称DCE)技术由此诞生。

　　DCE之前也被一些厂商称为汇聚型增强以太网技术(Converged Enhanced Ethernet，简称CEE)，是兼容传统以太网协议并按新一代数据中心的传输要求，对其进行全面革新的一系列标准和技术的总称。因此，为达到的新一代数据中心的建设目标，必须摒弃传统以太网技术，而采用新一代的DCE(CEE)技术进行组网。

　　具体而言，本次数据中心所采用的DCE技术，可以达到以下的技术目标。

　　1.1 整合能力

　　1.1.1 一体化交换技术

　　DCE技术的重要目标是实现传统数据中心最大程度的资源整合，从而实现面向服务的数据中心SODC的最终目标。在传统数据中心中存在三种网络：使用光纤存储交换机的存储交换网络(Fiber Channel SAN)，便于实现CPU、内存资源并行化处理的高性能计算网络(多采用高带宽低延迟的InfiniBand技术)，以及传统的数据局域网。DCE技术将这三种网络实现在统一的传输平台上，即DCE将使用一种交换技术同时实现远程存储、远程并行计算处理和传统数据网络功能。这样才能最大化的实现三种资源的整合，从而便于实现跨平台的资源调度和虚拟化服务，提高投资的有效性，同时还降低了管理成本。

　　业务的特点不需要超级计算功能，因此本次项目要实现存储网络和传统数据网络的双网合一，使用DCE技术实现二者的一体化交换。当前在以太网上融合传统局域网和存储网络唯一成熟技术标准是Fiber Channel Over Ethernet技术(FCoE)，它已在标准上给出了如何把存储网(SAN)的数据帧封装在以太网帧内进行转发的相关技术协议。由于该项技术的简单性、高效率、经济性，目前已经形成相对成熟的包括存储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。具体的协议发布可参见 FCoE 的相关Web Sites。 (http://www.fcoe.com http://www.t11.org/fcoe )

　　本次数据中心建设将做好FCoE的基础设施准备，并将在下一阶段完成基于FCoE技术的双网融合。

　　1.1.2 无丢弃以太网技术

　　为保证一体化交换的实现，DCE改变了传统以太网无连接、无保障的Best Effort传输行为，即保证主机在通过以太网进行磁盘读写等操作、高性能计算所要求的远程内存访问、并行处理等操作，不会发生任何不可预料的传输失败，达到真正的“无丢包”以太网目标。DCE在网络中以硬件及软件的形式实现了以下技术：

　　l 基于优先级类别的流控在DCE 的理念中是非常重要的一环，通过它和拥塞管理的相互合作，我们可以构造出“不丢包的以太网”架构;这对今天的我们来说，它的诱惑无疑是不可阻挡的。不丢包的以太网络提供一个安全的平台，它让我们把一些以前无法安心放置到数据网络上的重要应用能安心的应用到这个DCE的数据平台。

　　l 带宽管理在以太网络中提供类似于类似帧中继(Frame Relay)的带宽控制能力，它可以确保一些重要的业务应用能获得必须的网络带宽;同时保证网络链路带宽利用的最大化。

　　l 拥塞管理可以提供在以太网络中的各种拥塞发现和定位能力，这在非连接的网络中无疑是一个巨大的挑战;可以说在目前的所有非连接的网络中，这是一个崭新的应用;目前的研究方向主要集中在后向拥塞管理(BCN)和量化拥塞管理(QCN)这两个方面。

　　1.1.3 性能支撑能力

　　为保证实现一体化交换和资源整合，DCE还必须对传统以太网的性能和可扩展性的进行革新。

　　首先为保证三网合一后的带宽资源，万兆以太网技术只是DCE核心层带宽的起点。而正在发展中的40G/100G以太网才是DCE技术将来的主流带宽。因此，要保证我们今天采购的设备能有5年以上的生命周期，就必须考虑硬件的可扩展能力。这也就是说从投资保护和工程维护的角度出发，我们需要一个100G平台的硬体设备，即每个设备的槽位至少要支持100G的流量(全双工每槽位200Gbps)，只有这样才能维持该设备5年的生命周期。同时从经济性的角度来考虑，如果能达到400G的平台是最理想的。

　　另外存储网络和高性能计算所要求的通过网络实现的远程磁盘读写、内存同步的性能需求，DCE设备必须提供比传统以太网设备低几个数量级的端口间转发延迟。DCE要求的核心层的三层转发延迟应可达到30us以下，接入层的二层转发延迟应可在3～4us以下。这都是传统以太网技术无法实现的性能指标要求。

　　1.1.4 智能服务的整合能力

　　众所周知，应用的复杂度是在不断的提升，同时伴随着网络的融合，应用对网络的交互…可以预见的是网络的复杂度也将不断的提升。这也印证我们的判断：应用对网络的控制将逐步增强，网络同时也在为应用而优化。

　　因此构建一个单业务的简单L2转发网络并不是网络设备的设计方向;全业务的设备和多业务融合的网络才是我们所需要的环境。

　　那么我们需要什么样的全业务呢，很明显Data Center Ethernet 是一个必备的项目，同时我们至少还需要其它的基本业务属性来保障一个多业务网络的运行，如：

　　l 服务质量保证 QoS

　　l 访问列表控制 ACL

　　l 虚拟交换机的实现 Virtual Switch

　　l 网络流量分析 Netflow

　　l CPU抗攻击保护 CoPP

　　l 远程无人值守管理 CMP

　　l 嵌入式事件管理 EEM

　　当然，所有这些业务的实现都是在不影响转发性能的前提条件下的。失去这个大前提，多业务的实现就变得毫无意义。

　　所以设计一个好的产品就必须顾全多业务、融合网络这个大前提。如何使这些复杂的业务处理能够在高达100G甚至是400G的线路卡上获得线速处理的性能是考验一个硬件平台的重要技术指标。

　　最终的胜出者无疑就是能够用最小的代价来换取最大业务实现和性能的设备平台。

　　1.2 虚拟化能力

　　DCE对网络虚拟化不仅仅是传统意义上的VLAN和VPN，为实现SODC的交互服务层资源调度方式，DCE还能够做到以下的虚拟化能力。

　　1.2.1 虚拟交换技术

　　虚拟交换技术可以实现当我们使用交换机资源时，我们可以不用关心交换服务的物理存在方式，它可能是由一台交换机提供，也可能是两台交换机设备，甚至可以是一个交换机中的几个虚拟交换机之一。思科的DCE技术就提供了将两个物理交换机虚拟为一台交换机的虚拟交换系统(VSS)技术，以及将一个交换机虚拟化为多个交换机的虚拟设备(VDC)技术。

　　(一)虚拟交换系统(VSS)

　　VSS技术可将网络的双核心虚拟化为单台设备，比如使用的Cisco 6509的9插槽设备将完全被虚拟化成为单台18槽机箱的虚拟交换机。虚拟交换机性能倍增、管理复杂度反而减半。具体有如下优势：

　　l 单一管理界面：管理界面完全为单台设备管理方式，管理和维护工作量减轻一半;

　　l 性能翻倍：虚拟交换系统具备两台叠加的性能，与其它交换机通过跨物理机箱的双千兆以太网或双万兆以太网捆绑技术，远比依靠路由或生成树的负载均衡更均匀，带宽和核心吞吐量均做到真正的翻倍。

　　l 协议简单：虚拟交换系统与其它设备间的动态路由协议完全是单台设备与其它设备的协议关系，需维护的路由邻居关系数以二次方根下降，在本系统中可达4～5倍下降，工作量和部署难度大大降低;虚拟交换系统同时作为单台设备参与生成树计算关系，生成树计算和维护量以二次方根下降，在本系统中可达4～5倍下降，工作量和部署难度大大降低。

　　l 冗余可靠：虚拟交换系统形成虚拟单机箱、物理双引擎的跨机箱冗余引擎系统，下连接入交换机原来需要用动态路由或生成树实现冗余切换的，在VSS下全都可以用简单的链路捆绑实现负载均衡和冗余，无论是链路还是引擎，冗余切换比传统方式更加迅捷平滑，保持上层业务稳定运行。以前两个单引擎机箱的其中一台更换引擎，一定会导致数据的丢失，而虚拟交换系统里任意一台更换引擎，数据可以保证0丢失。

　　(二)虚拟设备系统(VDC)

　　VDC技术则可以实现将一台交换机划分为多个虚拟的子交换机，每个交换机拥有独立的配置界面，独立的生成树、路由、SNMP、VRRP等协议进程，甚至独立的资源分配(内存、TCAM、转发表等等)。它与VSS配合，将在实现更加灵活的、与物理设备无关的跨平台资源分配能力，为数据中心这种底层设施资源消耗型网络提供更经济高效的组网方式，也为管理和运营智能化自动化创造条件。

　　物理设备虚拟成若干个逻辑上的独立设备的图示：

　　1.2.2 网络服务虚拟化

　　在服务资源整合以及设备虚拟化的基础之上，DCE要求每个虚拟化的网络应用区都有自己的业务服务设施，比如自己的防火墙、IDS、负载均衡器、SSL加速、……网络服务，这些如果都是物理上独占式分配的，将是高成本、低效率且难于维护管理的。DCE网络在提供这些网络智能服务时都可以以虚拟化的方式实现各类服务的资源调用，思科的DCE网络中就可以实现虚拟防火墙、虚拟IDS、虚拟负载均衡器、虚拟SSL VPN网络……等等，从而实现网络智能服务的虚拟化。

　　1.2.3 服务器虚拟化

　　服务器虚拟化可以使上层业务应用仅仅根据自己所需的计算资源占用要求来对CPU、内存、I/O和应用资源等实现自由调度，而无须考虑该应用所在的物理关联和位置。当前商用化最为成功的服务器虚拟化解决方案是VMWare的VMotion系列，微软的Virtual Server和许多其它第三方厂商(如Intel、AMD等)也正在加入，使得服务器虚拟化的解决方案将越来越完善和普及。

　　然而人们越来越意识到服务器虚拟化的系统解决方案中除了应用、主机、操作系统的角色外，网络将是一个更为至关重要的角色。网络将把各个自由联系成为一个整体，网络将是实现自由虚拟化的桥梁。服务器虚拟化需要DCE能够提供以下能力：

　　l 资源的整合：业务应用运行所依赖的物理计算环境都需要网络实现连接，然而在传统网络中，传输数据的数据网、互连CPU和内存的计算网、互连存储的存储网都是孤立的，这就无法真正实现与物理无关的服务器资源调度，因此实现真正意义上彻底的服务器虚拟化，前面提到的DCE三网一体化交换架构是必须的条件。

　　l 网络的虚拟机意识：传统网络是不具备虚拟机意识的，即在网络上传递的信息是无法区别它是来自于哪个虚拟机，也无法在网络上根据虚拟机来提供相应的网络服务，当虚拟机迁移，也没有相应的网络跟踪手段保证服务的全局一致性。不过这些都是DCE正在解决的问题，一些DCE的领导厂商，比如思科，已经在推出的商用化DCE产品中提供了相应的虚拟机标识机制，并且思科已经联合VMware等厂商将这些协议提交IEEE实现标准化。

　　l 虚拟机迁移的网络环境：服务器虚拟化是依靠虚拟机的迁移技术实现与物理资源无关的资源共享和复用的。虚拟机迁移需要一个二层环境，这导致迁移范围被局限在传统的VLAN内。我们知道Web2.0、云计算等概念都需要无处不在的数据中心，那么如何实现二层网络的跨地域延展呢?传统的L2 MPLS技术太复杂，于是IEEE和IETF正在制定二层多路径(即二层延展)的新标准，DCE的领导厂商思科公司也提出了一种新的协议标准Cisco Over the Top Virtualization(OTV)来解决跨城域或广域网的二层延展性问题，从而为服务器虚拟化提供可扩展的网络支撑。

　　1.3 自动化

　　自动化是SODC架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。现在商用的DCE自动化解决方案包括管理自动化和业务部署自动化。

　　数据中心将在后续的建设中逐步完善自动化管理和自动化业务部署，但需要在本期通过DCE技术的实施打下未来自动化部署的坚实基础。

　　1.4 绿色数据中心

　　DCE技术的整合化、虚拟化和自动化本身就是在达到同样业务能力的要求下实现高效率利用硬件资源、减少总硬件投入、节约维护管理成本等方面的最佳途径，这本身也是绿色数据中心的必要条件。

　　另外DCE产品必须在硬件实现上实现低功耗、高效率，包括

　　l 利用最新半导体工艺 (越小纳米的芯片要比大纳米的芯片省电)

　　l 降低逻辑电路的复杂度 (在接入层使用二层设备往往要比三层设备省电)

　　l 减少通用集成电路的空转 (使用定制化的专业设计的芯片往往比通用芯片省电)

　　l 等等……

　　由此可见，对于一台网络设备，在业务能力相当的前提条件下，越小的功耗就代表越先进的技术。在DCE设备一般可以做到维持三层的全业务万兆吞吐功耗小于25W、二层的万兆吞吐功耗小于13W。

　　综上所述，在本次新一代数据中心网络的建设中，将采用不同于传统以太网技术的DCE以太网技术，构建面向服务的高效能数据中心网络平台。