数据中心网络结构

关键词： 网络结构 计算 数据中心 网络

数据中心网络结构（精选十篇）

数据中心网络结构 篇1

1 传统的数据中心网络结构

数据中心网络结构是数据中心的核心,它将大量服务器使用交换机和路由器等网络设施连接起来,组织成具有高带宽、高可用性、高可靠性以及负载均衡的服务器网络,对外提供计算、存储等服务。传统的数据中心网络是典型的三层树结构[6]。如图1(a)所示,以交换机为中心,边缘层交换机、汇聚层交换机和核心层交换机分别构成树的节点,服务器构成叶节点。

这种网络结构中,根节点带宽会成为瓶颈,存在以下缺点。首先,带宽受限,在汇聚层,其连接边缘层的带宽远远大于连接核心层的带宽[5]。其次,扩展性差,因为核心层的设备端口数目是有限的。再次,可靠性差,如果汇聚层或者核心层的设备发生故障,网络性能会大大降低,而且根节点故障会引起单点失效。通过增加核心层交换机如图1(b),虽然可以提高根节点的可靠性,但某一时刻只有一个其中根节点在运行,不能解决跟节点瓶颈的问题。

2 当前常用数据中心网络结构的分析和比较

随着数据中心规模的扩大,传统的数据中心网络结构成为限制数据中心应用的瓶颈,DCell[2]、BCube[3]、Portland[4]、VL2[5]等多种新的数据中心网络结构被研究提出和应用部署,下面分别做出简单介绍并加以比较。

2.1 DCell

DCell[2]是一种使用微型交换机和有多个网络端口的服务器递归定义构建的架构。在DCell中,服务器通过双向的通信链路连接到其他服务器和几个小型交换机,高层次的DCell通过低层次DCell递归建立的。DCell使用普通小型交换机进行扩展,网络规模随着服务器节点度增加会成倍地增长,一个小节点度(比如4)的DCell可以支持多达数百万台服务器,而无需使用核心交换机/路由器。下面的例子(图2)说明了如何构造不同层次的DCell。

DCell0是构建大的DCell的构建块。它有n个服务器和一个微型交换机(图2中DCell0的n=4)。DCell0的所有服务器都连接到微型交换机。它由5个DCell0网络构成,每个DCell0作为一个虚拟节点,这些虚拟节点形成一个完整的图形。

2.2 BCube

BCube[3]是一种典型的超立方型结构,由Microsoft Research Asia于2009年提出,是在DCell结构的基础上的一个改进。BCube也通过使用低端、廉价的交换机将服务器进行互联,构成超立方结构。这种结构也是递归定义的:首先,把n个服务器连接在一个n个端口的交换机上,构成一个结构BCube(0);再将n个BCube(0),按照一定的连接方式连接到n个n端口交换机上,形成BCube(1);以此类推,BCube(k)由n个BCube(k-1),连接到nk个n端口交换上,图3是BCube(1),n=4时的BCube图。

2.3 Port Land

Port Land[4]采用胖树结构,是在A Scalable,Commodity Data Center Network Architecture[14]上提出的胖树结构上的改进。PortLand使用许多小型的交换机组成大规模的通信网络。网络结构的组织如图4所示:k叉的胖树,共有k个pod(图中虚框所示),每个pod有2层,每层有k/2个交换机,低层的交换机连接k/2个主机,剩下的k/2个接口连接到聚合层。每个核心交换机有一个端口和一个pod相连,第i个端口和第i个pod相连。

胖树结构解决了传统的树形结构带宽利用率低、带宽不统一的问题。在胖树结构中,节点之间可以全带宽通信,根节点瓶颈问题得到解决。

2.4 VL2

VL2[5]的主要特点是提供了一个巨大的第二层网络,把来自外部网络的请求尽量均衡地分配给底层的服务器群。第一层为服务器群,通过To R(Top of Rack)交换机接入第二层网络,如图5所示。VL2的第二层连接方式如图5所示,通过使用聚合层交换机和中间层交换机的交叉连接形成一个平面的、巨大的第二层网络。VL2使用两套IP地址,模拟出一个巨大的二层网络,用来保证服务器之间的流量均衡。

上述几种数据中心的网络结构相比传统数据中心网络结构,增强了数据中心的节点的连通性,容错性更好,更容易实现负载平衡,由于使用小型交换机就能构建网络,使得数据中心的网络建设成本降低,扩展性更强。

1)可扩展性更强:DCell和BCube结构都采用的是低端小型交换机递归定义的结构,当增加新的服务器时,不会影响已有服务器的运行,也不需要要改变原有网络结构。DCell还能为各种各样的服务提供比传统树结构更高的网络容量。另外DCell可以增量扩展并且在不完全结构的情况下表现出上述性能,降低了数据中心的成本,增强了数据中心的扩展能力。

2)容错性更好:容错性是指数据中心网络自动发现,容纳和修复网络故障的能力[13]。在大规模数据中心中,网络节点故障发生的几率非常高。BCube的结构特点、地址规则和BCube内部的一系列协议,保证了BCube在数据中心网络内部设备(包括服务器和交换机)故障时,整个数据中心的性能下降良好。

3)负载均衡良好:大规模数据中心需要在各个服务器之间实现负载均衡,Port Land提出伪MAC地址(PMAC),良好地支持虚拟主机迁移,使得不必改变虚拟机的IP地址,即可完成虚拟主机迁移,从而实现负载均衡。VL2提供一个巨大的第二层网络,把来自外部网络的请求尽量均衡地分配给底层的服务器群。VL2主要强调敏捷——服务器群中的动态的资源分配,不论服务器数目的增减或虚拟主机的迁移,任何服务器可被分配给任一个服务,提供服务器之间的高带宽,各种服务之间的性能分割,VL2很好地解决了负载均衡的问题。

3 虚拟化大规模多用户数据中心网络结构

随着虚拟技术被广泛应用于数据中心,云计算[15,16]环境下的多用户大规模数据中心成为市场的需求。多个用户共享整个数据中心的网络,这使得数据中心内出现拒绝服务攻击和性能冲突的机会大大增加[7]。现有的网络结构难以实现多个用户的隔离,对各个用户做到带宽保证和性能预测。基于虚拟网络的数据中心新型网络结构如Second Net[6],Seawall[7],Virtual Cluster[8]和Virtual Oversubscribed Cluster[8]等被提出和应用。

3.1 Second Net

Second Net[6]由Chuanxiong Guo,Guohan Lu等提出。他们提出在云计算环境的多用户数据中心里采用virtual data center(VDC)作为资源分配的单元。为了实现这种分配,在现有的基础网络结构的基础上,采取一种集中的VDC分配算法来实现有带宽保证的虚拟机到物理机的映射。Second Net采取的是port-switching source routing(PSSR)路由机制,这种端口源路由机制,不需要交换机保持每一条输入的带宽预留状况,由物理服务器来保持整个网络中的带宽预留和使用状况。Second Net把数据中心的应用服务类型划分为三种,数据密集型的应用如web services,分布式计算等有严格的带宽要求的应用定义为type-0,文件备份等没有带宽要求的应用定义为best-effort,这二者之间还定义了一种服务type-1,用来描述那些只在局部有带宽要求的服务。三种服务类型的数据包分别有不同优先级,type-0最高,best-effort最低。在数据包前段加入路由路径和服务类型,通过采用这种保证高优先级的服务最先使用带宽的机制来实现带宽预留和保证。

3.2 Seawall

Seawall[7]由Alan Shieh,Srikanth Kandula等在《Sharing the Data Center Network》一文中提出。文中指出分享数据中心网络可以通过升级数据中心的网络结构来实现,但是硬件改动和部署代价太大,而且花费的时间太长,而且一旦部署之后,要改变也难,所有采用基于软件的解决方式。在虚拟机的通信之间加入一个中间层,这个中间层能给某一条链接上的每一个实体(实体包括虚拟机、进程,或者端口的集合但是不包括整个客户或者虚拟机簇)的通信定义一个权重,每个实体按所占的权重分配带宽。某条链路L上的某个实体(k)所占的权重为wk每一个实体所占的带宽量为:这里Active(L)是指这条链上活跃的实体。图6就是Seawall的分配实现过程:其中灰色部分就是新增加的层。

3.3 Virtual Cluster和Virtual Oversubscribed Cluster

Virtual Cluster[8]和Virtual Oversubscribed Cluster[8]是由Hitesh Ballani,Paolo Costa等提出的两种虚拟网络抽象模型。Virtual Cluster的结构如图7。

Virtual Cluster是一种没有超额订购的网络抽象,用户需要N个虚拟机,每个虚拟机和虚拟交换机之间的带宽要求是B,虚拟机总的带宽需求是N*B。

Virtual Oversubscribed Cluster的结构如图8。

相比Virtual Cluster,Virtual Oversubscribed Cluster没有那么密集的联通性,用户需要N个虚拟机,被分成S组,每个虚拟机和Group Switch之间的带宽需求是B,每个组和根交换机之间的带宽需求是B、=B*S/O,其中O是超额订购因子。这两种虚拟抽象分别满足不同的应用类型,通过采用一种贪婪的虚拟机分配算法,在数据中心的基础网络上尽量多的抽象出多个抽象模型满足多个用户的需求。从而保证了数据中心基础物理网络的高利用率和每一个用户的带宽保证。

4 数据中心网络结构未来发展预测和展望

随着虚拟技术的成熟,云计算平台下的各种服务和应用都迁移到数据中心,数据中心的规模会越来越大,数据中心的网络结构肯定会随着不断发展和成熟。可以预测未来的数据中心网络结构会向以下几个方面发展:

1)虚拟化:随着虚拟技术,特别是虚拟网络在数据中心网络中的应用。多种应用承载在一张数据中心的物理网络上,通过网络虚拟化分割(称为纵向分割),使得不同应用相互隔离,但可在同一网络上访问自身应用,从而实现了将物理网络进行逻辑纵向分割虚拟化为多个网络;多个网络节点承载上层应用,基于冗余的网络设计带来复杂性,而将多个网络节点进行整合(称为横向整合),虚拟化成一台逻辑设备,提升数据中心网络可用性、节点性能的同时,简化数据中心网络架构。

2)延续性,独立性:新虚拟网络架构要能够基于现有的多种不同的物理基础网络架构,虚拟网络结构能独立于物理网络结构,物理拓扑的改变不会影响虚拟网络结构,新的数据中心虚拟网络容纳多种不同网络通信模型的应用程序。

3)可扩展性更、容错性更强:云计算环境下的多用户数据中心,各个相对独立的用户共享整个网络。随着更多的网络应用向数据中心的迁移,用户的需求是动态变化的。随着网络规模的扩大,各个物理服务器,物理网络节点出错的概率大大增加,这就要求未来的数据中心网络结构有更好的可扩展性,更好的容错性和负载均衡能力。

摘要：数据中心网络结构是数据中心的基础,关系到数据中心的配置、性能、管理维护等多个方面[1]。文章指出了传统数据中心网络结构的不足,对当前主流数据中心采用的几种网络结构做了分析和对比,介绍了云计算环境下虚拟化多用户数据中心网络结构的需求和特点,并对数据中心网络结构的未来发展做了展望和预测。

数据中心网络建设方案 篇2

7.6.2.1、网络设计原则

根据数据中心的需求和将来的发展，在网络设计中遵循下面的原则：

（1）安全性、可靠性和容错性

由于数据中心向用户提供数据类服务的性质，决定了其网络设计首要的原则就是，保证用户的设备或内容在一个安全、可靠的网络环境下进行信息安全可靠的传输和处理。

网络设计从安全可靠的角度讲，就是将核心网络设备互为冗余备份；网络连接采用双链路连接；网络设备的选型要考虑模块的冗余等。目的是使整个网络尽可能减少单点故障而引起的系统无法运行。

（2）开放式、标准化

无论是从现在、还是从发展的眼光看，数据中心是一个集中了各类至关重要的设备、软件和应用系统，集成了当今最先进的计算机类产品的地方。数据中心的网络平台的目的在互连不同制造厂商的设备，实现计算机软、硬件资源的数据交换。一个不标准、不开放的网络平台将极大的阻碍数据中心业务运作和发展。

为此必须建立一个由开放式、标准化的网络系统组成的平台来满足当前可实现的应用要求，又能适应今后系统扩展的需要。

（3）可扩展性

网络结构分层次设计，网络设备采用模块化、堆栈式的系统结构，为今后随着数据中心业务的发展完善、各种特色增值业务的部署，提供一个灵活方便的升级和扩充的途径。

（4）实用性、先进性、成熟性

我们所处的时代是信息时代，通信和计算机技术的发展日新月异。因而，方案不仅适应新技术发展方向，保证计算机网络的先进性，同时也兼顾成熟的网络技术和经济实用性。

（5）可管理性

统一网络简化数据中心管理 篇3

管理压力陡然上升

在“2011中国保险IT应用高峰论坛”上，记者见到了长安责任保险股份有限公司（以下简称长安责任保险）的IT主管刘卫。刘卫是一个坚定的虚拟化和云计算的追随者和实践者，他非常看好云计算未来在保险行业的应用。但是经过几年的摸索他也认识到，“云计算可能是一个很好的概念，或者是一个很好的模式。但是在保险业，特别是私有云建设，现在如果连虚拟化都没有做，那就不要说什么云计算了。”

刘卫为什么能说出这样的话，这和他的工作经验，特别是虚拟化方面的经验离不开。

一切还要从长安责任保险的IT建设进程说起。长安责任保险于2007年9月29日经中国保险监督管理委员会批准开业，总部设在北京。作为国内第一家以责任险为特色的保险公司，长安责任保险发展迅速。

刘卫告诉记者，虽然公司发展迅猛，但是由于公司成立比较晚，规模毕竟有限，因此在IT建设方面的投入也非常有限，长安责任保险采用了英特尔至强平台的刀片集群作为后台系统。

刘卫表示，从2008年开始，伴随着长安责任保险业务正式启动，IT系统随之开始运行，长安责任保险也开始了虚拟化的尝试。“公司所有的业务，包括核心业务都在虚拟机上运行。2008年开始服务器虚拟化，2009年服务器虚拟化完成后开始存储虚拟化，不过在整个过程中间遇到了不少问题。当时存储虚拟化是‘有概念无产品’，即使有个别产品也不一定就适合我们的需求。直到2010年，我们才找到了想要的存储虚拟化解决方案。但是到2010年年底，当我们业务达到一定规模的时候，虚拟机的维护问题又开始出现了。由于人手有限，不可能长时间维护多台虚拟机，我们现在正在寻找虚拟机自动管理的相应解决办法，不过到目前为止，还没有找到比较好的解决方案。”刘卫说。

目前困扰刘卫和长安责任保险的另一个问题就是，随着虚拟机越来越多，网络管理也越来越复杂。“长安保险所有的业务都是部署在虚拟机上的。用传统的TCP/IP的方案，每一根网线可能会对应大量的虚拟机。这就使得虚拟机的IP地址很难查询，管理人员也很难知道每根网线会对应多少台虚拟机，从而在分配资源上也会出现很多相应的问题。”为此刘卫也曾考虑过采用IPv6，但是考虑到整个升级换代工程的复杂性，刘卫最终还是打消了念头。

10G网卡化繁为简

长安责任保险当前面临的情况并不是一个个案，虚拟化的服务器对于数据中心I/O网络架构的需求非常强烈，当物理主机上安装多个工作负载时，他们需要更多的网络带宽。虚拟化不仅带来了交换和计算争抢资源的问题，更大的麻烦是在管理上，当物理交换机不能与虚拟机端口一一对应时，管理边界模糊不清，管理问题接踵而至。同时，既然网络资源被多个应用所共享，如何确保关键应用能够得到足够的网络资源则变得相对复杂，也会深深影响关键应用的性能和可用性。因此，在虚拟化的过程中，充分理解虚拟化环境的网络需求，合理地规划网络容量是十分必要的。

目前，已经有业内人士指出，基于共享式的万兆以太网架构来实施服务器虚拟化和存储网络整合，能够帮助数据中心打造一个高性价比同时易于管理的基础架构。

2011年 1 月，英特尔公司宣布推出一项可简化数据中心管理的统一网络技术。这项技术可帮助数据中心通过使用英特尔万兆以太网（10GbE）服务器适配器，在单一的网络线缆上实现数据中心的通信。

对于长安责任保险所面临的问题，英特尔公司网络连接事业部和NAND解决方案事业部业务发展经理齐炜表示，根据英特尔所提出的统一网络技术，长安责任保险的每台物理服务器上可运行4个虚拟机，依托英特尔万兆以太网网卡或网络芯片所具有的VMDQ （虚拟机设备队列）或 SR-IOV （SR-IOV）的多队列特性，实现网络资源的管理，每个队列（MAC/IP） 对应一个虚拟机 。

VMDQ 或 SR-IOV都是属于英特尔连接虚拟化技术(Intel Virtualization Technology for Connectivity，VT-c）的一部分。据了解，VT-c能够减少虚拟化服务器中的I/O瓶颈，并提高性能、灵活性和虚拟机的可扩展性。 它采用模拟模式或直接访问模式，能够降低虚拟化环境中的I/O额外开销，从而提高整体系统性能。 它可以优化CPU使用率、降低系统等待时间并提高I/O吞吐量。在模拟模式下，VMDQ能够卸载数据排序作业，并在VMM中从软件虚拟交换机向英特尔以太网10 G控制器进行复制，从而优化网络性能。在直接访问模式下，SR-IOV能够为全部虚拟机提供直接虚拟机连接和数据保护功能。 它可使数据绕过软件虚拟交换机，并提供近原生性能，并直接向个别虚拟机分配物理或虚拟I/O端口。

数据中心网络的体系结构分析 篇4

1 传统数据中心网络体系结构及存在不足

传统的数据中心网络是通过层次网络上来实现的, 在同一个数据中心内存在着很多种运用的同时运行, 并且每一种运用都需要在特定的服务器或者虚拟服务器上运行, 同时需要和因特网可路由的IP地址绑定, 这样可以方便接收因特网的客户端访问。随着云计算以及虚拟化技术的运用越来越广泛, 新型计算机的数据中心呈现出许多新的特点, 这些新的特点也正体现了传统数据中心网络体系结构的不足。

首先就是规模越来越大, 需要支持的服务数量级已经达到了比较高的量级, 并且数据中心的内部流量也在不断的增加, 占总流量的比重也比较大, 所以导致网络宽带变成了一种比较缺少的资源。由于数据规模的不断增大, 网络设备的要求也越来越高, 但通常都是一个横向扩展, 并未来节约成本, 并没有使用性能比较高同时价格也比较高的先进设备来进行一个纵向的拓展。新型数据中心网络的结构没有受到传统结构的限制, 结构比较多样, 例如多根树、立方体和随机图等, 这些网络结构都哦可以辅助设计出更加高效的路由算法。随着信息技术的不断发展, 虚拟化技术已经成为了数据中心不可缺少的理念, 所以这就要求数据中心可以支持任何一个迁移的部署, 并且还不能影响已经存在的运用层的状态。随着环保理念的不断深入, 数据中心网络可以采用低成本的低端设备, 容易导致很多事故的发生。此外, 传统的数据中心的自动化程度不高, 如果服务需要在服务器之间进行重新分配的话, 数据中心网络的地址的空间就会导致人工操作出错的概率增高, 只有提高自动化程度, 才可以控制操作人员和服务器成本的比值, 降低人工操作的失误概率, 避免由此导致的风险, 使得整个网络系统可以更加健康稳定运行。

2 数据中心网络体系结构设计的依据

由于新型计算模式的不断普及, 新兴应用模块使用越来越广泛, 对新型的数据中心网络提出了新的要求。首先就是服务器和虚拟机的便捷配置和迁移, 所以在数据中心的任何地方的任何服务器都可以是一种VIP服务器池的一部分, 这样服务器池就不再是固定的, 而是可以自由动态缩减或者扩展, 虚拟机也可以随意的迁移, 并且在这个过程中不需要改变虚拟机的IP地址, 已经存在的应用层状态也不会被打断。由于服务器间的高传输宽带, 服务器间的流量比较大, 所以新型的中心网络体系结构应该对服务器提供更大的宽带。数据中心网络需要支持数量非常巨大的服务器, 数据库中心需要更多的服务器, 所以在数据库中心可以设置允许增量的部署或者扩展。另外, 还要求数据中心网络低成本且高扩展, 这是因为数据中心网络的物理结构可扩展需要比较小的成本物理连接器, 不需要依赖比较高端的交换机老纵向扩展, 采用普通的商业化的组间就可以实现横向扩展, 而且, 通过增加服务器的数量从结构上来实现增量的扩展, 即使添加新的服务器, 已经正在运行的服务器也是不会受到影响的。数据中心网络还应该具备健壮性, 也就是针对各种各样的失效, 例如机架失效、服务器失效等都能够进行有效的处理。低配置的开销是指在中心网络的构建过程中不应该采用太多的人工配置开销。另外, 由于能源紧缺问题越来越受到人们的重视, 在新的数据网络结构构建中还应该将能源的效率问题考虑进来, 提高能源的使用效率, 降低制冷开销以及流量的传输。

3 现代数据中心网络的结构特征

3.1 基于商业交换机构建

传统的数据中心网络一般采用的是树形网络, 总宽带受到了限制, 根节点更是成为了系统在性能上的最大障碍, 如果采用三层树形结构来设计的话, 所有的层都使用普通的48端口交换机, 那么核心层可以使用的宽带就只有所有的服务器出口总宽带的千分之四, 这个比例是非常小的。如果交换器的端口数量不断增加, 网络层数也不断增加, 那么在核心层可用的宽带所占的比例还会进一步减少。为了提高整个系统的性能, 需要采用更加高端的交换设备来进行构建但是树形结构的问题却还是存在的, 使用更加高端的设备就会带来非常大的成本开销, 和普通交换机相比, 成本提高了非常多。所以, 为了降低成本, 现代数据中心一般会采用普通的商业交换机, 例如微软数据中心和Google数据中心, 这也是现代数据中心结构设计的出发点, 可以使数据中心网络符合现代数据中心需要具备的特征。

3.2 节点之间多路径连接

采用商业交换机是一种可行的设计, 但是单条路径的传输能力却受到了非常大的限制, 所以就需要在服务节点之间增加多条路径, 这样才能满足服务器间数据传输的高速要求。例如Portland等就是采用Clos构架的一种特殊形式作为物理网络的一种有效连接方式, 向服务器间提供多条路径的访问。Clos架构是在贝尔实验室中设计的一种多级交换结构, 最开始的时候是运用在电话网络中, Clos架构支持多级交换, 可以通过每一个交换单元都能够连接到下一级的所有交换单元上, 并且在不同的交换单元中也可以建立多条交换路径。

3.3 从机架式向集装箱式转变

在传统的数据中心机架的构建中, 需要很复杂的手工联线, 会占用大量的基础设施, 开发部署的周期也比较长。集装箱式数据中心是将服务器、空调系统以及网络封装在一个集装箱内, 一个数据中心就可以包含上千台的服务器, 开发周期较短, 体积比较小, 不需要占用大量的空间, 并且能源消耗的密度也比较高, 移动部署非常方便, 正是因为其拥有这么多的优点, 很多大型的IT公司都推出了自己的集装箱式数据中心, 国内IT公司也加紧抢占集装箱式数据中心市场, 学术界也对集装箱式数据中心提出了更高的重视。

4 结语

数据中心网络是一种正在发展中的技术, 结构特征也多种多样, 随着人们需求的不断改变和信息技术的不断发展, 现代数据中心网络运营模式慢慢向着公共云服务转变, 更多的新型数据中心网络会不断被提出, 在未来的技术研究中, 数据网络中心将会向着更加科学自动的方向发展, 在设计中更多的运用节能机制, 实现我国的可持续发展。

参考文献

[1]张太华, 何二宝, 孙超, 基于知识的云制造的研究现状[J].现代机械, 2012, 56 (05) :145-146.

[2]徐小龙, 杨庚, 李玲娟, 王汝传, 面向绿色云计算数据中心的动态数据聚集算法[J].系统工程与电子技术, 2012, 45 (09) :89-92.

[3]李方军, 韩旭衫, 张驰, 电网企业运营监控中心展示平台研究与设计[J].电力信息化, 2012, 44 (65) :56-59.

[4]邓罡, 龚正虎, 王宏.现代数据中心网络特征研究[J].计算机研究与发展, 2014, 51 (02) :395-407.

数据中心网络结构 篇5

甘肃广电网络天祝云计算数据中心项目开工

11月27日，全国首家广电系统省级“云计算信息枢纽中心”——甘肃省广电网络天祝云计算数据中心项目在天祝县城北新区正式开工建设。

甘肃广电网络天祝云计算数据中心项目是省广电网络公司统一实施的五大产业之一，项目规划占地150亩，总投资10亿元，分三期完成。一期投资2亿元，建成2000平方米的主机房。项目建成后，预计年产值达8000万元，真正成为我国西北规模最大、功能齐全、技术先进的云计算数据中心。该项目将充分发挥广电网络资源优势、高清互动电视综合信息平台优势及甘肃广电网络天祝云计算数据中心技术优势，为我省乃至我国西北省区提供平安城市、数字城市、智能交通、远程教育、远程医疗、平安社区等多领域的服务，最终打造一个全省乃至西北的科技中心、科普中心、青少年活动中心和信息枢纽。

智能基础设施，领航数据中心网络 篇6

不可否认，网络已成为当今社会的第四种公共设施，而且必须是全天候可用的。IT 经理或技术支持人员只需在“正常”工作时间工作的日子已经一去不复返。当今的全球性公司的数据中心必须具备持续的访问能力。为支持网络增长而增加的每件网络设备、每个应用程序、每台服务器以及每 TB 存储空间都必须由 IT 人员来实施管理，而 IT 团队的增长速度却远远赶不上网络的增长速度。为此，必须提供一些智能化的解决方案来帮助 IT 人员跟上这些变化，帮助他们提高工作效率。

为达到智能的需求，越来越多的数据中心网络正朝着IP 整合的方向发展。整合有利于减轻管理多个系统和复杂网络的压力。在可预见的未来，将视频、数据、语音、无线、工厂控制、楼宇控制、楼宇设备和工厂设备整合到一个单一的 IP网络之中的智能化解决方案将是发展的主要趋势。

网络智能化的实现需要依靠数据中心中部署的智能化的基础设施管理系统。智能基础设施管理系统不仅仅包括硬件，它是为帮助您记录、管理和监控您的物理网络基础设施而设计的一套全面支持的综合性解决方案。基础设施操作软件可让您了解硬件设施，比如网络设备、IP 端点和其他系统的信息，从而掌握有关网络层设备如何映射到物理层的知识。硬件与软件的结合，将使您获得对物理层基础设施前所未有的控制能力。您将具备实时、全面了解物理网络基础设施以记录、计划和执行变更所需要的一切条件。

智能基础设施管理系统可以完成下列工作：

全面了解和控制物理层基础设施

通过自动化和流程效率提高生产率

降低容量和资产管理相关成本

增强 IP 端点物理位置的实时查看能力

控制工作流程

通过向导式配线缩短 MAC 周期，减少返工量

简化审计和跟踪流程

在数据中心中，工作人员可以利用-智能化基础设施管理系统，提高工作效率：

网络管理员有各种报告工具，可跟踪未使用的交换机端口、IP 端点的物理位置以及已完成、进行中和过期的任务

布线管理员可对物理层进行自动化的记录

技术人员可以跟踪连接、接收必要变更指导、处理警告、确认操作

IT 和数据中心经理可提高生产率、自动进行变更管理、增强可靠性、缩短停机时间、提高网络安全性和合规性

智能基础设施管理系统就象您的数据中心网络中的全球定位系统 （GPS）。它们能消除您的盲点，指引您沿着最快捷的路径到达目的地，为您节省人力和物力。

数据中心网络的体系结构及发展 篇7

1数据中心网络拓扑结构

为了解决网络稳定性、扩展性以及上层带宽瓶颈等问题,新型数据中心网络架构不断被研究者提出,以提供更好的优化结构和通信服务。数据中心网络的拓扑架构研究是指针对数据中心网络的特定需求,进行网络拓扑结构、服务器节点编址以及互联规则设定等相关方向的研究。根据目前的研究发展现状来看,适用于数据中心网络的网络结构大体上可被分为三种类型:以交换机为中心的网络,以服务器为中心的网络和不规则的网络。网络结构的部署所提供的网络带宽和容错水平直接影响着数据中心网络的性能。

1.1树形结构

如今大多数的数据中心是基于以交换机为中心的网络结构构建的。虽然在扩展性和灵活性方面有所欠缺,但由于和传统网络结构相似,因此大多数的网络组件和网络协议直接或稍作修改后便可应用在这类网络结构中,这也使得它更容易对传统交换机进行更新,以支持网络的构建工作。网络中的所有链路均使用以太网协议,为了合理控制分组泛洪等负载问题,服务器一般被划分为不同的域结构进行管理,将不同的业务或逻辑服务器进行分组以达到彼此隔离的目的。

1.2 fat-tree网络结构

fat-tree网络结构是一种以交换机为中心的典型网络。fat-tree结构是使用廉价交换机构建的网络结构,这种结构采用大量廉价交换机与复杂连线取代昂贵的高层交换机,实现了大规模数据中心网络的设备互联。这些廉价交换机具有等同的交换能力和端口数量,不使用上行端口,而是完全使用下行端口。与传统树形结构的区别在于,位于汇聚层和边缘层这两层的交换机被分为々个域,域中的两层交换机设备之间可以实现全连接。核心交换机端口全部向下连接汇聚交换机;汇聚交换机端口一半向上连接核心交换机,一半向下连接边缘交换机;边缘交换机一半端口向上连接核心交换机,一半端口向下连接服务器。使用端口交换机的网络足以容纳多达台服务器。

1.3 DCell网络结构

DCell网络结构是由微软亚洲研究院提出的以服务器为中心、递归定义形成的网络类型。使用层次化全连接的方式生成小型交换机间的互联结构。这种分层连接、高度稱合的立体网状结构设计,减少了数据延迟,提高了容错性和网络带宽。DCell0是最小的结构单元,它由一台为专门设计的特殊交换机和几台计算机组成。这个单元作为一个节点,充当下一层结构的基本单元,这就保证了每一层的连接都是一个完整图。是基于递归思想使用多端口的网络服务器和小型交换机构建的网络拓扑结构。的优点是递归定义、去中心化、完全互联等,可以较好地支撑路由容错,并提供比树形结构和结构更好的聚合带宽。

1.4 BCube网络结构

为了解决的流量拥堵状况,微软亚洲研究院提出了DCell网络结构,新型的BCubel结构改进使在网络顶层可以提供更多的带宽。在中,每一层的多端口服务器由多个交换机连接。与树形结构、胖树结构和不同的是,网络的拓扑结构是模块化的数据中心网络。

2现代数据中心网络结构特征

数据中心网络作为互联网和云计算的基础支撑平台,承载着各类核心关键业务,对数据中心网络的功能和性能提出了全新的要求。与一般的网络不同,数据中心网络在结构上也有其特殊的要求。传统的数据中心网络典型地采用二层或三层树形结构,在三层网络结构中,自上而下分别为核心层、汇聚层、边缘层。

近年来,随着信息技术的高速发展,因特网、电信网、物联网等各类网络相互交叉融合,信息量呈海量式增长,对数据的存储、传输、处理等提出了极高的要求,数据中心规模急剧扩大,传统的数据中心网络结构成为限制数据中心发展的瓶颈,为此,研究人员提出了多种新的数据中心网络结构,与传统的树形网络相比,这些网络具有鲜明的结构特点。

2.1特点1:基于商业交换机构建

传统数据中心网络采用树形结构,网络的通信带宽将受限于根节点的带宽,如假设采用典型的三层树形结构,且所有层都使用普通48端口GIg E交换机,则核心层可用带宽仅为所有服务器出口带宽的约4‰。随着交换机端口数以及网络层数的增加,这种限制将更加突出。为了提高系统性能,需要采用高端昂贵的交换设备构建。虽然随着技术的发展,交换机的性能将不断提高,但是树形结构的这种结构性的问题将一直存在。一个现代数据中心通常可达上万乃至上百万台服务器的规模,使用高端专用设备将带来巨大的开销。为了降低成本,现代数据中心通常采用普通商业交换机构建,如Google数据中心、微软数据中心及Fat-tree,Portland,DCell,BCube等。基于商业交换机构建是现代数据中心结构设计的出发点,也是导致现代数据中心网络其他特性的重要因素。

2.2特点2:节点之间多路径连接

使用商业交换机使得单条路径的传输能力受限,需要在服务节点之间增加多条路径以满足服务器间高速数据传输的需求。Fattree,Portland均采用Clos构架的一种特殊形式(fat-tree)作为物理网络的连接形式,提供服务器间的多路径访问,VL2在使用Clos构架的同时在核心层使用高端10Gig E交换机以支持多路径并提供更高的带宽。Clos架构是贝尔实验室设计的一种多级交换结构,最早应用在电话网络中。Clos支持多级交换,并通过每个交换单元都连接到下一级的所有交换单元上,在不同交换单元之间建立多条交换链路。与此不同,DCell,BCube则通过在服务器上增加网卡,使服务器也承担部分路由和转发功能,并通过层次式的递归连接模式,构建服务器之间的多条通路。两者相比,前者在网络的连接方式上更加接近于传统树形结构,连接相对简单,更加直观和易于构建,但由于交换机承担全部路由和转发功能,仍需使用较高端的交换机,成本相对较高,而后者由于服务器承担了部分转发功能,只需小端口的交换机即可组建大规模的网络,成本相对更低,但服务器的转发能力相对更弱,同时,数据转发功能也可能降低服务器性能。

2.3特点3:从机架式向集装箱式转变

传统的数据中心基于机架构建,需要复杂的手工连线并占用大量的基础设施(如机房、空调冷却系统),开发部署周期长,且一经部署就难以移动,数据中心网络和基础设施紧密耦合。集装箱式数据中心又称模块化数据中心,它将服务器、网络和空调系统封装在标准尺寸的集装箱内,一个集装箱式数据中心可包含几百或上千台服务器。与传统机架式数据中心相比,集装箱式数据中心具有开发周期短、能耗密度高、占地面积小、便于移动部署等特征。

3发展趋势与展望

随着云计算和大数据应用的飞速发展以及网络在数据中心中的核心地位,数据中心网络已经成为了近年来引人瞩目的研究热点。国际学术界、国际标准组织、网络设备厂商、云计算提供商等都对数据中心网络研究给予了非常大的关注。由于数据中心网络领域的研究与工业界结合紧密,技术创新易于部署,可以预计在未来数年内数据中心网络的研究还将持续成为焦点。学术界关于数据中心网络的研究将成为云计算发展的有力助推器,并推动计算机网络体系架构和协议本身的创新。当前国内关于数据中心网络的研究基本与国际学术界保持同步,在部分技术方向甚至处于领先地位。因此,加强数据中心网络的研究,对于推动我国云计算和下一代互联网产业发展,并在国际新一轮IT技术革新浪潮中取得话语权,有非常重要的影响。

摘要：随着信息技术的不断进步,数据中心网络的规模也逐步扩大,网络架构的设计一直是相关研究中的热点问题。介绍了数据中心网络拓扑设计,论述了几种新型数据中心网络结构的特点和性能,并展望了数据中心网络的发展趋势。

关键词：数据中心网络,虚拟化,软件定义网络

参考文献

数据中心网络建设 篇8

从目前企业IT发展趋势来看, 无疑IT集中运行是未来发展的趋势。而企业IT集中运行的体现, 是集中的数据中心。通过将IT设施整合到一个数据中心, 并且实现IT的物理整合, 并在此基础上, 实现IT运维、数据和应用的整合。从建设集中IT运行的角度来看, 数据中心所关注的IT设施包括了服务器、存储和备份、网络、IT管理平台以及与生产环境相对应的集中的非生产环境, 包括集中的测试、开发和培训。其中, 数据中心的网络建设是数据中心生产运行环境的基础。

本文的目的在于说明如何建设一个企业级数据中心的网络。下面以某企业数据中心建设为例进行说明, 其过程包括调研、需求分析、网络总体架构设计、服务器群网络设计、数据中心互联网络、网络安全等。

2 前期准备

●调研

首先要明确数据中心的定位问题, 它的覆盖范围有多大?所框定的内容又是什么?这些都需要用户提前考虑清楚[1]。其次, 需要对企业网络现状进行非常详细的调研, 并对企业内部已经制定的相关网络设计标准、采用产品和技术路线、技术规范等完全理解和掌握, 并结合到相关设计中。

●需求分析

需求调研是一个循环渐进的过程, 通过不断的与用户进行沟通、更新、确认, 最终对用户需求达成一致。然后根据获得的第一手资料, 对用户需求进行分析。主要内容包括:数据中心网络性能要求, 并保留足够的升级空间, 避免将来由于性能不足造成的重复投资;根据企业现有网络现状, 尽量采用相同的网络架构和产品路线, 减少由于不兼容产生的问题;遵照现有的IP、Vlan、路由设计标准, 使新的数据中心网络接入企业整体网络时造成影响最小。

3 数据中心网络设计

3.1 总体要求

数据中心网络是生产运行环境的基础, 在设计时对于网络系统性能、可靠性和安全性必须给予充分的考虑。因此, 在架构设计上选择目前国际主流的万兆主干、千兆服务器连接、百兆桌面的网络架构, 核心层之间互联采用一路或多路万兆连接, 形成主干万兆或多万兆带宽。核心设备选型上均要求具备足够的背板处理能力, 即使将来系统升级, 也能保护用户对于现有网络基础设施的投资。所有的核心设备作双机冗余设计, 部分关键设备如服务器群网络核心交换机甚至做到双机、双引擎冗余, 最大限度地解决单点故障的问题, 提高系统整体可用性。通过集群协议, 比如路由器或者防火墙的集群协议, 如HSRP、VRRP等, 可以确保检测到故障后进行快速的故障切换。同时也推荐数据中心的设计和数据电缆的连接应当避免单点故障的发生, 例如对冗余的网段和端口应用不同的路由路径和电缆结构, 对广域网的连接, 建议采用多路ISP线路。

另外, 作为企业整体网络的一部分, 设计初期就必须考虑与现有系统的连接与整合。在网络协议、IP地址规范、线路和设备命名规范、网络安全规范等方面完全遵照已有的成果。

3.2 设计原则

●先进性、成熟性和实用性

使用先进、成熟、实用和具有良好发展前景的技术, 使得各个子系统具有较长的生命周期, 不盲目追求高档次, 既能满足当前的需求, 又能适应未来的发展。

●高可靠性

对于安装的终端设备、网络设备、控制设备与布线系统, 必须能适应严格的工作环境, 以确保系统稳定。整个网络的拓扑设计、设备配置、协议支持都必须充分体现出对高可靠性的支持, 不允许网络有任何的间断。

●可靠的服务质量QoS

这次数据中心建设的整体应用系统各种各样, 各种不同的应用对网络基础平台提出了不同的要求, 如:关键性的数据应用如管理平台软件对传输带宽有着严格的要求, 同时满足所有不同应用的不同需求, 需要整个网络平台提供端到端的可靠的QoS保证。可靠的基于策略的QoS保证是建设统一网络的必要前提, 而且QoS的提供必须能够保证线速性能和高可靠性。

●管理易操作性

网络管理平台采用先进且易于使用的图形人机界面, 提供网络信息共享与交流、网络设备信息资源查询与检索等有效工具。

●可扩展性

数据中心在网络系统的设计上需要把各子系统有机结合起来, 充分考虑将来需求的成长空间, 所提供的系统平台与技术将充分配合未来功能及扩充项目的需求。标准化、结构化、模块化的设计思想贯彻始终, 奠定了系统开放性、可扩展性、可维护性、可靠性和经济性的基础。

3.3 网络架构设计

(1) 总体架构

未来数据中心内部网络整体架构分为五个区:数据中心互联网络、核心交换区、办公接入区、服务器群接入区和对外连接区, 如图1所示。该网络区域划分也会随着企业数据中心功能、定位不同有所区分。

(2) 数据中心互联网络

经过多年IT信息系统建设, 大型企业都已建成自己的企业内部主干网。数据中心网络需要通过城域网或者广域网连接到企业内部主干网上, 以便利用高速带宽提供企业内部访问数据中心。灵活的数据中心接入企业内部主干网可以包括多业务光交换平台, 利用多种光技术、传输存储协议和数据服务提供超高带宽和超低延迟。光技术包括密集波分多路复用 (DWDM) 和同步光网/同步数字电路 (SONET/SDH) 服务, 传输存储协议包括FICON、ESCON、光纤通道和IP光纤通道 (FCIP) , 数据服务包括千兆和万兆以太网[2]。

(3) 核心交换区

核心交换区作为整个数据中心数据交换的核心所在, 对交换容量和系统可靠性要求最高。但由于所有的服务器、用户接入分别由办公接入交换机、服务器群接入交换机完成, 对接口密度没有太高的要求。设计采用2台万兆平台核心交换机构建核心交换区, 2台交换机之间运行HSRP/VRRP协议, 配置为互为备份并且负载均衡;采用多条万兆光纤链路捆绑连接, 实现多万兆的主干链路带宽。采用2条光纤链路捆绑连接办公网交换机, 采用多条万光纤链路捆绑连接服务器交换机。分别配置若干光纤模块和10/100/1000兆以太网口用作交换机互联和连接部分网管工作站、IDS等。各配置了2个大功率电源模块, 实现电源模块的冗余备份。出于限制网络广播传播的考虑, 服务器接入区和办公接入区分别配置成2个不同的VTP, 与核心交换区之间采用路由互联。

(4) 服务器群接入区

根据资源集中利用的设计原则, 在构建数据中心服务器接入区时, 采用一组高性能交换机群集接入所有服务器。由于几乎所有的生产服务器都连接到服务器群核心交换机上, 出于可靠性的考虑, 服务器群核心交换机同样采用2机热备的设计, 并且交换机必须同时满足极强的背板处理能力和高密度千兆以太网甚至未来万兆以太网接入能力。尽管建议在将来采购服务器中全部配置双网卡或多网卡, 分别连接到2台交换机, 解决服务器接入单点故障, 但是考虑到在现有服务器中, 部分服务器或服务器所使用的操作系统并不支持双网卡冗余连接, 为了减少由于1台服务器群群核心交换机发生故障, 造成这些单网卡连接服务器的全部无法使用, 在每台服务器群核心交换机上配置冗余引擎、冗余电源、冗余接入模块, 最大限度上减少交换机整体宕机的可能性。

除了提供高密度网络接入以外, 必须对服务器群功能、安全予以充分考虑。在设计服务器群接入区网络时, 需要根据应用与安全的需要, 采用最新的数据中心设计方法, 将各种重要的智能服务, 例如防火墙、入侵检测、服务器负载均衡和SSL卸载等, 直接集成在网络上, 不必再构建专用的计算平台, 大大简化了数据中心的整体结构。

另外, 由于服务器需要通过心跳网卡建立Cluster系统, 为了Cluster系统的灵活部署, 建议独立购买若干小型交换机组建物理上隔离的心跳网络系统。

(5) 办公接入区

数据中心办公接入网络主要提供办公人员的上网使用, 属于非生产环境。由于数据中心办公人员人数不会太多, 对网络系统性能要求不会很高。根据网络设备选型原则, 考虑到产品线统一, 方便网络管理、减少运维难度, 建议在办公接入区中选用2台中档3层交换机, 配置千兆光纤模块上连和百兆以太网模块接入。根据办公人员楼层分布的实际需要, 配置部分办公楼层接入交换机。

另外, 如有需要可将服务器网络远程管理卡连接到该网络上, 与生产网络分开, 避免互相影响。在数据中心内也可能存在一个小型的上线前临时测试环境, 作配置修改测试或上线前测试, 可以部署在办公接入网上。但必须通过访问控制等方式, 避免在测试时产生故障而影响到生产环境的正常运行。

(6) 对外连接区

出于稳定性、可靠性的考虑, 通过2路不同ISP线路连接Internet, 并通过链路负载均衡设备进行链路负载均衡和自动切换, 以提高线路可靠性。在对外链接区必须构建完备的网络安全体系, 确保数据中心安全。

(7) 网络安全

网络安全防范体系是动态变化的, 是以安全策略为核心, 以安全技术作为支撑, 以安全管理作为落实手段, 并通过安全培训加强所有人的安全意识。限于篇幅与笔者水平所限, 本文仅讨论其中安全技术部分。

在数据中心网络内部建立完善的审计系统, 保证收到入侵后有证可查, 并有助于日后建立安全预警系统, 抵御各种黑客攻击。使用千兆入侵检测系统对进入数据中心、对外连接区内所有数据流动进行实时检测入侵。使用认证服务器对数据访问进行统一认证。建立网络防病毒系统, 为数据中心提供防病毒服务。使用文件/补丁分发系统, 及时对操作系统、数据库、应用系统等提供补丁更新。在服务群接入网络、对外连接区对内和对外两侧分别部署多级防火墙, 对数据中心进行分级保护[3]。

(8) 网络管理

网络管理从功能上至少应该包括网络拓扑管理、网络故障管理、网络性能管理、网络配置管理, 管理的范围应该包括企业网中所有的网络设备 (包括路由器、交换机等) 以及重要的业务服务器, 网络管理应该支持分布式的分级管理模式。

数据中心网络作为企业整体网络的拓展与延伸, 主要网络管理可以由企业现有的网络管理系统完成, 必须在数据中心网络建设项目实施过程中对现有的网络管理平台进行分析、集成, 纳入到统一的体系结构中, 从而形成企业整体的IT管理系统。在实施过程中, 数据中心网络设备需要根据现有网管系统的要求, 配置相应的SNMP等网管协议。另外, 由于需要增加对整个数据中心网络的监控, 因此要对企业现有的网络管理系统进行适当二次开发或修改。

4 结语

建立数据中心是企业各业务系统集中的直接需求, 数据中心的网络则是数据中心生产运行环境的基础。在通过多个数据中心项目建设后, 我们积累了一些数据中心网络建设的经验。在此基础上, 本文提出了数据中心网络总体架构设计, 包括数据中心互联网络、核心交换区、服务器群接入区、办公接入区、对外连接区、网络安全、网络管理等多方面较为完整的设计思路和方法。

参考文献

[1]罗文雄, 卢少娟.浅谈大型数据中心建设[J].广东公安科技, 2005 (1) :42-45.[1]

[2]何志东.下一代数据中心的网络规划[J].中国传媒科技, 2007 (2) :26-27.[2]

数据中心布线与网络构架 篇9

笔者最近参观了不少的数据机房, 从布线系统的实施方案上提出一个值得思考的问题:为何在每个机柜/机架的顶部要设有一个RJ-45或光纤的连接模块?它的配置量是如何确定的?每一列机柜/机架布线列头柜的模配置与功能出于何种考虑?都得不到一种明确的答复。下面笔者将问题做进一步的延伸与细化, 是否可以体现为以下方面去思考。

◆它们处于布线网络拓扑结构与计算机网络构成的什么部位?

◆它们的配置容量依据是什么?

◆它们的产品选用要求的原则是什么?

◆连接线缆的长度应该如何考虑?

下面就针对提出的问题作一些分析, 以供读者参考。

数据中心除了设有中心机房外, 还有维护管理控制室与呼叫中心。这些机房布线与大楼的布线一样, 与计算机网络的结构应相适应地进行组网, 而且这两部分的布线系统也可以建立互通的关系。它们是既独立又有关联的。针对数据机房来说, 主要设置了总配线设备、服务器、路由器、网络骨干交换机、传输设备、接入设备等设备。但更多的是服务器, 少则几十台, 多则几百台, 它们主要连至网络交换机, 形成一个共享的数据库平台 (如图1所示) 。

从图1可以看出, 上百台的服务器安装在各个机柜/机架内, 它们可以设置在本层机房, 也可以设置在其他的区域。大量的服务器与骨干以太网交换机之间的连接线缆的数量就可想而知了, 而且线缆布放的路由复杂, 长度不一。因此, 是否应该考虑在路由器至骨干的以太交换机的路由之间设置一个区域的配线设备?先对服务器群的线缆在某一个位置 (CP) 进行集中后, 再延伸至区域配线设备 (FD) 或机房总配线设备 (BD) , 也就是将机房布线看成是一个特殊的、独立的区域来考虑布线, 它也同样存在有主干线缆、水平线缆和总配线设备 (BD) 、区域配线设备 (FD) 及区域集合点配线设备 (CP) 。在区域配线设备 (FD) 的安装机柜/机架内可以设置以太网交换机, 但集合点的部位是不存在网络设备的。只有将这些设备在机房中的分布情况及安装位置确定以后, 再来明确列头柜的位置、数量及功能。然后, 可以考虑机柜/机架顶部的配线模块 (光或电) 是作为CP使用?还是按照多用户信息插座对待, 它可以通过设备缆线连接网络设备端口。

图2和图3分别表示了FD和CP设置在不同位置时, 布线系统的构成情况。

◆图2表示了本层机房内不同的设备区域设有多个FD, 并且和以太网交换机安装在同一个机柜内, 此机柜在某一列的列头位置设置, 但是它可以连接本列或其他列的网络设备信息插座。此种情况适用于机柜数量较少的机房。

◆图3表示了本层机房内不同的设备区域或者在其他层楼设有多个FD, 并且和以太网交换机安装在同一个机柜内, 此机柜在机柜区域的某一位置设置, 但是它可以连接每列安装CP配线设备的列头柜网络设备。此种情况适用于每一列机柜数量较多的机房。

在机房布线设计时, 还得考虑在以下应用场合的实际状况。

◆机房的总配线设备 (BD) 除了与不同的区域机房的区域配线设备 (FD) 进行互通以外, 也可以与维护管理区域、呼叫中心设置的 (FD) 以及机房区域以外的大楼电信间 (FD) 及进行间配线设备建立互通的路由。

◆如果从BD直接采用光纤连至机柜顶部的光配线模块时, 在保证网络对缆线长度的要求及不影响网络传输质量的情况下, FD处可不设置以太网交换机, 光纤直接在FD处 (列头柜) 作光纤的对接。

◆关于机柜顶部是否设置多用户插座的问题。多用户插座的设置主要解决机柜内各个网络设备接入而使用的, 它可以安装在机柜上方走线槽内, 或者机柜的最上层部位。一般在网络构架和机柜内的网络设备数量不太明确的情况下, 为了能够适应变化, 采用事先在敞开线槽处安装的方式, 模块满足的端口数可以为12~48个。如果每一机柜不设置多用户插座或将其设置在列头柜的位置, 则设备缆线有可能会超过规定的长度 (5m) 要求, 另外也不利于将来缆线的布放。

◆如果设置CP点, 仍然要注重CP点至FD之间缆线长度大于15m的要求。

企业大型数据中心网络和布线设计 篇10

1 布线系统总体规划

企业大型数据中心布线系统设计, 应以网络架构设计为依据, 满足应用系统的需要, 按照一次规划分期建设的原则进行, 同时留有部分余量, 避免浪费。

企业大型数据中心布线系统设计需要在网络规划的基础上进行布线规划, 采用结构化、模块化布线方式。布线系统总体架构包括:主配线区 (MDA) 、中间配线区 (IDA) 、水平配线区 (HDA) 和设备配线区 (EDA) 四个布线区域。由主配线区 (MDA) 至中间配线区 (IDA) 、由中间配线区 (IDA) 至水平配线区 (HDA) 、由水平配线区 (HDA) 至设备配线区 (EDA) 采用星型拓扑结构的布线方式。数据中心布线系统拓扑结构如图1所示。

2 结合网络架构的布线设计

针对企业大型数据中心的项目特点, 常见的网络架构及布线设计方案可以分为列头式 (EoR) 、集中式 (改进型EoR) 、分散式 (ToR) 三种方式。

(1) 列头式

列头式即EoR的方案, 是数据网络架构规划及布线设计中比较传统的方案, 即将网络系统中接入层交换机置于每列列头的1~2个机柜中, 本列机柜所有铜缆/光缆都汇聚到列头柜的接入交换机中, 通过交换设备把铜/光的数据传输转换为光缆传输;所有经过列头柜转换出来的多芯光缆汇聚到数据中心的模块或核心交换机中。网络拓扑如图2所示。

采用EoR的方式, 服务器首先连接到布线列头柜, 布线结构清晰, 具有较高的通用性与灵活性, 尤其在一些业务应用不明确的前提下可考虑采用。可以将高性能、高端口密度、模块化的大型交换机置于列头柜中, 通过高效的端口分配, 提高端口利用率, 降低交换机成本, 由于采用列头柜的接入方式, 提高了端口利用率。

EoR布线方式的缺点是采用大量双绞线布线, 综合布线成本高, 后期维护成本高, 每列机柜需要至少一个列头柜, 从而导致每个机房模块需要较多的列头柜, 空间利用率低。

(2) 集中式

集中式的原则是将同一区域的服务器统一接到网络机柜, 以高密度的网络设备作为服务器群的接入。根据机房的实际情况, 可以划分区域的范围, 一般一个区域的服务器机柜不超过60台。按照企业的实际情况, 网络设备采用集中式的放置方式, 使用大型框架式数据中心级交换机。即在一个机房模块中分为几个大的区域, 各个区域的服务器分别集中到区域汇聚交换机中。网络拓扑如图3所示。

采用集中接入方式, 端口利用率很高, 所投入的网络设备数量减少了很多, 网络设备的维护量会减轻, 可以将高性能、高端口密度、模块化的大型交换机置于机房中, 利用交换机的虚拟化技术, 提高整体处理能力, 无需设置列头柜, 一个机房模块集中设置网络机柜, 节约了机房的面积。

但对布线系统提出了较高的要求, 线缆的维护量较大。服务器统一接到网络机柜, 需要大量双绞线布线, 有时会受到距离的限制, 综合布线成本较高, 后期维护难度大, 维护成本高, 网络系统扩充难度大, 对综合布线的依赖程度高。

(3) 分散式

ToR的原则是把接入层交换机布置在设备区的每个机柜内。优点是从服务器到交换机是“简单的”跳线连接, 从交换机的上行链路端口到上层交换设备是光纤连接, 在汇聚层向上, 构建一个“全光纤”的网络架构。网络拓扑如图4所示。

ToR布线方式简化了服务器机柜与网络机柜间的布线, 服务器在机柜内通过双绞线 (或光纤) 在机柜内直联交换机, 接入层交换机通过光纤上连至汇聚层交换机, 节省综合布线成本, 尤其是后期综合布线系统的管理成本。接入层交换机的分散放置, 网络容易进行系统扩充, 也使得服务器的接入空间相对增加, 从而提高机房内单位面积的数据处理能力。按42U高的机柜计算, 如果采用交换机ToR布线方式, 则每个机柜最多可部署40台1U高度的机架式服务器。

ToR布线的缺点是每个服务器机柜受电源输出功率限制, 可部署的服务器数量有限, 每个服务器机柜或相邻几台服务器机柜中需放置接入层交换机, 由于接入服务器数量的限制, 每个交换机的端口不可能完全被利用, 端口利用率较低。ToR方式的网络建设成本比较高。

综合布线与网络系统整体成本增加, 但是可以提高机房有效的空间, 提高机房单位面积的数据处理能力, 因而获得很好的性价比。

3 设计案例

以某大型企业数据中心为例, 结合企业应用系统需求和网络架构规划, 针对机房模块不同的业务需求, 相应地采用不同的布线设计方案。从使用功能上, 该企业数据中心主要分为普通业务应用模块、大型重要业务应用模块、云计算应用模块、核心网络机房模块、屏蔽机房模块。以下将结合上述几种机房模块应用系统需求及网络架构的特点分别提出布线设计方案。

(1) 普通业务模块布线方案

普通业务模块主要针对一些重要性一般、中小规模的业务系统部署, 如办公管理系统、对外网站、电子邮件、企业信息系统、档案管理系统等, 一般多个应用系统共同部署在一个机房模块内。各应用系统的规模不等、网络接入的需求各不相同、业务应用部署需要不明确, 因此要求布线设计具有较高的通用性与灵活性, 推荐在普通业务应用模块采用EoR的布线方式。普通模块分区如图5所示。

考虑到企业数据中心的业务特点, 普通业务模块单机柜供电容量按平均3kW/RACK设计, 2U及4U机架式服务器各按50%考虑, 估算每台服务器机柜内服务器的数量为8台, 每个服务器机柜按“24电+8光”规划布线端口数量。每台服务器机柜设24个铜口, 采用一次性布线的方式, 由EDA区引至HDA区, 考虑到满足未来设备部署灵活性的需要, EDA区的铜缆配线架推荐配置在机柜上方对应位置网格桥架的侧方, 每台服务器机柜考虑8个光口 (初期按30%配置) , 每4个机柜布置一个1U的光纤配线箱, 部署12个光口, 供4个机柜共用。光口主要满足以太网接入及存储网络接入的需要, 光纤配线箱推荐部署在光缆线槽的下方, HDA区至IDA区采用预连接光缆, 在每排预留4U的光纤配线架机框, 敷设24芯预连接光缆4根至IDA区 (初期按30%配置) , 光缆、铜缆跳线按50%配置。

(2) 大型重要业务应用模块布线方案

大型重要业务应用模块主要部署企业重要的、中大规模的业务系统, 如企业ERP等。一般一个应用系统需要占用一个或几个机房模块, 业务系统内的横向流量远高于纵向流量, 适合采用高性能、高端口密度、模块化大型交换机作为接入交换机, 提高网络的性能和可靠性, 降低接入过载比, 通过虚拟化的技术提高整体性能。因此布线设计适合采用集中式 (改进型EoR) 布线方案。按照数据中心集中式的网络架构, 将一个机房模块划分为4个区域 (每个区域40~60台机柜) , 每个区域放置一对数据中心级交换机, 每个区域预留2台交换机机柜和2台布线机柜。以某厂商设备为例, 其数据中心级核心交换机产品的高度是38U, 对于标准42U高的机柜, 需要占用一整个机柜。单机柜可以提供576个万兆端口或者864个千兆端口, 完全可以满足数据中心服务器接入需要。大型重要业务应用模块分区如图6所示。

大型重要业务应用模块单机柜供电容量仍按平均3kW/RACK设计, 每个服务器机柜按“24电+8光”规划布线端口数量。每台服务器机柜设24个铜口, 采用一次性布线方式, 由EDA区引至区域集中EoR布线区。考虑到满足未来设备部署灵活性的需要, EDA区的铜缆配线架推荐配置在机柜上方对应位置网格桥架的侧方, 每台服务器机柜考虑8个光口 (初期按30%配置) , 每4个机柜布置一个1U的光纤配线箱, 部署12个光口, 供4个机柜共用。光口主要满足以太网接入及存储网络接入的需要, 光纤配线箱推荐部署在光缆线槽的下方, 区域集中EoR布线区至IDA区采用预连接光缆, 在每排预留4U的光纤配线架机框, 敷设4根24芯预连接光缆至IDA区 (初期按30%配置) , 光缆、铜缆跳线按50%配置。

(3) 云计算模块布线方案

云计算应用模块主要部署企业的云计算服务平台, 如桌面云、高性能计算等, 一般单独分配一个或几个模块来满足此种业务的应用需要。云计算应用对服务器的各项性能指标要求较高, 包括计算能力、可靠性及虚拟化性能。云计算平台一般采用高性能的机架式服务器或刀片式服务器, 部分云计算数据中心采用定制化的服务器, 推荐在云计算环境下采用4U机架式服务器。另外云平台的建设通常采用统一建设的方式, 服务器的性能规格、接口类型、部署方式容易做到统一及规模化部署。云计算数据中心模块须要采用大二层网络架构。为了提高单位机柜对整体数据中心基础设施的利用率, 设备端口的布线密度非常高。因此云计算模块中的高密度服务器机柜适合采用ToR的布线方案。

云计算模块单机柜供电容量按平均7kW/RACK设计, 每台机柜部署8台4U机架式服务器, 每台服务器考虑4个业务网端口, 2个存储端口, 1个管理端口。云计算网络不仅要进行业务数据通信, 还要实现虚拟服务器的在线迁移、负载均衡等新功能, 因此云技术平台服务器与数据中心网络设备的连接尽量采用万兆接口, 以减小带宽对资源池动态调配可能造成的不利影响。万兆网卡光铜口按各占50%设计, 铜口区域每台服务器机柜考虑32个铜口, 由服务器至ToR交换机采用铜缆跳线直接跳接的方式;光口区域每台服务器机柜考虑32个以太网络光口, 由服务器至ToR交换机采用光缆跳线直接跳接的方式。每2台机柜为一组, 作为一个ToR布线单元, ToR设备机柜布线采用每个To R布线机柜内放置1U光纤配线箱的方式, 由ToR机柜布线区至IDA区引入2根12芯预连接光缆 (初期按50%配置) 。

考虑到云计算应用中每台服务器均有存储资源池的访问需求, 每台服务机柜设24个光口用于连接存储网络 (初期按50%配置) 。每2个机柜布置一个1U的光纤配线箱, 部署12个光口, 供2个机柜共用。KVM及带外管理网布线单独设置, 按每2个机柜布置一个24口的铜缆配线架, 供2个机柜共用。采用一次性布线方式, 由EDA区引至HDA区。光缆、铜缆跳线均按50%配置。云计算模块分区如图7所示。

(4) 核心网络机房布线方案

核心网络机房模块用于部署数据中心的核心网络路由交换设备及核心网络布线的MDA区。项目采用两个标准机房模块中的部分机柜 (2排) 作为核心网络机房 (MDA区) 使用, 每个机房模块的中间配线区 (IDA) 至每个核心网络机房 (MDA区) 引入2根72芯OM4光缆, 光缆推荐采用OM4多模光缆, 满足未来40G或100G应用对传输距离的要求。光铜缆跳线按50%配置。网络核心机房 (MDA区) 分区如图8所示。

(5) 屏蔽机房布线方案

企业屏蔽机房建设是为满足企业涉密业务的需求, 屏蔽机房的布线须符合国家对涉密信息的安全要求。屏蔽机房的建设须参照国家保密局《处理涉密信息的电磁屏蔽室的技术要求和测试方法》BMB3-1999, 和中国人民解放军《军用电磁屏蔽室通用技术要求和检验方法》GJBZ 20219-94等标准的要求。

在本项目中, 屏蔽机房内设2排机柜, 每排10个服务器机柜, 每台服务器机柜考虑24个屏蔽铜口, 采用一次性布线方式, 服务器机柜到网络列头柜采用6A类屏蔽铜缆, 屏蔽铜缆配线架配置在机架上。每台服务器机柜考虑8个光口 (初期按30%配置) , 每4个机柜布置一个1U的光纤配线箱, 部署12个光口, 供4个机柜共用。光纤配线箱部署在光缆线槽的下方。由服务器机柜到列头柜采用预连接光缆的方式, 屏蔽铜缆及光缆跳线按50%配置。

(6) 运营商接入布线方案

数据中心楼两侧各独立设置运营商接入机房, 满足从两个不同的路由引入电信市政外线的要求。本项目两侧各设四间运营商机房。每个运营商机房区域可满足4家运营商接入的需要。每家运营商机房至每个MDA区引入1根24芯OM3多模光缆, 12根6A类非屏蔽铜缆, 12根75-5同轴电缆以满足多种类型链路的接入需求。

4 布线产品的选择

布线产品的选择需根据项目的实际需求, 并考虑项目的建设投资等因素综合确定, 以下仅给出推荐性建议。

在线缆的选择方面, 为支持10GBase-T的需求, 数据中心铜缆推荐采用6A类铜缆, 6A类铜缆承载10GBase-T的距离为100m。为了支持10G和未来40G或100G的应用, 数据中心光缆推荐采用OM3 50/125μm激光优化多模光缆或OM4光缆。光缆连接推荐采用预端接光缆, 光纤模块采用MPO-LC接口类型。在线缆的阻燃等级方面, A级机房铜缆布线推荐采用CMR级阻燃线缆, 光缆布线推荐采用OFNR级阻燃光缆。B级机房铜缆布线可采用CMR级阻燃线缆或低烟无卤线缆, 光缆布线可采用OFNR级阻燃光缆或低烟无卤线缆。

大型数据中心机房规模较大, 部署的服务器机柜数量较多, 对后期布线系统的运维管理带来了较大难度, 因此推荐使用电子配线架。电子配线系统对快速布线、及时诊断故障等带来便利, 提高了运行及维护的效率。

数据中心网络布线的线缆路由建议采用上走线方式, 铜缆布线推荐采用开放型的网格式桥架, 光缆布线推荐采用光纤尾纤槽。

5 结束语

从根本上讲, 数据中心网络布线系统满足于各应用系统网络互连互通的需求。因此, 合理的布线系统设计一定是基于数据中心的网络架构规划, 方案设计难点也在于此。本文主要结合数据中心常见的网络架构和布线设计方案及一些企业大型数据中心项目中布线系统设计的经验, 提出了针对一些业务应用场景和特定需求的解决方法。当然, 正因为布线系统的设计源于数据中心应用系统的需求, 因此需要在每个项目中针对特定行业、特定企业的应用特点及需求, 提出有针对性的数据中心布线系统设计方案。

参考文献

[1]电子信息系统机房设计规范GB50174-2008.北京:中国计划出版社, 2009

[2]综合布线系统工程设计规范GB50311-2007

[3]美国通信行业协会标准数据中心通信设施标准TIA942