分布式系统架构网络之IDC机房

柔光的暖阳◎ 2022-06-08 14:48 731阅读 0赞

我们开发的互联网应用被部署到IDC机房里的某个服务器上，从而完成了应用互联网的接入，所以我们接下来学习一些IDC机房的相关知识。

IDC机房又被称为互联网数据中心（Internet Data Center）或者数据中心，IDC不仅是数据存储的中心，还是数据流通的中心。IDC机房是标准化的电信专业级机房，为企业、政府提供服务器托管，租用及相关增值等方面的全方位服务。一开始，IDC机房主要是联通、电信等运营商建设的，后来很多企业也有了自己的IDC机房，BAT都是自建IDC机房。

由于2002年5月国内电信业大重组，原中国电信北方10个省份正式划入中国网通集团，南方21个省份重组为新的中国电信。这次“大分家”把中国的互联网一分为二，于是出现了中国特色的“互联互不通”，这样直接导致了国内的IDC机房往往具备双线接入这一奇特特征。

如下所示是IDC机房的网络架构图，一般分为出口路由区、核心交换区、接入网络区及增值业务区四个区域。

![这里写图片描述][SouthEast]

1、出口路由区的主要功能是作为IDC机房的出口，与国干网（CHINANET骨干网）和本身的城域网互联，完成外部网络和IDC内网的三层互通，通常由两台CR路由器组成。对于某些大型的省份，通常会建设多个IDC机房，若每个IDC机房之间都与国干网和城域网互联，则会浪费国干网和城域网设备的端口资源和线路资源，因此通常会再建设一个IDC路由骨干层网络。骨干层中的两台CR路由器直接与国干网和城域网互联，各机房IDC出口CR路由器则与骨干层出口路由器互联。

2、核心交换区则由一组核心交换机组成，作为接入层与出口路由区的互联设备，起到汇聚流量的作用，同时IDC内部流量的互通也可以通过核心交换层完成。在云计算业务兴起后，为了扩大二层网络规模，同时提高内网效率，交换网络大多数采用核心层加接入层的扁平化组网，不在设置汇聚层。而为了实现高密接入，核心交换机通常采用数据中心及设备，具有高吞吐、大缓存等特点，同时通过IRF2网络虚拟化技术，将多台核心交换机虚拟成一台，既提高接入密度，又方便管理。

3、接入网络区下联物理服务器，上联核心交换机，主要部署千兆或万兆交换机。由于物理服务器数量众多，且每台物理服务器均有多个端口，这就要求接入层交换机需要实现高密接入。当前，在IDC网络中，接入交换机通常以TOR方式在每个机柜部署两台，实现本机柜的服务器接入。接入交换机通常采用千兆下行（连接服务器），万兆上行（连接核心交换机）的连接方式，并通过IRF2技术进行虚拟化部署。

4、增值业务区部署与增值业务相关的 设备，包括防火墙、IPS、负载均衡等设备。这些设备通常以旁挂核心交换机的方式进行设计，根据业务需求，在核心交换机上将流量增值业务区处理。对于云主机等业务，由于规划使用私网IP网段，因此必须使用防火墙实现NAT转换，该防火墙设备通常也以旁挂方式部署在核心交换机上。

IDC机房通常采用传统的VLAN技术实现租户网络的隔离，VLAN基于IEEE的802.1Q协议，在该协议的帧格式里面定义了VLAN ID的位数为12比特，因此最多只能支持4094个VLAN。而随着云数据中心的各种业务应用的规模落地，业务量不断增长，就可能需要成千上万个VLAN，传统VLAN的数量不能满足云数据中心日后业务规模发展的需求。另外，物理服务器被虚拟化之后，云数据中心内部虚拟机的数量相比原有的物理机发生了数量级的增加，与之对应的虚拟机虚拟网卡的MAC地址数量也相应增加，这对云数据中心接入区网络的交换机地址容量能力产生了很大冲击，当虚拟机数量很多时，会导致交换机的MAC地址表溢出，从而导致数据帧的丢弃或者产生大量的广播帧，严重影响网络的性能。

最后，云数据中心中虚拟机通常需要在一定范围内迁移，在传统VLAN网络下，虚拟机只能在二层网络下迁移，并且为了能够支持虚拟机的迁移，需要在二层网络中对VLAN进行预配置，这造成了VLAN的配置混乱，影响了VLAN广播域的隔离，降低了网络的效率。VXLAN（Virtual eXtensible Local Area Network）虚拟拓展局域网是一种“VLAN升级技术”，它是一种大二层虚拟网络拓展的隧道封装技术，可以很好的解决上诉问题，目前该技术已经成为各种规模化运营的云数据中心不可忽视的关键应用技术。

VXLAN是VMware、思科、Arista、Broadcom、Citrix和RedHat共同提出的IETF草案，可以通过软件的方式来实现支持，其中最重要的开源软件交换机是Open vSwitch，它也是虚拟化网络解决方案中最重要的一个开源软件，OpenStack、Docker都可以用它实现虚拟网络。

参考：架构揭秘从分布式到微服务

[SouthEast]: /images/20220608/3e38ddf2a44f416bb91d458ec2ae7399.png