第三方中立数据中心运营商高品质多线BGP网络架构设计与实现

摘要：鉴于国内三家主要基础运营商占据互联网接入带宽市场的主导地位，随着互联网和智算市场的蓬勃发展，高端用户对互联网品质的要求不断提升，单个基础运营商已无法满足其对多线BGP、多基础运营商线路的诉求，在此领域第三方数据中心运营商的优势明显。本文提出一种具备高可用性、高安全性、高扩展性的多线 BGP 网络架构设计方案，并深入探讨了入向流量、出向流量、默认路由设计等关键环节。

关键词： BGP  数据中心  第三方中立数据中心 城域网  骨干网

背景

在国内数据中心市场，除基础电信运营商外，第三方数据中心运营商是重要组成部分，主要提供机柜场地租赁、互联网带宽租赁、云服务等数据中心服务。相对于基础电信运营商，第三方数据中心运营商凭借在专业性、建设速度、产品创新、定制能力等方面的优势，获得高端客户的认同。尤其在“新基建”和“东数西算”战略加持下，互联网流量不断攀升，高端用户对互联网品质的要求不断提升，单个基础运营商已无法满足其对多线BGP、多基础运营商线路的诉求，在此领域第三方数据中心运营商的优势明显，第三方数据中心运营商对基础运营商的互联网带宽保持中立，可按需给客户提供定制化服务，不为某个基础运营商所绑定。本文根据第三方数据中心运营商的实践经验提炼与创新，设计出高可用、扩展性强的多线BGP网络架构，为用户提供高品质网络服务。

BGP协议与国内基础骨干网现状

BGP协议介绍

BGP（边界网关协议）是一种用于互联网自治系统（AS）之间的动态路由协议，其主要功能是在各自治系统之间交换网络可达性信息。BGP协议是一种路径向量协议，使用TCP作为传送协议，保证了数据传输的可靠性。BGP协议支持无类型的区域间路由CIDR，并支持丰富的策略配置，包括路由聚合、路由过滤、多播路由、VPN路由以及QoS等参数扩展[1]。

基础运营商骨干网介绍

中国电信、中国联通和中国移动是中国三大主要的基础电信运营商，各自拥有全国性的骨干网络。在实际业务中，由于历史原因和技术限制，不同运营商之间的网络仍存在一定的瓶颈，故高端用户一般不局限于采购一家基础运营商的网络线路，需要同时采购多家基础运营商线路构建多线BGP网络，第三方数据中心运营商在高品质BGP网络建设方面具有天然的优势，与基础运营商形成差异化竞争优势[2，3]。

第三方数据中心运营商网络产品

第三方数据中心运营商提供的网络产品一般有静态带宽产品，客户通过默认路由接入，一般为单线没有冗余保护，在与其他基础运营商网络互联互通时网络品质较低;单线BGP带宽产品，通过BGP协议与一家基础运营商互联，如中国电信，则在中国联通和中国移动方向理论上可互联互通，因跨网通信，互联网互通网络品质得不到保障；多线BGP带宽产品，与多家基础运营商同时通过BGP协议互联，对应的公网IP地址同时向多家基础运营商宣告，与在多家基础运营商网内网络品质可得到保障，同时提供多线冗余防护，如中国电信方向的端口异常后，中国电信方向的入流量可通过中国联通或中国移动网内绕行进入本地中国电信网络[4，5]。多线BGP网络可提供更好的服务品质，建设成本相对也较高，网络建设方案复杂度，维护难度相对静态带宽和单线BGP更有挑战。

多线BGP网络设计方案

假设第三方数据中心运营商自有一个AS号，与三家主要基础运营商都有多条BGP链路互联，秉持高可用、高扩展性、高安全性，采用分区分域，分层设计的原则，主要分为三层设计：

数据中心接入层，主要为数据中心客户的互联网带宽接入，在数据中心接入层又分为三层，其中有接入层、汇聚层、核心层。接入层和汇聚层运行OSPF和静态路由等协议，核心层下联汇聚层运行OSPF协议，上联多线BGP网络平台层，运行BGP协议。

多线BGP网络平台层，包括BGP路由区域和运维安全管理区域，BGP路由器区直接的路由器通过BGP协议与基础运营商上联，通过BGP协议与数据中心核心设备下联，BGP路由器之间的IGP互联采用ISIS协议。运维安全管理区域，主要管控多线BGP网络平台的路由器设备和数据中心接入层的网络设备，部署SSLVPN、堡垒机、日志审计、防DDoS监测和清洗设备，保障整个网络平台的安全性，网络安全设备的配置具备通过等保三级的能力。

基础运营商层，现接入主要基础运营商，包括中国电信、中国联通、中国移动，基础运营商一般是通过当地城域网接入，再汇聚到全国骨干网络。以上海为例，一般是先接入到上海城域网，再连接到全国骨干网络。

多线BGP网络的设计，主要涉及BGP流量入方设计规划、BGP流量出向设计规划、BGP默认路由设计规划，以下根据这三个方面的具体设计进行展开讨论。

多线BGP网络入向流量设计

在流量的入方向，主要通过路由宣告进行控制，通过粗细路由精确控制，控制入方向的流量是从电信、联通、移动方向进入数据中心。BGP路由协议有多重属性可控制入向流量，如AS_PATH，但基础运营商并不是所有的属性都接收并处理，如增加AS_PATH长度就不是基础运营商标准接收的配置方式，需与基础运营商单独沟通处理，故在入向流量的控制上一般采用粗细路由精确控制。

以122.144.128.0到122.144.131.0这四个C为例，因基础运营商接收的掩码最长只能是24位，超过24位的掩码不会接收，故宣告给基础运营商24位的掩码已是最长掩码。多线BGP网络产品的入向流量设计，给基础运营商的六个互联端口，在路由宣告时都采用23位的掩码，这样在多家运营商网络内的掩码都一致，若其他属性一致的话，流量会从多家基础运营商均衡的流入本地数据中心。我们再来看单线BGP网络产品的设计，假设设计一个中国电信的单线BGP产品，则可在电信的互联端口宣告24位掩码，其他基础运营商宣告23位掩码。这样在Internet的BGP路由表中，中国电信的路由最优，理论上其他基础运营商的网络流量都会绕到中国电信网内，然后进入第三方中立数据中心本地AS。

多线BGP出向流量设计

在BGP流量的出方向控制，主要有指定接口配置PBR（策略路由）、在接收路由条目时设置不同的Local Preference等方式。在接口下配置PBR的方式需要在不同的互联接口下配置，优点是根据流量五元组对流量进行筛选和过滤，单点控制简单明了，缺点是缺乏全局视角，若配置的PBR过多，故障排查故障定位比较困难。综合考虑多线BGP出向流量的几种控制方式，本文优先选择在接收路由条目时设置不同的Local Preference，以此来控制多线BGP出向流量的控制。

Local Preference（本地优先级）属性是一个BGP公认自由决定属性，默认值是100，在Preval熟悉相同的情况下，Local Preference属性值越大越好，该路径属性只能在IBGP对等体之间传递，当路由通告给EBGP对等体时，禁止携带该属性。

根据路由接收策略，源IP地址分为三大类：

基础运营商网内路由：直接通达第三方中立数据中心运营商AS。

非基础运营商直通流量路由：流量通过一个基础运营商后通达第三方中立数据中心运营商AS。

非基础运营商绕行流量路由：流量通过绕行两个以上基础运营商通达第三方中立数据中心运营商AS。

设计路由接收策略，以中国电信为例，在中国电信与第三方中立数据中心运营商AS互联的BGP接口下，拒收第三方中立数据中心运营商自有公网IP路由，拒收默认路由，拒收私网路由，拒收从中国联通和中国移动骨干网和本地城域网过来的路由。针对中国移动和中国联通采用类似的设计策略。

路由接收效果，单一基础运营商互联端口上只接收本基础运营商网内路由和与本基础运营商直通的非基础运营商路由。其他路由全部拒收，拒收的路由最终走默认路由。如中国电信与第三方中立数据中心运营商AS互联的BGP接口下，只接收中国电信网内路由，不会收中国联通和中国移动的路由，也会接收直接和中国电信互联的非基础运营商路由，比如阿里云、腾讯云网内与中国电信直连的AS的路由。

基础运营商网内路由只可能通过对应基础运营商互联端口接收，不会从其他基础运营商的接口再接收几条相同目的地路由过来。

非基础运营商若与基础运营商也是多线互联，则第三方中立数据中心运营商本地有可能收多条相同目的地址的路由，比如阿里云的公网IP，通过电信、联通、移动都有直通路由过来，则根据AS的跳数，设置对应的Local Preference.

多线BGP默认流量设计

针对被拒收的路由和没有对应明细路由的流量，必须设计高可用的默认路由条目，否则会造成流量丢弃。可选择两个与基础运营商互联端口设计为默认路由出口。

对于数据中心的核心网络设备，必然是要去多线BGP网络平台的路由器，如果多线BGP网络平台的默认路由器失效，非强制下发的默认路由就会消失，造成网络丢包。多线BGP网络平台对数据中心核心网络设备最好通过default-route-advertise下发强制默认路由。

展望

随着互联网的磅礴发展和智算服务的不断丰富，对网络的可用性、安全性、灵活性要求不断加码，本文结合第三方独立数据中心运营商多线BGP构建经验，提出了一个适合国内网络特色的多线BGP网络架构方案，此方案具备高可用性、高安全性、高扩展性，可根据实际情况进行不断优化迭代调整，定制适合特定客户诉求的配置，持续提升BGP网络服务品质。

参考文献：

[1]张建栋，MPLS协议的QoS策略研究与应用[D].兰州大学，2007：21-298

[2]张晶，朱洪波.基于跨层优化的机会频谱接入算法[J].通信学报，2010（11）：188-194.

[3]胡捷，王和宇.IP城域网业务演进对设备、组网的要求[J].电信技术，2005（6）：14-15.

[4]BGP双入网络+VRRP双活网关调整实例及技术实现[J]，网络安全和信息化，2024：163-165

[5]基于BGP协议某大型企业网络搭建及设计[J]，长江信息通信，2023：86-88