缩略图

云计算数据中心结构及其调度机制研究

作者

刘岳松

中国通信建设集团设计院有限公司第一分公司,保定 071000

摘要:针对云计算中心容量趋势无法预测和异常无法监测的问题,提出一种以大数据分析为基础对云计算中心进行智能运维的方法。实验表明,基于Isolation Forest的服务器异常检测方法准确率约为88%,基于ARIMA模型的磁盘容量预测平均绝对误差为0.158 6,证明了该系统相较于传统运维平台具有更好的稳定性、健壮性及服务能力。

关键词:云计算中心;智慧运维;孤立森林;ARIMA模型;趋势预测;

随着智慧校园建设不断深入,高校对计算、存储等资源的需求呈增长趋势,而云计算作为当前数据中心的主要服务模式,可提供计算、存储等资源。随着数据中心规模扩大、设备数量增加,传统被动等待式运维方式已无法满足当前运维需求,因此如何保障云数据中心稳定运行、健壮性及其服务能力已成为当前需要迫切解决的问题。

1 智能运维系统整体框架

智能运维系统主要包括服务器性能数据采集、数据预处理、基于时间序列算法与异常检测算法的大数据分析、大数据预警4个阶段。由此可见,服务器性能数据采集是智能运维系统的首要任务,只有具备了海量服务器性能数据,才能分析、挖掘和探索数据之间潜在的关系和规律;数据预处理主要对采集的服务器性能数据进行去重、属性重构、过滤、替换、关联等,实现数据标准化;大数据分析主要将数据按照不同维度,采用对应算法(异常检测、关联分析、时间序列等)挖掘主题,从而实现精准预测、异常预警等;在应用层主要通过预警程序提前发现、干预和处理问题与故障。

2 数据中心网络体系结构设计

2.1 数据中心网络体系结构架构研究

云计算技术不仅可以为用户提供统一的共享资源池,而且能够按需实现资源的动态调度,因此该技术具有较强的可靠性。基于云计算技术的分层理念,通过分层形式设计数据中心网络体系结构。

在该体系结构中,基于分层处理模式,通过冗余网络保障每一层次之间能够通过冗余连接。每层具体实现内容如下。

互联网接入层实现数据中心网络体系与互联网的互联,实现路由信息转换与维护。

核心汇聚层连接接入层的高性能路由器,为使用者提供网络安全保障。该层配备多层交换机,通过10 GE端口实现与接入层路由器的连接,并通过链路捆绑技术,实现该层交换机之间的逻辑连接,同时连接业务接入层中的服务器,将上层传来的互联网资源传输业务接入层。

业务接入层用于接入主机及网络设备,同时在该层实现网络带宽分配。保障数据中心网络运行安全。

2.2 虚拟网络带宽分配机制

在基于云计算的数据中心网络体系业务接入层,每台交换机均配备了一个带宽分配逻辑单元,并在这一带宽分配逻辑单元中,采用基于令牌桶(Token Bucket)的带宽分配方法,对服务器上虚拟机中的每条网络链路进行分配与控制,以此实现虚拟网络的带宽分配,提高虚拟网络的带宽利用率。

令牌桶是一种常用的带宽分配算法,目前这一算法广泛应用于网络资源访问速率的控制。这一算法基于令牌桶的概念,其中令牌桶为可用的令牌数量,每个令牌代表一定的数据量或者带宽请求量。

该算法具体带宽分配过程如下。

第一,令牌桶初始化。初始化一个总令牌桶及若干分令牌桶,设置每个令牌桶的容量和令牌生成速率。第二,令牌生成。按照固定的速率生成令牌,并将其放入分令牌桶中。第三,请求处理。当收到一个数据包发送请求时,需要获取一个令牌才能被发送或者处理。若分令牌桶中有足够的令牌,则可以立即处理请求,并从分令牌桶中消耗一个令牌。如果分令牌桶中没有足够的令牌,则检查总令牌桶中是否有余量令牌。每完成一次数据包处理,会从令牌桶中消耗一个令牌。第四,令牌补充。按照令牌生成速率补充总令牌桶中的令牌,可以按照需求控制令牌桶的容量,防止总令牌桶溢出。

通过采取以上方式,可有效保障所有请求都有机会被处理,从而合理分配带宽,以避免出现资源拥堵问题。

3基于云计算的数据中心能效优化方法

3.1 动态调控UPS电源

动态调控UPS(不间断电源)电源是确保数据中心稳定运行并提高能效的关键措施。UPS电源是数据中心在面临电力故障时的重要后备保障,通过动态调控UPS电源的负载分配和能量转换效率,可以在保证数据中心电力供应安全的同时,最大限度地减少能源浪费。

本文针对数据中心负载的实时波动,引入智能动态调控机制来管理UPS(不间断电源)系统。通过内置的监测系统,持续追踪数据中心的负载率变化。智能动态调控机制设置如下:

设数据中心的实时负载率为L(t),其中t表示时间。预设的节能阈值为Lt。UPS的功率状态用PUPS(t)表示,其中PUPS(t)=0表示UPS处于休眠状态,而PUPS(t)>0表示UPS处于工作状态。

当负载率L(t)降至预设的节能阈值Lt以下时,UPS会进入休眠模式,即:

ΡUΡS(t)={0ifL(t)≤LtΡafL(t)>Lt (1)

其中,Pa是UPS在工作状态下的功率。而当负载率L(t)再次攀升,超过预设值Lt时,处于休眠状态的UPS将迅速启动,并自动并联到系统中。此时,UPS的功率状态PUPS(t)将变为Pa。

这种动态调控策略不仅能提高了UPS系统的使用效率,还可以降低数据中心的能源消耗,达到绿色、高效的电力供应的目标。

3.2 利用云计算技术部署虚拟机

在实际应用中,借助云计算部署虚拟机以实现更加均匀的负载分布。D代表物理节点在接受虚拟机迁移后与使用率的差值。通过云计算得出D的值,其表达式可简化为:

D=|U(Fi)+U(Ζi)-∑i=1nU(Fi)/n| (2)

式中:U(Fi)是物理节点Fi的CPU使用率;n是数据中心中活动节点的数目;U(Zi)是任意虚拟机数量。相应的约束条件如下:(1)每个虚拟机必须被分配到一个物理服务器上;(2)依赖的虚拟机需要被分配到相同的物理服务器或网络延迟较小的物理服务器上;(3)物理服务器的资源(如CPU、内存、存储)必须满足所分配虚拟机的需求。遵循设定的约束条件,公式(2)可以确保本文能够精准地找到使用率差异最小的节点,将虚拟机部署至该节点,实现负载均衡和资源利用的最优化。通过精心设计的虚拟机部署策略,本文成功地利用云计算技术实现了虚拟机的最大化利用。不仅能确保每个虚拟机都得到了适当的资源分配,还可以保证依赖的虚拟机之间的高效通信,降低网络延迟对系统性能的影响。

3.3 增强负载控制消除机房局部热点

在数据中心中,由于设备密度高、散热量大,容易出现局部热点现象,导致设备性能下降甚至损坏。通过增强负载控制,根据机房内的温度分布和设备负载情况,合理调整设备的运行状态和位置,避免局部过热现象的发生。

为了消除机房局部热点,本文从负载控制的角度出发。定义一个负载分配分散度函数模型来指导负载分配策略。假设数据中心有N个物理节点,每个物理节点i上的负载用Li表示(CPU使用率、网络带宽利用率、磁盘I/O等)。负载分配分散度的目标是最小化所有物理节点之间的负载差异,以保证热量分布的均匀性。

结语

随着技术的不断进步和数据中心需求的持续变化,现有的优化方法可能需要不断的调整和完善。未来,我们将继续深入研究数据中心能效优化的更多可能性。相信随着云计算等前沿技术的不断发展,我们会有更多创新的能效优化方法涌现。同时,我们也期待与业界同仁共同合作,推动数据中心能效优化技术的标准化和普及化,为构建更加绿色、高效的数据中心环境贡献力量。

参考文献

[1] 高晋坤,余娟,刘珏麟,等.考虑多时段设备耦合的数据中心能效优化方法[J].电力系统自动化,2022,46(15):153-161.

[2] 李祥新,孙雨欣,甘滨,等.基于相关性分析的数据中心节能优化研究[J].山东电力高等专科学校学报,2023,26(02):13-17.