云数据中心的能耗管理研究

　　0引言

　　近年来，在商业和科研对计算能力需求日益增长ngzgol：t，BerndFreisleben，ecture，IEEE，2006ure，ACM，2009.46-55.claw109-431，LBNL-363E[]的驱动下，云计算取得了长足的发展并已应用到社会生产生活的各个方面。虽然单台计算机的功率并不大，但是在计算机总数庞大的云计算数据中心中，电力的消耗却相当惊人。以Google

　　公司为例，Google2011年的全球能源消费达到了2.6亿瓦特，这相当于加州欧文市家庭用户的所有用电量。随着AmazonEC2、WindowsAzure和GoogleAppEngine等各形各样的云产品的面世，这些大规模的云计算基础设施所消耗的能量也在逐年增长。有报告显示，美国的IT基础设施在2011年所消耗的电能经估算则是2006年的两倍，电费成本大约为45万亿美元[1]。一方面，如此大幅的能量消耗增长会排放出大量的CO2，加剧温室效应；另一方面，不断增长的能源消耗已经成为云计算提供商重要的成本来源。Amazon的CEMS项目显示：能源消耗已经占到该项目总投资额的41.62%[2]。所以，对降低云计算中心能耗的有效方法开展研究，共同打造绿色云，则已成为业内人士的通见与共识，这也是云计算得以健康发展的关键因素。

　　1云数据中心的能耗分布

　　要降低云计算中心的能耗，就需要分析这些能耗的来源。在云计算中心，能耗主要来自于服务器集群、冷却设备、配电系统、网络传输设备，等。通常，服务器集群负载所消耗的能量占整体能耗的50%左右，国际上通用以PUE值来衡量一个云计算中心的能源效率。PUE的计算公式为：

　　PUE=数据中心总设备能耗/IT设备能耗

　　PUE的基准值是2，越接近1说明能效水平越好。据美国环境保护署（EPA）研究：美国2012的PUE值大约为1.9，那些运用了高效节能策略的企业的PUE值为1.3—1.7，目前Google称自己的云计算中心的PUE值已经低于这个区间[3]。从能耗的组成部分可以看出，降低配电系统的能耗损失以及降低冷却系统的能耗都能明显降低PUE值。前者可以通过平衡三相电荷、推广节能变压器材、开展无功补偿等方法降低电路设备的能量损耗。后者取决于冷却的方法和设备的架构，比如靠近水域的云数据中心一般通过海（河）水冷却系统来冷却服务器集群，位于Saint-Ghislain的Google比利时数据中心即通过水冷系统将数据中心的PUE值降低为全年1.11[4]。

　　2云数据中心的服务器集群能耗模型

　　从上述各大云计算服务商的PUE值可以看出，云数据中心的最大能耗仍然来自于其庞大的服务器集群。在已有设备的基础上如何提高服务器集群的能耗才是云数据中心亟需解决的问题。为了提高能源利用率、评估节能策略和措施的有效性，需要构建一个合理的能耗模型。对于计算机的能耗模型而言，目前已有相当多的论文对此做了研究。一些论文针对具体部件构造能耗模型。在CPU方面，Bellosa最早提出了采用硬件性能计数器对CPU进行能耗建模，并证明了Pentium处理器的能耗和硬件性能计数器有着很强的联系[5]。论文[6]首次将AMD平台的硬件性能计数器分为四类，而且通过Spearman分析法得出每类中与能耗关联最大的性能计数器并进行建模。内存也是耗能部件，当系统的缓存中没有处理器所需数据时，处理器就需要访问内存。因此，业内普遍将一级缓存未命中数作为参数来量化内存的能耗。Contreras则利用缓存中的指令未命中数和数据依赖的延迟周期来建立内存的能耗模型，同样具有很高的准确度[7]。对于提供大量云存储服务的服务商而言，硬盘的功耗同样不能忽略。由于硬盘的功率变化并不明显，所以其能耗的建模要复杂一些，Kim等人利用硬盘读写的时间以及磁头旋转操作速度作为参数进行建模，能准确估算硬盘的能耗[8]。另外，还有一些学者研究的是整个服务器系统的能耗模型，其中有两种最普遍的方法。一是根据CPU资源利用率对系统的能耗进行建模，例如Heath和Fan等人均提出了基于CPU利用率的线性回归模型，并通过实验验证了该模型的准确性[9]。二是如Economous等人根据计算机的工作电压和工作频率来量化系统的能耗[10]。

　　3节能技术与策略

　　由于服务器集群的能耗占据整体能耗的最大比例，所以目前有关云数据中心的节能算法和策略的研究大都是基于服务器集群的。服务器集群的节能已经成为绿色云计算的研究热点。在研究国内外大量技术文献的基础上，云数据中心的节能技术和策略可以归纳为以下四种。

　　3.1虚拟化

　　遵循摩尔定律，服务器的硬件不断升级，多核技术的应用更是将服务器的计算能力推向更高水准。与此同时，7×24小时运转的服务器在绝大部分时间里都在浪费其自身的计算能力。Singh通过实验验证了大部分服务器在没有负载的情况下，其能耗也会达到能耗峰值的60%左右[11]。虚拟化技术实现了IT资源的逻辑抽象和统一表示，不仅在云数据中心的操作管理及资源调度方面作用巨大，在节能方面也同样有着出色的表现。埃塞克斯郡的帕尔默学院通过部署服务器虚拟化，将超过20台的IBM服务器减少到仅为3台装有Vmware的vSphere4.1服务器，节约了19%的成本预算[12]。上述方案充分显示了虚拟化技术在提升服务器能源效率方面的优势。预计到2018年，数据中心的空间使用量将只占到如今使用量的40%，越来越多的云数据中心将通过虚拟化技术打造绿色云计算。目前，虽然虚拟化技术能降低服务器集群的整体能耗已经得到公众认可，但是虚拟化技术在能耗优化方面的量化仍存在不小问题。不同类型的物理机和虚拟机在搭配时会有不同的效果，因此虚拟机的装箱算法便成为了目前虚拟化技术在节能领域的研究热点。Cardosa和Singh等人在IEEETRANSACT-IONS上发表文章，该论文的方法是通过获取虚拟机装箱过程中时间和空间（CPU、内存和存储能力）的平衡来实现节能[13]。文中采用启发式算法找出最优节能的配置方案，虽然算法的时间复杂度略高，却可节约10%左右的能耗，效果良好。

　　3.2任务调度

　　任务调度也是云计算能耗优化的研究热点。云计算中的Map-Reduce模型是将任务划分为子任务交给不同的节点同时进行。对于云数据中心庞大的服务器集群而言，如果所有节点同时处于运行状态，势必带来惊人的能耗。此时需要通过任务调度来实现服务器集群的动态调整，使那些负载较轻的节点接收更多的任务，或者是将其任务迁移出去后保持在休眠状态，从而降低其能量消耗。论文14是以节能效果为目标，论述经典遗传算法在任务调度中的应用。论文15研究了粒子群算法和蚁群算法在云计算任务调度中的应用，并比较其在节能方面的效果。上述论文的研究结果表明，在不同的应用场景下，利用不同的智能优化算法调度服务器之间的任务分配都分别取得了较优的结果。一些开源的云计算平台往往会自带一些经典的调度器。如Hadoop平台就将任务分成三个粒度：Queue、Job、Task，并以这三个对象构建了FIFOScheduler、FairScheduler以及CapacityScheduler三种调度器[16]。当然，这几种调度方法都更适用于同构的云环境，目前最新的Hadoop2.0beta版本已经出现了适应于异构集群的调度器LATE。

　　3.3负载均衡

　　在云环境中，负载均衡可以将单个重负载的运算分担到多台节点设备上进行并行处理。每个服务器节点的计算运行结束后，将结果汇总并返回给用户，大大提升了系统的处理能力。负载均衡本身是一种提升云计算数据处理速度的技术，但是对庞大的云服务器集群来说，负载均衡技术同样能有效地降低集群整体能耗。Adbeldalam等人通过实验证明了在K台服务器下，负载均分时能耗最小[17]。由此可以看出对于节能而言，服务器集群负载的合理分配意义重大。虽然借助于上述虚拟化技术和任务调度技术，云数据中心可以很方便地将低负载节点中的任务迁移出去，通过维持运行节点的合理负载来降低能耗。但是虚拟机中的任务迁移以及物理机的休眠、重启都是需要消耗能量的。德国马堡大学的Freisleben教授在论文[18]中研究了虚拟机任务迁移的整个过程，并对迁移的三个阶段的能量消耗做了实验分析。对于拥有庞大服务器集群的云数据中心而言，频繁的任务迁移及物理机的休眠/启动策略并不合理，往往需要利用负载均衡技术才能有效地降低能耗。目前，云计算中负载均衡技术的关键因素是负载均衡的算法设计。对于同构的服务器集群环境而言，负载均分便是最简单可行的办法，如Hadoop平台便是将输入数据分割成64M大小的数据块，然后均分给DataNode进行处理。目前的研究热点是异构环境下或者多核环境下的动态负载均衡技术，如论文[19，20]考虑了节点的处理能力及节点的实际负载，给出了不同应用环境下的动态负载均衡算法。