采用资源划分的云环境下Hadoop资源许可调度方法

针对云计算环境中Hadoop平台由于节点计算能力差异、多样混合负载共存等原因而出现的性能不佳的问题,提出一种采用资源划分的资源许可方法。该方法在云计算环境下通过减少资源浪费或负载过重等情况的出现来提高系统性能。该方法采集资源信息并推测任务资源需求,根据可用计算资源和任务需求动态划分、调度资源;使用与资源无耦合的资源许可启动任务并控制任务数量调节资源利用率以适应云环境。使用该方法对比公平调度器在国家高性能计算中心(西安)进行测试发现:单作业在资源竞争环境中优于公平调度器的静态结果;混合负载在3种测试环境中完成时间分别平均减少了27.5%、37.1%和50.98%,性能显著提升。实验结果表明,该方法可以适应负载资源需求和可用计算资源的变化,灵活划分计算资源,解决Hadoop在云环境中的性能不佳问题。     

海量电子图书信息资源利用率均衡调度方法

为解决传统方法调度均衡性差,资源利用率低的弊端,提出一种新的海量电子图书信息资源利用率均衡调度方法。依据海量电子图书信息资源池中物理服务器的工作情况,对资源池运行工作进行判断,针对不饱和运行状态,通过分析资源利用率方差、资源利用率均衡度和整个资源利用率均衡度,建立均衡调度目标函数,采用蚁群算法对其进行求解决,获取最优调度策略。在资源池饱和的情况下,求出全部虚拟机资源的等待时间,选用等待时间最短的虚拟机执行当前海量电子图书网络用户请求资源。结果表明,所提方法调度结果和其他方法相比最均衡,只有少部分均衡性相对较差;对CPU和I/O资源利用率调度均衡性较好,对内存利用率调度均衡性相对较差,但和其他方法相比较好;对不同资源利用率均为95%～99%。可见所提方法对电子图书信息资源利用率调度均衡性好,有很高的竞争力和资源利用率。     

云计算资源优化问题求解的萤火虫算法

为了提高云计算资源利用率,结合云计算资源优化问题的特点,设计一种云计算资源优化问题求解的萤火虫算法.首先建立云计算资源负载调度问题的约束条件,以用户任务完成时间最少作为云计算资源负载调度优化的目标函数;然后通过萤火虫算法找到目标函数值最优的资源调度策略;最后在CloudSim平台上实现云计算资源负载调度仿真实验.实验结果表明,萤火虫算法减少了云计算任务完成的时间,均衡了云计算资源的负载,使云计算资源得到合理分配,且比其他算法优势明显.     

C-RAN回传网络中下行资源调度策略

随着移动互联网技术的快速发展、无线终端设备与移动应用流量需求与日俱增,移动用户对无线通信网络的服务质量(quality of service,QoS)要求越来越高、回传网络的压力也越来越大.新出现的云无线接入网(cloud radio access network,C-RAN)能够有效提升网络容量、提高用户服务质量,同时采用无源光网络(passive optical network,PON)作为其回传网络(backhaul),能够为其提供大带宽、高可靠、低时延的回传支撑.在移动应用需求不断变化和回传网络资源有限的条件下,高效的资源调度策略至关重要,其能够有效的提升回传网络资源利用率、降低传输等待时延.为节约回传网络波长资源、提高波长负载均衡性和资源利用率,提出一种下行资源调度策略.根据高热点区域无线用户实时网络需求,综合考虑回传网络波长使用数量、负载均衡性和实时业务分配均匀度等优化目标,采用自适应权重并行遗传算法完成其优化过程,从而实现波长资源动态分配,提升网络资源利用率.仿真结果表明,提出的下行资源调度策略能有效提高网络负载均衡性和网络资源利用率,并降低实时业务等待传输时间.     

基于深度Q网络的云演艺延迟敏感业务QoE优化

网络中的资源分配问题一直备受关注,特别是在超高清视频流的传输中,对资源的有效管理至关重要。然而,随着网络服务的多样化和不断增加的业务类型,传统的资源分配策略往往显得不够灵活和智能。深度Q网络（Deep Q-Network,DQN）是一种能够自适应地学习和调整资源分配策略的神经网络模型。它基于神经网络与Q-Learning算法,通过不断尝试和学习来决策最佳的资源分配方案。本文旨在研究一种在云演艺场景下基于深度Q网络的延迟敏感业务资源调度算法,以满足当今网络中多样化的业务需求。仿真结果表明,基于深度Q网络的延迟敏感业务资源调度算法使得用户体验质量（Quality of Experience）指标显著提升,表明所提算法能够更好地满足延迟敏感业务的需求。     

基于云计算的开放大学移动学习平台调度策略研究

当前构建适应移动学习的技术手段是远程教育面临的主要问题,采用OpenStack开源组件设计云环境下开放大学移动学习平台成为一种可用方案,针对云平台设计中的调度策略进行了较详实的研究,调度器采用OpenStack中的Nova-scheduler模块,经调度优化后的平台可有效为移动学习资源管理者、使用者、提供者等各方提供优质资源调度服务。     

排队时间感知的动态网格工作流调度

网格资源站点的可靠性将影响站点上任务执行性能,从而影响其他任务的排队等待时间.利用可修排队系统对网格资源站点进行可靠性建模,通过模型求解获得稳态下各资源站点的排队等待时间,提出了排队时间感知的动态网格工作流调度算法并设计了动态网格工作流调度的原型系统.基于GridSim进行了不同网格系统环境设置场景下的仿真实验.实验结果表明,本算法在不同负载和不同失效率的情况下其完成时间明显优于HEFT和CPOP算法,且在平均等待时间方面也比这2种算法高出了50%左右.     

基于效益分析的云平台资源弹性伸缩方法

针对构建弹性云平台的关键问题展开研究,从提升系统负载自适应能力与资源利用率角度,提出一种基于效益分析的面向作业需求的细粒度云平台资源弹性伸缩方法.为最大化系统可伸缩性,消除集中式集群单点限制,采用资源分层管理策略,实现集群内垂直伸缩与集群间水平伸缩相融合的弹性资源管理架构;为提高系统资源利用率,克服虚拟机方案的资源浪费问题,采用轻量级虚拟化容器,实现面向作业的细粒度资源分配;为保证系统动态资源调整的实时性,避免滞后效应,采用效益预估方法,实现资源预分配并兼顾负载均衡.理论分析与仿真实验表明,本方法能有效实现云平台资源弹性伸缩,减少作业等待时间,并显著提升系统资源利用率.     

基于带宽约束的云计算负载调度算法

负载调度是云计算得以大规模应用及提高服务性能的关键技术,对提高云供应商服务质量、用户满意度以及数据中心集群资源利用率等有极其重要的意义.云计算环境中,由于用户任务类型的不同,对带宽的需求也不尽相同,若不区分不同任务对不同带宽的要求,可能会造成资源的浪费,增长用户等待时间.本文对经典Min-Min算法进行改进,提出了BCLL-Min-Min算法,该算法满足带宽需求约束,并且实现相对负载均衡调度.仿真实验表明,BCLL-Min-Min算法能够适应云计算环境下任务多样性和不确定性的情况,使用该调度算法可以提高集群的吞吐率、较大改善数据中心的负载均衡性.     

混合云环境下基于失效感知的资源调度策略

针对混合云的功能和复杂度逐渐增大而导致资源失效率增高的问题,提出一种提高混合云资源调度成功率的调度算法.首先,根据私有云资源失效规律特点,建立资源有效利用率模型和任务稳定性模型.然后综合考虑公共云和私有云的特点,建立基于失效感知的两层资源调度模型(2L-FARS),并使用建立的ST—LLF(任务稳定性阀值控制的最低松弛度优先调度算法)和DQPA(双队列资源提供算法)调度算法分别完成两层资源调度.最后使用failure traces和workload traces,对提出的策略进行验证.实验结果表明,该策略有效地减少了任务截止期违约率,并且在提高资源利用率的同时,一定程度上降低了任务执行总费用.     

基于改进细菌觅食算法的容器云多维资源均衡调度

针对容器云平台默认的资源调度方式效率低等多种问题,引入改进细菌觅食算法,设计了一种新的容器云多维资源均衡调度方法.通过增加优选调度流程的方式对容器云平台调度方式进行优化,以此构建容器云多维资源调度模型,采用改进的细菌觅食算法优化求解资源调度模型,得到最优解,使得资源利用更充分、资源调度更均衡.实验结果表明,该方法的收敛速度更快,任务完成时间更短,负载均衡度更高,可以提高容器云多维资源调度过程中的集群资源利用率,保证调度负载均衡性.     

基于优先级权重的 Hadoop YARN 调度算法

为解决 Hadoop 现有调度器调度任务时不能根据任务的紧迫程度分配资源的问题, 研究 YARN 中的资源 调度机制, 改进原调度器(Capacity Scheduler), 提出一种基于优先级权重的 Hadoop YARN(Yet Another Resource Negotiator)调度算法(Weight Scheduler Based on Priority)。 为叶子队列设置队列优先级, 结合队列资源利用率和 队列优先级选择队列; 将应用程序的初始权重设置为应用程序优先级的大小, 通过等待时间判断是否更新权 重, 根据权重对队列中的应用程序进行排序, 调度时优先为权重高的应用程序分配资源。 实验结果表明, 与原 有调度算法相比, 改进算法平均任务执行时间约减少 141 s, 平均等待时间减少 34. 5%, 保证了用户执行任务 的相对公平, 提高了用户总体满意度。     

面向GPU异构集群的自学习负载均衡调度算法

由于GPU的高性能计算能力,越来越多地被用于集群系统中,但同时也给集群带来节点级的异构问题,使原来适用于同构集群的调度算法在异构集群中性能大大降低。为使异构节点间的负载均衡,降低总的作业执行时间,提出了一个面向GPU异构集群的自学习负载均衡调度算法。首先对Torque调度器进行扩展,使其支持GPU作业调度,然后将提出的自学习调度算法在Rocks操作系统及Torque调度器软件中实现。真实物理集群上的实验结果表明,扩展后的Torque调度器很好地支持GPU任务的调度,自学习调度算法较原来的Torque调度算法能达到更好的负载均衡。     

面向云工作流的两阶段资源调度方法

为提高云计算系统的资源利用率,优化系统性能,同时兼顾用户的服务质量(Qo S)需求约束,文中结合云计算和工作流建立了云工作流系统,给出了具有两个调度阶段的系统资源调度模型.在第1阶段中,考虑了Qo S的时间及价格约束、工作流内各个任务之间的依赖关系以及各个任务所产生的中间数据的处理,提出了改进的粒子群优化(MPSO)算法,并利用Pareto获得最优解,以提高调度效率;在第2阶段中,考虑了资源在主机上的分配情况,提出了具有负载感知的调度策略,根据系统的负载情况进行资源调度,以提高系统的资源利用率.实验结果表明:在云工作流系统的资源优化调度中,与经典的异构最早完成时间算法、单目标优化的遗传算法相比,MPSO算法的任务执行速度更快、资源利用率更高,能满足用户的Qo S需求;具有负载感知的调度策略能更有效地根据负载情况进行调度,提高任务执行的效率和资源利用率.     

面向交通感知数据处理业务的虚拟机调度系统

海量、实时、持续、多样的交通感知数据对承栽其处理业务的IT设施提出了更高的要求,但现有云基础设施服务中采用的虚拟机调度方案在承栽交通感知数据多处理业务时,会出现负栽倾斜、负栽不均及资源利用率不高的问题。为此,提出一种对交通感知数据处理业务敏感的虚拟机调度策略并设计了相应的调度算法,给出了系统的设计与实现,该系统可以适应计算密集和数据密集不同特征交通处理业务的承栽,同时能够实现能耗约束下的负栽平衡调度。通过基于实际交通应用场景的实验表明,该系统可在保障所承栽业务的前提下实现虚拟机的负栽均衡和优化节能。     

云计算环境中三层架构的资源负载均衡研究简

为了使云环境中资源能更加高效、合理地运转,该文探求使用新的调度策略来使系统达到负载均衡,提出了一个在三层架构云计算网络环境中的两阶段调度算法.该算法结合了随机负载均衡算法和Min-Min负载均衡调度算法的特性,从而能更高效率地执行任务并使系统达到负载均衡.     

移动云计算平台中的资源调度策略研究综述

资源调度问题是云计算中的关键问题之一,其调度策略的优劣会直接影响云平台的性能。本文首先从整体性能视角,分析梳理现有的资源调度相关理论研究进展,然后结合现有的云平台,对其使用的资源调度策略与方法进行实例分析,最后给出目前云资源调度的不足与未来的发展方向。     

基于虚拟机迁移的虚拟机集群资源调度

针对虚拟机集群资源负载不平衡的问题,基于虚拟机迁移技术,提出了一种虚拟机集群资源调度策略,将虚拟机的资源进行了分类并用向量表示,描述了每一类资源的数量和负载的计量方法,用最佳适应算法寻找虚拟机迁移的目标主机,通过使用上限阈值和下限阈值约束资源利用率的方法,使负载平衡目标与节能目标相统一,引入最小迁移周期避免了虚拟机资源利用率不稳定带来的频繁迁移.该调度策略能为虚拟机中的应用提供透明的资源调度,并使虚拟机集群达到负载平衡和节能的双重目标.     

高效支持负载聚合的程序资源敏感度获取及分析方法

针对集群或数据中心中负载聚合导致的程序和系统性能不稳定的问题,提出一种程序资源敏感度获取及分析方法。该方法利用Linux中的Cgroups机制设置可调整资源大小的控制组,并让程序在控制组内执行,获得程序在资源受限时的性能;将程序在多个资源限制下的敏感度表示成敏感度超平面,从而预测程序协同执行时的性能;将程序所需的资源按照重要程度排序以帮助集群调度。实验结果表明,该方法预测出的敏感度与真实值的平均绝对误差为0.093。与最小负载的簇级调度策略相比,利用程序资源敏感度信息的调度策略可以提升程序性能22.2%,还可以提升磁盘读写带宽利用率和网络带宽的利用率,程序资源敏感度能够高效地支持负载聚合。     

云资源调度的回答集程序描述性求解

针对求解难度为NP完全的基础设施即服务(IaaS)模式云资源调度问题,本文提出一种基于回答集程序(ASP)的描述性优化求解方法,并对其正确性进行分析。首先,把满足虚拟机CPU使用的情况下关闭尽可能多的主机做为减少云平台能耗的方法,将云资源调度问题形式化表述;其次,结合形式化描述以及减少云平台能耗的策略,将云资源调度问题用ASP编码为描述性(优化)问题,并分析其正确性;最后,在公开的PlanetLab数据集上进行实验,结果显示,ASP方法可在保障服务质量的同时减少集群能耗,最高可节能13%以上。这表明ASP方法在云资源调度问题上是有效的,从而提供一种易理解、易修改并能充分利用ASP最新工具成果的有效云资源调度新方法。