一种基于图模型的可信云资源调度算法

根据并行任务及胖树形云系统的结构特点,综合考虑了云计算环境下资源节点与通信链路的可靠性问题,构建了基于任务执行行为的云系统可靠性度量模型。提出了一种基于图的可信云资源调度模型,将云任务可信资源需求与云资源动态供给的最优匹配问题转换成最小费用最大流图的构造和求解问题。针对图的求解计算复杂度较高的问题,结合商空间理论将初始网络转化为规模较小的商网络进行求解。仿真实验结果表明,该算法能够有效提高云任务执行的成功率,降低基于图模型的资源调度算法延迟。     

QoS约束的云工作流调度算法

将云计算和工作流两者结合起来,并根据用户关心的QoS中执行时间和执行费用问题,针对工作流调度策略在云环境下调度实例密集型工作流时效率不高的问题优化资源调度策略,给出云工作流调度模型,提出一种基于QoS约束的云工作流调度算法MSCWQ(modifiedschedulingalgorithmforcloudworkflowbasedonQoS).该算法利用DAG(directedacyclicgraph)进行建模,优化资源策略,保证在最晚结束时间内使整个工作流实例的执行费用尽可能小.实验结果表明,在调度实例密集型云工作流时,该算法能有效提升科学工作流的执行效率,并能减少资源的使用费用.     

采用资源划分的云环境下Hadoop资源许可调度方法

针对云计算环境中Hadoop平台由于节点计算能力差异、多样混合负载共存等原因而出现的性能不佳的问题,提出一种采用资源划分的资源许可方法。该方法在云计算环境下通过减少资源浪费或负载过重等情况的出现来提高系统性能。该方法采集资源信息并推测任务资源需求,根据可用计算资源和任务需求动态划分、调度资源;使用与资源无耦合的资源许可启动任务并控制任务数量调节资源利用率以适应云环境。使用该方法对比公平调度器在国家高性能计算中心(西安)进行测试发现:单作业在资源竞争环境中优于公平调度器的静态结果;混合负载在3种测试环境中完成时间分别平均减少了27.5%、37.1%和50.98%,性能显著提升。实验结果表明,该方法可以适应负载资源需求和可用计算资源的变化,灵活划分计算资源,解决Hadoop在云环境中的性能不佳问题。     

面向云工作流的两阶段资源调度方法

为提高云计算系统的资源利用率,优化系统性能,同时兼顾用户的服务质量(Qo S)需求约束,文中结合云计算和工作流建立了云工作流系统,给出了具有两个调度阶段的系统资源调度模型.在第1阶段中,考虑了Qo S的时间及价格约束、工作流内各个任务之间的依赖关系以及各个任务所产生的中间数据的处理,提出了改进的粒子群优化(MPSO)算法,并利用Pareto获得最优解,以提高调度效率;在第2阶段中,考虑了资源在主机上的分配情况,提出了具有负载感知的调度策略,根据系统的负载情况进行资源调度,以提高系统的资源利用率.实验结果表明:在云工作流系统的资源优化调度中,与经典的异构最早完成时间算法、单目标优化的遗传算法相比,MPSO算法的任务执行速度更快、资源利用率更高,能满足用户的Qo S需求;具有负载感知的调度策略能更有效地根据负载情况进行调度,提高任务执行的效率和资源利用率.     

云计算下适应用户任务动态变更的调度算法

针对云计算下处理海量用户任务时可能出现的用户撤销任务情形,提出一种云计算下适应用户任务动态变更的调度算法.算法在产生任务有向无环图(DAG)的基础上,当有撤销任务出现时,对每个撤销任务均根据其依赖关系撤销关联任务,更新DAG状态,再使用启发式算法进行调度.云仿真器CloudSim上的实验结果表明:该算法可避免对撤销无用任务的调度执行,在撤销相关依赖任务后提高了调度效率及云资源的利用率,在完成时间跨度上优于Min-Min算法和Max-Min算法.     

云计算资源调度算法比较研究

云计算系统的资源调度策略是影响云计算平台性能和效率的最主要因素,目前云计算关键技术与应用的快速发展促使资源调度成为业界研究的重点。本文首先介绍云环境下的资源调度模型及形式化描述;然后根据其不同的优化目标,对现有的调度算法进行详细的分析比较;最后,对云环境下资源调度的未来研究趋势进行了总结和展望。     

基于Flink平台的资源感知任务调度策略

针对Flink平台下先来先服务任务调度算法忽略任务资源需求与节点可用资源之间的关系,导致不同节点任务负载不均,从而影响系统吞吐量的问题,提出了基于Flink流式计算环境下资源感知任务调度策略.首先,以GlobalState模块监测的资源数据为依据,考虑任务资源需求与节点可用资源间的匹配关系,提出一种任务选择算法与节点选择算法选取待执行任务与最佳调度节点;其次,通过资源感知调度策略把待执行任务调度至最佳调度节点;最后,通过实验验证算法的有效性.实验结果表明,相比Flink平台现有的调度算法,本文所提出的算法在大数据基准测试WordCount以及TeraSort下的吞吐量平均提高了约29.32%和35.86%.     

基于云计算模式的虚拟维修样机几何模型优化

针对虚拟维修样机开发过程中几何模型优化效率低,购置高性能工作站又大量增加成本且易造成硬件资源闲置浪费的问题,提出了一种基于云计算思想的几何模型优化任务并行处理方法.构建了"端—云"模式的虚拟维修样机模型优化平台体系结构,研究了具有层次化结构的几何模型并行优化的任务分解、调度和执行策略,在此基础上设计了平台的负载平衡机制.实验结果表明,该方法能够在不破坏样机模型真实感信息的前提下有效减少模型优化时间,提高几何模型优化效率.     

云计算环境下多信道联合均衡调度算法研究

针对传统资源调度方法存在执行时间跨度大、信道接入率低、资源负载不均衡等问题,提出云计算环境下多信道联合均衡调度算法研究.根据云计算环境下多信道通信链路优化时隙和多信道资源,构建多信道链路模型,提出信道端到端可靠性最大化优化模型,将优化问题转换为多信道联合均衡调度问题.利用多信道最优跨度和负载均衡算法对均衡调度问题进行求解.结合多信道数据处理和任务执行的特性,设计最优跨度和负载均衡双适应度函数,在种群进化初始阶段和接近收敛阶段对适应度函数做适当调整,完成多信道联合均衡调度.实验结果表明,所提方法资源调度的执行时间跨度小、信道接入率高、负载均衡程度好,能满足资源传输的实时性要求.     

一种新型的云任务调度算法研究

云计算具有弹性、保证服务质量和按需的资源配置模型等特征,通常用于处理大批量的计算任务,因此任务调度策略对资源使用效率起着至关重要的作用.考虑到任务的数量和到达服务器的时间不确定性,并且用户对任务的执行往往有一定的期望(如任务优先级、执行时间等),如何合理地分配计算资源,最大程度满足用户的服务质量需求是一个值得研究的问题.为此,提出了一种新型的云环境下QoS-aware服务质量感知的任务调度算法(QTS),该算法结合贪心算法的思想,并加入了任务完成满意度模型作为任务调度的评价依据.通过扩展CloudSim仿真平台进行实验,将QTS与RR调度、Max-Min和Min-Min调度比较,结果表明,QTS是一种有效的任务调度算法.     

基于云平台的大规模工业园区资源集约化控制方法

为了解决传统分布式控制部署环境繁琐,令现阶段资源控制变得更加复杂,容易产生服务延迟和稳定性低的问题。通过云平台研究了一种大规模工业园区资源集约化控制方法。以服务思想为核心建立大规模工业园区资源集约化控制框架,为用户提供统一的使用平台。设计云平台由云控制节点控制,按照需求对存储节点进行扩充。框架中的功能层为大规模工业园区资源集约化控制的重要部分,包括性能监测、资源调度、自适应控制与报警四个部分。虚拟机放置遍历全部可能的云平台状态,将状态变化代价最小云平台状态当成虚拟机控制策略。基于成本的最低消耗采取资源调度策略,组建动态任务划分模型。结合总体考虑节点量、输入数据类型、进行调度时所耗时间以及资源回收所需时间等影响因素做出深入分析。结果表明:所提方法控制下网络拥塞率符合要求;服务延时低、稳定性高。可见所提方法整体性能优。     

RAQPSO算法的云计算资源调度策略

在"互联网+"时代,云计算代表了一种新的商业模式,而云系统中用户任务与计算节点的调度问题极大地影响着系统的性能和云竞争力。为此,提出了一种改进的量子粒子群算法——反向自适应量子粒子群算法(RAQPSO),通过对惯性权值参数的调整和加入反向学习算子来提高算法的全局搜索能力,并将其应用于云计算资源调度中,仿真验证了算法的有效性。建立了云计算资源调度问题的模型;采用自适应机制,将适应度函数的变化程度作为惯性权值的更新因子,避免了单纯地根据迭代次数的线性函数来取值,从而使粒子不易陷入局部最优;随后加入粒子反向学习算子,加强了粒子全局搜索能力。实验结果表明,RAQPSO算法大大节约了任务完成时间,并且保持了良好的计算节点负载平衡。     

Load Feedback-Based Resource Scheduling and Dynamic Migration-Based Data Locality for Virtual Hadoop Clusters in OpenStack-Based Clouds

With cloud computing technology becoming more mature, it is essential to combine the big data processing tool Hadoop with the Infrastructure as a Service(Iaa S) cloud platform. In this study, we first propose a new Dynamic Hadoop Cluster on Iaa S(DHCI) architecture, which includes four key modules: monitoring,scheduling, Virtual Machine(VM) management, and VM migration modules. The load of both physical hosts and VMs is collected by the monitoring module and can be used to design resource scheduling and data locality solutions. Second, we present a simple load feedback-based resource scheduling scheme. The resource allocation can be avoided on overburdened physical hosts or the strong scalability of virtual cluster can be achieved by fluctuating the number of VMs. To improve the flexibility, we adopt the separated deployment of the computation and storage VMs in the DHCI architecture, which negatively impacts the data locality. Third, we reuse the method of VM migration and propose a dynamic migration-based data locality scheme using parallel computing entropy. We migrate the computation nodes to different host(s) or rack(s) where the corresponding storage nodes are deployed to satisfy the requirement of data locality. We evaluate our solutions in a realistic scenario based on Open Stack.Substantial experimental results demonstrate the effectiveness of our solutions that contribute to balance the workload and performance improvement, even under heavy-loaded cloud system conditions.     

云平台调度能耗测量研究*

针对云计算平台利用异构网络资源建设资源池,带来的针对IPv4/IPv6异构网络资源的云计算平台进行能耗度量问题,提出了一种基于分析随机任务变化带来的CPU能耗变化的动态能耗度量数学模型。采用以测试节点为基础,确定数学模型参数值的方法对测试节点CPU频率、CPU使用率进行实时监测;并进行了IPv4/IPv6同构云计算平台虚拟机迁移实验。实验结果得出了IPv4/IPv6过渡前期、中期与后期云计算平台虚拟机迁移能耗;符合云计算能耗测量需求。     

云计算资源优化问题求解的萤火虫算法

为了提高云计算资源利用率,结合云计算资源优化问题的特点,设计一种云计算资源优化问题求解的萤火虫算法.首先建立云计算资源负载调度问题的约束条件,以用户任务完成时间最少作为云计算资源负载调度优化的目标函数;然后通过萤火虫算法找到目标函数值最优的资源调度策略;最后在CloudSim平台上实现云计算资源负载调度仿真实验.实验结果表明,萤火虫算法减少了云计算任务完成的时间,均衡了云计算资源的负载,使云计算资源得到合理分配,且比其他算法优势明显.     

云计算环境下多级映射作业调度算法的研究

云计算是一种新兴的资源使用和计算交互模式,是目前商业机构和科研机构的研究热点之一.在云计算环境中用户需求和资源的分布对该环境中作业调度的影响很大,虚拟技术的使用使云计算环境中的作业调度与传统的作业调度存在很大的差别.针对云计算环境特点,根据用户的需求将作业进行分类,同时将资源分类,引入中间代理节点进行任务调度,形成多级映射作业调度算法,提高作业的并发度,使总任务完成时间缩短.通过实验验证多级映射作业调度算法是一种可行的作业调度算法.     

一种用于云计算的数据容灾分配算法的改进

在云计算环境下进行数据容灾分配,可以提高云计算数据资源调度能力。传统算法采用粒子群数据聚类方法进行数据的容灾分配,数据负载均衡差,同时消耗数据任务调度的吞吐率。提出一种新的数据容灾分配改进算法。首先建立云计算环境下数据容灾分配层次结构模型,计算整个数据资源处理平台的整体响应时间,将云计算下的数据资源容灾分配优化问题转化为数据资源分配响应时间最小化问题;利用多用户QoS开销适应度运算机制和粒子群聚类算法对云计算中数据资源任务进行权衡分配,减少数据权衡调度时间,提高数据容灾备份能力。实验结果表明,采用改进算法可以提高数据容灾分配时数据的召回率和云计算数据任务权衡调度能力,在云计算信息处理中具有较好的应用价值。     

An Energy-Saving Task Scheduling Strategy Based on Vacation Queuing Theory in Cloud Computing

High energy consumption is one of the key issues of cloud computing systems. Incoming jobs in cloud computing environments have the nature of randomness, and compute nodes have to be powered on all the time to await incoming tasks. This results in a great waste of energy. An energy-saving task scheduling algorithm based on the vacation queuing model for cloud computing systems is proposed in this paper. First, we use the vacation queuing model with exhaustive service to model the task schedule of a heterogeneous cloud computing system.Next, based on the busy period and busy cycle under steady state, we analyze the expectations of task sojourn time and energy consumption of compute nodes in the heterogeneous cloud computing system. Subsequently, we propose a task scheduling algorithm based on similar tasks to reduce the energy consumption. Simulation results show that the proposed algorithm can reduce the energy consumption of the cloud computing system effectively while meeting the task performance.     

云计算环境下多目标约束的虚拟资源动态调度

为了解决静态资源调度所导致的CPU利用率不高的问题,研究了多目标约束的虚拟资源动态调度方法。给出了云计算虚拟资源调度模型,设计了多目标约束的虚拟资源表示方法,采用马尔科夫链对虚拟资源的下一时刻状态进行预测,从而得到可用资源向量;最后,计算任务与可用资源向量之间的匹配向量,将任务分配给匹配向量中具有最大各维分量之和的虚拟资源进行调度,并提出了具体的采用基于马尔科夫链预测的云计算虚拟资源动态调度算法。实验结果表明：该算法能有效解决云环境下多目标约束的虚拟资源动态调度问题,具有较小的负载均衡离差和任务执行跨度,较其它方法具有较大的优越性。     

改进蚁群算法的云计算资源调度模型

针对当前云计算系统资源调度算法的资源利用率低、浪费严重等缺陷,提出一种基于改进蚁群算法的云计算资源调度优化模型,以获得更理想的云计算资源调度方案.首先对云计算资源调度的工作原理进行分析,建立云计算资源调度优化目标函数;然后利用蚁群优化算法模拟蚁群找到一条从起点到目的地的路径,即云计算资源调度目标函数的最优解,并结合目标函数对蚁群算法进行相应地改进;最后采用MATLAB2014R编程实现云计算资源调度优化模型.实验结果表明,该模型在短时间内可找到云计算资源调度的最优解,使资源利用率得到了改善.