基于优先级权重的 Hadoop YARN 调度算法

为解决 Hadoop 现有调度器调度任务时不能根据任务的紧迫程度分配资源的问题, 研究 YARN 中的资源 调度机制, 改进原调度器(Capacity Scheduler), 提出一种基于优先级权重的 Hadoop YARN(Yet Another Resource Negotiator)调度算法(Weight Scheduler Based on Priority)。 为叶子队列设置队列优先级, 结合队列资源利用率和 队列优先级选择队列; 将应用程序的初始权重设置为应用程序优先级的大小, 通过等待时间判断是否更新权 重, 根据权重对队列中的应用程序进行排序, 调度时优先为权重高的应用程序分配资源。 实验结果表明, 与原 有调度算法相比, 改进算法平均任务执行时间约减少 141 s, 平均等待时间减少 34. 5%, 保证了用户执行任务 的相对公平, 提高了用户总体满意度。     

云计算环境下的动态反馈作业调度算法

针对现有Hadoop作业调度算法在多用户、异构环境下不具备反馈机制的问题,提出一种云计算环境下具备反馈机制的动态作业调度算法。该算法引入排队论模型,采用单队列多资源池服务窗口的设计思路,将所有作业统一提交到一个支持优先级的排队队列,作业分发控制模块选择优先级最高的作业分发到空闲的资源池窗口执行;Hadoop集群通过自身的心跳机制将作业运行的初始化时间、运行时间等信息传递给参数统计模块进行统计,将获得的平均到达率和平均服务率这两个核心参数的实际值传递给反馈机制模块,根据调度算法模型计算出平均逗留时间和平均队长的理论值并与实际值进行对比,当差值大于阈值时对该调度算法的核心参数进行适当调节使差值收敛于阈值,将具有较大平均逗留时间和平均队长的作业调度到有槽位数的资源池服务窗口执行。实验结果表明:与经典算法相比,该算法具有较高的调度效率和负载平衡能力,作业平均逗留时间比先进先出调度算法和公平调度算法分别减少了57%和19%,平均队长分别减少了50%和37%。     

异构环境下改进的Hadoop调度算法

Hadoop是一个用于以高效的方式处理大数据的框架.任务调度是Hadoop框架的核心问题之一,其默认的调度器不能根据节点及作业资源的异构性进行任务分配.针对该问题,本文提出一种异构环境下基于作业及资源分配的调度算法.该算法可根据估计作业到达率和平均作业的执行时间将作业分类,找到与该类作业匹配的资源,优先将本地任务分配给...     

计算网格中基于负载平衡的调度模式

对资源进行有效的管理和调度可以提高网格系统的利用率.针对计算网格中的负载平衡问题,为减少网络通信量,提出一种分布式的网格作业调度模型,并给出了其相关算法：将轻负载节点逐个收集到一个队列,并设定一个可调节的刷新时间,当重负载节点提出调度请求时,直接从轻载节点队列中取一轻载节点并把负载转移到该节点上,从而解决了资源调度中的负载平衡问题.     

异构云环境下MapReduce高效性的优化研究

为提高MapReduce在异构云计算环境下的执行效率,提出一种异构环境下基于负载类型的自适应调度算法——adaptive scheduler based on workload type in heterogeneous environment(ASBT-HE),通过反馈运行结果到Job Tracker,将后续任务根据负载类型分配到相应的Task Trackers上。但为满足用户的Qo S需求、更好的平衡系统负载,将该算进一步法优化为Better ASBT-HE(BASBT-HE)。BASBT-HE能够在考虑Qo S约束的基础上根据负载情况自动调整ASBT-HE中队列的长度。仿真实验结果表明优化后的MapReduce在异构云计算环境下具有高效性,并且考虑了用户Qo S需求,简化了系统参数配置。     

基于量子和克隆策略的负载均衡算法

针对网格计算中多个独立任务在多个异构的资源上处理时,资源的负载均衡为最小非抢先调度的问题,建立了一类资源负载均衡问题的优化调度模型.该模型将量子算法、克隆算法和遗传算法结合起来,提出一种新的混合量子克隆遗传调度算法.仿真实验表明在网格环境下,该算法全局寻优能力强,能有效地实现资源的负载均衡,并具有合理性和高效性.     

面向GPU异构集群的自学习负载均衡调度算法

由于GPU的高性能计算能力,越来越多地被用于集群系统中,但同时也给集群带来节点级的异构问题,使原来适用于同构集群的调度算法在异构集群中性能大大降低。为使异构节点间的负载均衡,降低总的作业执行时间,提出了一个面向GPU异构集群的自学习负载均衡调度算法。首先对Torque调度器进行扩展,使其支持GPU作业调度,然后将提出的自学习调度算法在Rocks操作系统及Torque调度器软件中实现。真实物理集群上的实验结果表明,扩展后的Torque调度器很好地支持GPU任务的调度,自学习调度算法较原来的Torque调度算法能达到更好的负载均衡。     

采用资源划分的云环境下Hadoop资源许可调度方法

针对云计算环境中Hadoop平台由于节点计算能力差异、多样混合负载共存等原因而出现的性能不佳的问题,提出一种采用资源划分的资源许可方法。该方法在云计算环境下通过减少资源浪费或负载过重等情况的出现来提高系统性能。该方法采集资源信息并推测任务资源需求,根据可用计算资源和任务需求动态划分、调度资源;使用与资源无耦合的资源许可启动任务并控制任务数量调节资源利用率以适应云环境。使用该方法对比公平调度器在国家高性能计算中心(西安)进行测试发现:单作业在资源竞争环境中优于公平调度器的静态结果;混合负载在3种测试环境中完成时间分别平均减少了27.5%、37.1%和50.98%,性能显著提升。实验结果表明,该方法可以适应负载资源需求和可用计算资源的变化,灵活划分计算资源,解决Hadoop在云环境中的性能不佳问题。     

Hadoop下基于资源感知的调度算法

在大规模的数据中心中,I/O型作业和CPU型作业通常会同时在同一集群上运行,他们之间所需要的资源是互补的.现有的Hadoop调度算法并没有对这两种工作的并行化进行研究,针对这点不足,提出了基于资源感知的调度算法,对作业负载和节点负载进行合理的分类和调度,解决因为资源竞争和不合理调度而影响处理速率的问题.对该算法进行实验及性能分析,在验证了算法在作业完成时间和系统吞吐量方面有很大改进.     

一种面向教育云资源共享的优先级队列任务调度算法

针对教育云资源共享中任务调度时优先级不同带来的挑战,提出了一种基于任务优先级的最优调度算法优化教育服务质量.文章首先分析了各种任务的服务质量需求,对任务进行优先级分类,设计了一种基于优先级的队列调度核心算法.然后,分析了所设计调度算法的实施过程和具体步骤.仿真结果验证了优先级队列任务调度算法能够降低系统的处理时延,从而...     

基于QoS的改进Min–Min调度算法

针对经典Min–Min调度算法存在负载不均,资源利用率低,处理时间长等问题,提出了P–Min算法。该算法根据任务的优先级并结合贪心算法来实现调度。仿真结果表明:P–Min算法在负载均衡的资源利用率方面较Min–Min算法提高了17%,任务总体执行时间调高了8.03%。     

基于双优先级队列的异构分布式控制系统容错调度算法

在对分布式控制系统进行分析的基础上,给出了任务模型和处理器模型.为了调度多种实时性的任务,提出了双优先级队列调度算法,用于调度每个处理器上的任务.该算法设置2个优先级队列,其中高优先级队列用于调度实时任务,低优先级队列用于调度非实时任务,高优先级队列中的任务可抢占低优先级队列中的任务.在此基础上,采用版本复制技术使系统具有容错能力,并分析了任务的容错可调度条件.基于此,采用首次适应的启发式任务分配策略,将任务分配到各个处理器上,在确保任务容错可调度的条件下使处理器负载均衡.仿真结果表明所提出的算法是有效的.     

可负载均衡的实时虚拟机VCPU调度算法

针对多核环境下的现有实时虚拟机VCPU(virtual CPU)调度算法不能在保证任务可调度的基础上高效地使用CPU资源的问题,提出一种改进的实时虚拟机VCPU调度算法LBP-EDF(基于独立队列的可负载均衡的最早截止时间优先调度算法).该算法采用了独立队列的方式,以避免共享队列带来的竞争开销.同时算法能够识别紧急任务,并通过负载均衡的机制及时地将紧急任务迁移到负载较轻的CPU上执行,在保证任务可调度的基础上,同时达到充分使用CPU资源的目的.实验结果表明:在保证任务可调度的基础上,LBPEDF较其他算法有更高的CPU利用率.     

一种多策略要素的数据访问调度算法

考虑到任务的重要性、截止时间和资源分布等因素,设计了一种多策略要素的调度算法(MPES),以解决不完全独立的多源分布式气象水文数据库的访问控制问题.该算法为不同优先级的任务设定不同调度窗口,并对节点的安全级别、内容属性和负荷情况进行匹配判定,选择最佳服务节点,以优化系统公平性和整体效率.MPES算法根据队列优先级和可利用的服务资源,动态计算和调整调度窗口;优先级越高的队列,调度窗口越大,意味着可被服务的任务越多.在每个队列调度窗口时间内的任务被轮流执行.对于同一队列中的任务,根据最小松弛度优先调度策略,决定其进入调度窗口的次序,保证接近截止期的任务先执行.仿真试验结果表明,在不同的网络负荷下,MPES算法得到的分布式数据库访问任务的服务效率和公平性较MCT算法和Min-Min算法均有明显提高,尤其是高负荷情况下,总服务时间减少了11.4％ ～12.3％.     

云计算环境中三层架构的资源负载均衡研究简

为了使云环境中资源能更加高效、合理地运转,该文探求使用新的调度策略来使系统达到负载均衡,提出了一个在三层架构云计算网络环境中的两阶段调度算法.该算法结合了随机负载均衡算法和Min-Min负载均衡调度算法的特性,从而能更高效率地执行任务并使系统达到负载均衡.     

异构Flink集群中负载均衡算法研究与实现

Flink是目前非常流行的流处理引擎.和先前的Hadoop,Spark,Storm等分布式计算框架相比,Flink能实现低延迟、高吞吐,保证Exactly Once.调度模块是保证集群高性能非常重要的一部分,但目前Flink调度默认把集群中所有节点看作是同等性能的,采用轮询调度策略.但在异构集群里这样的调度就会低效,因为计算资源少的节点运行的Task和计算资源多的节点运行的Task一样多,所以局部负载不均衡,影响Job的运行时间和吞吐量,造成延时.提出平滑加权轮询任务调度算法和基于蚁群算法的任务调度算法,解决运行过程中集群负载不均衡问题.平滑加权轮询任务调度算法在任务调度初始阶段根据集群资源按照权重平滑轮询调度.基于蚁群算法的任务调度算法是在运行过程中当集群已使用资源高于阈值时采用类似蚁群算法去执行任务调度,动态计算全局最优任务分配方案,能重新负载均衡.     

基于猫群优化算法的云计算虚拟机资源负载均衡调度

为了提高虚拟机资源调度的利用率, 实现虚拟机资源合理调度, 提出一种基于猫群优化算法的虚拟机资源调度优化方法. 首先根据虚拟机资源调度优化目标构建数学模型; 然后综合考虑最短时间与最优负载构建猫群优化算法的适应度函数, 并通过模拟猫的日常行为实现虚拟机资源调度最优方案的寻优; 最后在CloudSim平台上对该算法的有效性进行测试. 测试结果表明, 该算法能获得更优的虚拟机资源调度方案, 保证了虚拟机资源的负载均衡, 可以满足用户需求的偏好性.     

一种网格资源负载均衡调度算法

网格资源调度性能的好坏、效率的高低直接关系到计算网格系统的性能.本文在Min-min算法的基础上提出了一个资源调度启发式算法Dmin-min.在假设所有任务都是独立的情况下,考虑到系统中资源的动态性、异构性,从资源负载均衡方面对系统中的资源进行动态分配,仿真实验表明该算法在资源负载均衡方面比Min-min算法要好.     

一种高效的对等网络流媒体数据调度算法

在基于无结构对等网络环境的P2P流媒体系统中,针对现有数据调度算法不能充分利用节点带宽资源导致服务器负载较重的问题,提出了一种基于数据块优先级的数据调度算法.该算法根据邻居节点滑动窗口中数据需求信息和数据稀有性计算数据块优先级,调度时优先请求高优先级的数据,以提高节点间数据协作性.当多个源节点可以同时提供所需数据时,根据节点已上传下载数据量计算节点的贡献率,向贡献率最低的源节点请求数据,实现新加入节点上行带宽资源的快速利用.仿真实验与实际系统测试表明,该算法可以更充分地利用节点带宽资源,较传统算法降低服务器负载20%以上,提高了系统可扩展性.     

基于带宽约束的云计算负载调度算法

负载调度是云计算得以大规模应用及提高服务性能的关键技术,对提高云供应商服务质量、用户满意度以及数据中心集群资源利用率等有极其重要的意义.云计算环境中,由于用户任务类型的不同,对带宽的需求也不尽相同,若不区分不同任务对不同带宽的要求,可能会造成资源的浪费,增长用户等待时间.本文对经典Min-Min算法进行改进,提出了BCLL-Min-Min算法,该算法满足带宽需求约束,并且实现相对负载均衡调度.仿真实验表明,BCLL-Min-Min算法能够适应云计算环境下任务多样性和不确定性的情况,使用该调度算法可以提高集群的吞吐率、较大改善数据中心的负载均衡性.