基于作业类型和优先级权重的容量调度算法

针对Hadoop平台默认调度器在异构环境中不能根据作业类型和资源使用情况进行资源调度的问题,进行了Hadoop容量调度算法资源调度机制研究,提出一种基于作业类型和优先级权重的容量调度算法。首先通过作业负载分类,将用户提交的作业划分为CPU(central processing unit,中央处理器)负载类型作业和I/O(input/output,输入/输出)负载类型作业,并将不同类型作业分配到相应队列中;然后根据权重公式为超过等待时间阈值的作业更新作业优先级,实现队列中的作业排序;最后结合节点实时负载情况优先为优先级高的作业分配资源,从而实现集群性能的提升。结果表明,在异构环境下,相比容量调度算法,本算法将单作业类型和混合作业类型的作业平均完成时间分别缩短了9.7%和30.8%,从而有效地提高了作业执行效率和系统的资源利用率。本算法优化了Hadoop系统的负载均衡,可为后续相关调度算法的优化研究提供参考。     

异构Flink集群中负载均衡算法研究与实现

Flink是目前非常流行的流处理引擎.和先前的Hadoop,Spark,Storm等分布式计算框架相比,Flink能实现低延迟、高吞吐,保证Exactly Once.调度模块是保证集群高性能非常重要的一部分,但目前Flink调度默认把集群中所有节点看作是同等性能的,采用轮询调度策略.但在异构集群里这样的调度就会低效,因为计算资源少的节点运行的Task和计算资源多的节点运行的Task一样多,所以局部负载不均衡,影响Job的运行时间和吞吐量,造成延时.提出平滑加权轮询任务调度算法和基于蚁群算法的任务调度算法,解决运行过程中集群负载不均衡问题.平滑加权轮询任务调度算法在任务调度初始阶段根据集群资源按照权重平滑轮询调度.基于蚁群算法的任务调度算法是在运行过程中当集群已使用资源高于阈值时采用类似蚁群算法去执行任务调度,动态计算全局最优任务分配方案,能重新负载均衡.     

集中式动态负载均衡算法的研究

目前的负载均衡算法中难以探测节点终端的实际负载,导致难以有效地满足负载均衡集群系统实时需求.通过分析集群系统中的资源管理优化技术和负载均衡调度算法,对集群系统的模型结构进行了分析,提出了一种改进的集群系统的负载均衡算法,该算法较好地解决了集群的资源调度问题.     

基于OPNET的集群负载均衡仿真

为了分析比较集群负载均衡中随机调度算法、轮转算法、加权轮转算法等3种基本算法,介绍了OPNET的建模方法,给出了基于OPNET进行网络仿真的建模层次和步骤,并运用OPNET建立集群系统模型,对其进行仿真测试.仿真结果表明:3种算法均能实现负载的平衡分配,在同构集群中,轮转算法有较好的负载均衡效果;但在异构的集群系统中,加权轮转算法具有最好负载均衡效果.     

一种分布式动态负载均衡调度算法

目前计算机应用服务系统经常采用集群系统,负载均衡调度是集群系统的关键。在通用负载均衡调度算法的基础上,提出一种分布式动态负载均衡调度算法.该算法动态收集、统计和分析服务器的信息,以此为根据完成服务器负载均衡的任务,能够实现集群正常调度.在此基础上,采取分布式调度的策略,提高负载均衡调度的效率、性能,以使其对业务系统整体性能的影响最小。     

基于服务器负载状况分类的负载均衡调度算法

针对云端集群负载均衡问题和现有负载均衡算法的优缺点,提出了一种基于服务器负载状况分类的负载均衡算法.通过每阶段采集负载信息,实时掌握节点状态,停止重负载节点接收任务,降低中负载节点集合接收的负载,相应地增加轻负载节点集合的负载,以达到负载均衡效果.同时采用集合的形式很好的避免了大量负载涌入某一指标最优的节点,能够更好地实现均衡,提高系统的吞吐率.结果表明:该算法可以有效地避免云端集群负载发生倾斜,使系统在长时间的运行过程中达到动态的负载均衡.     

云计算环境下改进加权轮转任务调度算法研究

为提高云计算环境下节点负载的均衡性,提出改进加权轮转任务调度算法.该算法在传统加权轮转任务调度算法的基础上,针对MapReduce作业调度模式,考虑到云计算环境任务的多样性,Worker节点处理能力的多样性,引入权值影响因子,在任务分配前对任务的权值进行调整,使权值较高的任务对应处理能力较高的节点,实现负载均衡.通过实验验证,该算法与加权轮转任务调度算法相比,能够使节点负载更加均衡.     

一种兼顾负载均衡的Hadoop集群动态节能方法

Hadoop集群广泛应用于企业和研究机构的大数据处理和并行计算中。该文针对Hadoop集群节点管理中缺少动态负载均衡和节能相互结合的调度技术的现状,提出一种动态负反馈调整算法,并设计和实现了一个用于Hadoop平台节点动态管理的系统。通过大量Hadoop经典测试用例测试,结果表明:该算法能够有效提高负载均衡并通过减少节点的空闲时间以有效地节能,与未使用本算法的结果相比,节点平均空闲休眠时间增加25%,节能14%。同时通过与其他算法相比,节点间均衡度有一定程度提升,平均负载方差减少10%。     

一种支持负载均衡的存储调度算法

针对应用层存储聚合中的调度问题,提出了一种支持负载均衡的存储调度(LBS)算法.LBS是一种基于策略的调度算法,它将应用对存储资源的需求转换为一系列约束,再通过分析约束之间的关系选择合适的存储节点或者已有的调度方案,从而提高了调度方案的复用率,维护了策略复用与节点负载之间的平衡关系,寻找到最佳的负载均衡策略.模拟测试表明,LBS算法在负载均衡方面和策略耦合方面明显优于Least和Random算法,负载均衡指标最高可提升10倍左右.     

动态反馈的异构集群负载均衡算法的实现

虚拟服务技术(LVS)的集群负载调度系统中的加权调度算法权值是静态的,没有动态调整机制,不能依据真实服务器处理能力进行动态的任务分配;给出了一种通过量化调度器和真实服务器的实时反馈负载信息指标,采用服务器负载率和分配权值为计算指标,引入临界回归因子,利用动态反馈临界加速回归的算法思想,实现基于动态反馈机制的动态反馈临界加速回归分配算法。该算法能根据负载均衡调度器和业务处理服务器的实时反馈信息,及时进行负载调度,实现负载动态平衡,进一步提高服务器的利用效率和集群系统的吞吐率,并在LVS的负载平衡调度集群系统中进行了应用性的实验验证。测试结果表明,该算法可实时反馈负载信息,动态进行负载调度,整体上较好的实现了负载动态平衡,提高了服务器的利用效率和集群系统的吞吐率。