一种分布式动态负载均衡调度算法

目前计算机应用服务系统经常采用集群系统,负载均衡调度是集群系统的关键。在通用负载均衡调度算法的基础上,提出一种分布式动态负载均衡调度算法.该算法动态收集、统计和分析服务器的信息,以此为根据完成服务器负载均衡的任务,能够实现集群正常调度.在此基础上,采取分布式调度的策略,提高负载均衡调度的效率、性能,以使其对业务系统整体性能的影响最小。     

一种新的处理能力优先的权值分配调度算法

针对加权最小连接数算法中服务节点权值不准确而直接影响负载均衡效率和整个集群系统性能的问题, 提出一种新的改进算法--处理能力优先的权值分配调度算法. 给出了改进算法的工作流程和要点, 分析并设计了算法的主要技术、 主要模块及原理. 实验结果表明: 该算法解决了LVS(Linux virtual server)负载调度的负载不平衡问题, 提高了LVS集群的性能和稳定性; 改进算法比加权最小连接数算法具有更优化的动态平衡性.     

面向GPU异构集群的自学习负载均衡调度算法

由于GPU的高性能计算能力,越来越多地被用于集群系统中,但同时也给集群带来节点级的异构问题,使原来适用于同构集群的调度算法在异构集群中性能大大降低。为使异构节点间的负载均衡,降低总的作业执行时间,提出了一个面向GPU异构集群的自学习负载均衡调度算法。首先对Torque调度器进行扩展,使其支持GPU作业调度,然后将提出的自学习调度算法在Rocks操作系统及Torque调度器软件中实现。真实物理集群上的实验结果表明,扩展后的Torque调度器很好地支持GPU任务的调度,自学习调度算法较原来的Torque调度算法能达到更好的负载均衡。     

动态反馈的异构集群负载均衡算法的实现

虚拟服务技术(LVS)的集群负载调度系统中的加权调度算法权值是静态的,没有动态调整机制,不能依据真实服务器处理能力进行动态的任务分配;给出了一种通过量化调度器和真实服务器的实时反馈负载信息指标,采用服务器负载率和分配权值为计算指标,引入临界回归因子,利用动态反馈临界加速回归的算法思想,实现基于动态反馈机制的动态反馈临界加速回归分配算法。该算法能根据负载均衡调度器和业务处理服务器的实时反馈信息,及时进行负载调度,实现负载动态平衡,进一步提高服务器的利用效率和集群系统的吞吐率,并在LVS的负载平衡调度集群系统中进行了应用性的实验验证。测试结果表明,该算法可实时反馈负载信息,动态进行负载调度,整体上较好的实现了负载动态平衡,提高了服务器的利用效率和集群系统的吞吐率。     

集中式动态负载均衡算法的研究

目前的负载均衡算法中难以探测节点终端的实际负载,导致难以有效地满足负载均衡集群系统实时需求.通过分析集群系统中的资源管理优化技术和负载均衡调度算法,对集群系统的模型结构进行了分析,提出了一种改进的集群系统的负载均衡算法,该算法较好地解决了集群的资源调度问题.     

一种基于网格的跨集群VOD系统及其仿真实现

提出了一种城域范围内基于网格技术的跨集群异构VOD系统实现框架;描述了系统硬件拓扑、软件层次结构,系统主要组件的交互活动．提出了一种对点播任务的分布式自适应调度算法并给出了基于此调度算法的仿真方案和结果．调度算法基于多目标规划,分为二级实现,包括任务在跨集群间的调度和集群内的调度．仿真结果显示,在系统的负载容量内,负载的大幅增加不会引起服务质量的显著下降。     

基于OPNET的集群负载均衡仿真

为了分析比较集群负载均衡中随机调度算法、轮转算法、加权轮转算法等3种基本算法,介绍了OPNET的建模方法,给出了基于OPNET进行网络仿真的建模层次和步骤,并运用OPNET建立集群系统模型,对其进行仿真测试.仿真结果表明:3种算法均能实现负载的平衡分配,在同构集群中,轮转算法有较好的负载均衡效果;但在异构的集群系统中,加权轮转算法具有最好负载均衡效果.     

异构Flink集群中负载均衡算法研究与实现

Flink是目前非常流行的流处理引擎.和先前的Hadoop,Spark,Storm等分布式计算框架相比,Flink能实现低延迟、高吞吐,保证Exactly Once.调度模块是保证集群高性能非常重要的一部分,但目前Flink调度默认把集群中所有节点看作是同等性能的,采用轮询调度策略.但在异构集群里这样的调度就会低效,因为计算资源少的节点运行的Task和计算资源多的节点运行的Task一样多,所以局部负载不均衡,影响Job的运行时间和吞吐量,造成延时.提出平滑加权轮询任务调度算法和基于蚁群算法的任务调度算法,解决运行过程中集群负载不均衡问题.平滑加权轮询任务调度算法在任务调度初始阶段根据集群资源按照权重平滑轮询调度.基于蚁群算法的任务调度算法是在运行过程中当集群已使用资源高于阈值时采用类似蚁群算法去执行任务调度,动态计算全局最优任务分配方案,能重新负载均衡.     

基于带宽约束的云计算负载调度算法

负载调度是云计算得以大规模应用及提高服务性能的关键技术,对提高云供应商服务质量、用户满意度以及数据中心集群资源利用率等有极其重要的意义.云计算环境中,由于用户任务类型的不同,对带宽的需求也不尽相同,若不区分不同任务对不同带宽的要求,可能会造成资源的浪费,增长用户等待时间.本文对经典Min-Min算法进行改进,提出了BCLL-Min-Min算法,该算法满足带宽需求约束,并且实现相对负载均衡调度.仿真实验表明,BCLL-Min-Min算法能够适应云计算环境下任务多样性和不确定性的情况,使用该调度算法可以提高集群的吞吐率、较大改善数据中心的负载均衡性.     

基于状态改变的集群动态负载均衡调度策略

集群系统中由于各节点机配置、客户请求执行时间、网络性能的不同 ,系统长期的运行会造成负载的积累效应 ;瞬时网络状态、用户请求信息的不确定性 ,很难只是通过静态负载均衡方案达到系统的负载均衡 .动态的即系统自适应的负载均衡成为必然补充 .提出一种基于状态改变要求驱动的混合式动态负载均衡调度策略 ,通过发送者表与接收者表对任务进行分布式动态迁移 ,并给出其实现步骤的算法描述     

基于作业类型和优先级权重的容量调度算法

针对Hadoop平台默认调度器在异构环境中不能根据作业类型和资源使用情况进行资源调度的问题,进行了Hadoop容量调度算法资源调度机制研究,提出一种基于作业类型和优先级权重的容量调度算法。首先通过作业负载分类,将用户提交的作业划分为CPU(central processing unit,中央处理器)负载类型作业和I/O(input/output,输入/输出)负载类型作业,并将不同类型作业分配到相应队列中;然后根据权重公式为超过等待时间阈值的作业更新作业优先级,实现队列中的作业排序;最后结合节点实时负载情况优先为优先级高的作业分配资源,从而实现集群性能的提升。结果表明,在异构环境下,相比容量调度算法,本算法将单作业类型和混合作业类型的作业平均完成时间分别缩短了9.7%和30.8%,从而有效地提高了作业执行效率和系统的资源利用率。本算法优化了Hadoop系统的负载均衡,可为后续相关调度算法的优化研究提供参考。     

基于簇的可动态调整的分层负载均衡算法

为了提高分布式系统的性能,设计了能根据节点当前任务负载强度和调度能力,动态地改变集群的逻辑控制结构的2层负载均衡算法.算法把系统中的节点分成多个簇,每个簇有1个调度节点和若干个工作节点,簇内工作节点形成算法的第1层,执行用户提交的任务;簇间的调度节点形成算法的第2层,调度节点间通过相互协作,均衡簇间的负载.算法可以通过分裂簇增加调度节点的方式来提高系统的调度能力;通过合并簇增加工作节点的方式来提高系统的执行能力.对于不同类型任务,算法能根据任务到达流的速度调整逻辑控制结构,从而提高CPU利用率.测试结果表明,该算法不仅能提高系统性能,而且经过调整后的系统会进入稳定状态.     

一种改进的基于LVS的负载均衡策略

负载均衡策略对提高集群系统服务效率至关重要.本文介绍了一种改进的LvS集群系统的加权最小连接调度策略,将原算法中的静态权值优化为动态权值,并通过实验证明,新调度策略能有效减少服务器的负载倾斜.     

自调度集群的研究与实现

传统的Web集群服务器均以集中控制的负载均衡为特征,带来的主要问题是负载评估比较粗略,高负载情况下后端服务器容易出现“活锁“现象,前端负载均衡器也容易成为整个系统的瓶颈。针对传统集群负载均衡技术的缺点,提出一种自调度负载均衡技术,把负载均衡的工作转移到后端的服务器,能够提高整个集群系统的性能。Intel评测实验室的测试表明,自调度集群在系统高负载情况下仍表现出很好的并发能力。     

虚拟机集群自适应负载均衡策略

针对虚拟机集群资源负载不平衡的问题,为提高资源利用率,提出一种集群自适应调度策略。首先将虚拟机资源按类别进行划分,然后通过量化各类资源对系统性能的影响,采用随机概率选择算法,完成对拟迁移的虚拟主机和目标迁移节点的选择,从而解决系统负载不平衡问题。实验结果表明,该方法能有效改善系统性能和提升资源利用率。     

基于改进克隆选择算法的云计算集群资源调度

为了实现云计算环境下的集群资源调度和实现资源负载平衡,提出了一种基于克隆选择算法的云计算集群资源调度方法。首先,定义了以最小化执行时间跨度和负载均衡因子为目标的云计算资源调度模型。在此基础上提出了一种采用克隆选择算法对云计算环境下集群资源进行调度的方法,对抗体编码方式,抗体与抗体之间以及抗体与抗原之间的亲和度函数、免疫克隆算子、退火交叉算子以及高斯变异算子均进行了设计。并定义了采用改进的克隆选择算法进行集群资源调度的具体算法。仿真实验表明:方法能获得最优的资源调度方案,且与其它方法相比,具有较少的执行时间跨度和负载均衡因子,具有较大的优越性。     

自调度集群的研究与实现

传统的Web集群服务器均以集中控制的负载均衡为特征，带来的主要问题是负载评估比较粗略，高负载情况下后端服务器容易出现“活锁“现象，前端负载均衡器也容易成为整个系统的瓶颈。针对传统集群负载均衡技术的缺点，提出一种自调度负载均衡技术，把负载均衡的工作转移到后端的服务器，能够提高整个集群系统的性能。intel评测实验室的测试表明，自调度集群在系统高负载情况下仍表现出很好的并发能力。     

Hadoop下基于资源感知的调度算法

在大规模的数据中心中,I/O型作业和CPU型作业通常会同时在同一集群上运行,他们之间所需要的资源是互补的.现有的Hadoop调度算法并没有对这两种工作的并行化进行研究,针对这点不足,提出了基于资源感知的调度算法,对作业负载和节点负载进行合理的分类和调度,解决因为资源竞争和不合理调度而影响处理速率的问题.对该算法进行实验及性能分析,在验证了算法在作业完成时间和系统吞吐量方面有很大改进.     

基于遗传算法的Docker集群调度策略

Docker集群技术因其轻量级、部署简单、高效等特点而成为构建云计算平台的新方案.为了提升传统Docker集群调度策略的负载均衡性能和增加多任务并发调度能力,文中提出了基于遗传算法的Docker集群调度策略.该策略将多个任务合并成一个调度组,并生成相应调度结果作为种群个体;然后结合任务负载模式、节点当前负载状态及硬件性能计算集群负载均衡值并作为个体适应度;最后利用遗传算法筛选出全局近似最优解作为调度结果.实验结果表明,文中策略与目前流行的Docker Swarm的Spread策略、权值调度策略相比,负载均衡性能和多任务调度效率均有了显著的提高.     

基于负载均衡的任务调度算法

基于传统任务调度算法, 通过在调度过程中增设服务器最佳期望序列及负载均衡指数, 采用任务连接数约束服务器选择, 解决了传统任务调度算法对于集群负载均衡性能的忽略问题. 实验结果表明, 该改进算法能达到较高负载均衡度, 同时缩短任务完成时间, 并提高了集群对于批量级任务的处理能力, 从而达到了优化的目的.