异构Flink集群中负载均衡算法研究与实现

Flink是目前非常流行的流处理引擎.和先前的Hadoop,Spark,Storm等分布式计算框架相比,Flink能实现低延迟、高吞吐,保证Exactly Once.调度模块是保证集群高性能非常重要的一部分,但目前Flink调度默认把集群中所有节点看作是同等性能的,采用轮询调度策略.但在异构集群里这样的调度就会低效,因为计算资源少的节点运行的Task和计算资源多的节点运行的Task一样多,所以局部负载不均衡,影响Job的运行时间和吞吐量,造成延时.提出平滑加权轮询任务调度算法和基于蚁群算法的任务调度算法,解决运行过程中集群负载不均衡问题.平滑加权轮询任务调度算法在任务调度初始阶段根据集群资源按照权重平滑轮询调度.基于蚁群算法的任务调度算法是在运行过程中当集群已使用资源高于阈值时采用类似蚁群算法去执行任务调度,动态计算全局最优任务分配方案,能重新负载均衡.     

一种基于贪心策略的启发式云计算任务调度算法

提出了一种基于贪心策略的启发式任务调度算法,用于优化云计算环境下任务调度中执行时间。首先,给出了云计算环境下任务调度问题的形式化描述及其最早完成时间的启发式优先分配原则;接着,基于最早完成时间的优先分配原则,采用贪心策略难易交错地分配任务求得任务调度的初始解;进而,引入了任务对交换的收益值概念,采用贪心策略选择收益值大的任务对交换优化任务调度初始解的执行时间;最后,在Cloud Sim云计算仿真实验平台下进行了顺序调度算法、Min-Min算法、Max-Min算法和本文算法的对比实验,实验数据对比充分验证了本文算法既能减少任务执行时间,又能使资源负载相对平衡。     

基于不同分配策略的云计算任务调度性能比较与分析

形式化描述了云计算环境下的负载均衡任务调度问题,借助动态规划方法形式化推导了最早完成时间的启发式优先分配策略,给出了基于先易后难优先分配策略、先难后易优先分配策略的启发式云计算任务调度算法。阐述了基于顺序调度策略、先易后难优先分配策略、先难后易优先分配策略等启发式任务调度算法和基于禁忌搜索策略、元胞演化策略等智能任务调度算法。针对不同分配策略的云计算任务调度进行性能比较与分析,提出了完成时间可改进百分比和资源负载平衡因子的调度性能评价指标,实验数据对比充分表明:与启发式调度算法相比,智能调度算法能减少任务执行时间,优化资源负载均衡性能。     

一种新型的云任务调度算法研究

云计算具有弹性、保证服务质量和按需的资源配置模型等特征,通常用于处理大批量的计算任务,因此任务调度策略对资源使用效率起着至关重要的作用.考虑到任务的数量和到达服务器的时间不确定性,并且用户对任务的执行往往有一定的期望(如任务优先级、执行时间等),如何合理地分配计算资源,最大程度满足用户的服务质量需求是一个值得研究的问题.为此,提出了一种新型的云环境下QoS-aware服务质量感知的任务调度算法(QTS),该算法结合贪心算法的思想,并加入了任务完成满意度模型作为任务调度的评价依据.通过扩展CloudSim仿真平台进行实验,将QTS与RR调度、Max-Min和Min-Min调度比较,结果表明,QTS是一种有效的任务调度算法.     

一种基于任务竞争力的工作流调度算法

网格计算聚集了大量的异构分布式的计算或存储资源,为科学研究提供了一个高性能环境.然而,网格资源的异构性和自治性特征使得任务调度变得极其复杂.针对DAG表示的科学工作流调度问题,根据任务可用资源率确定任务调度的优先级,以任务竞争力刻画任务对资源的最佳匹配度,基于分层调度策略提出了一种基于任务竞争力的工作流调度算法.采用GridSim模拟实验表明该算法相对于其他两个算法,具有更小的执行时间.     

基于动态规划的云计算任务调度研究

任务调度作为云计算中的核心问题,其目的是合理分配任务,实现最佳调度策略并且有效地完成任务.首先对当前云计算中任务调度算法进行分析并指出传统算法的不足与缺点,然后提出一种基于动态规划模型的任务调度算法,以任务运行时间最少为优化目标,把任务与数据集群中虚拟机匹配看成为多阶段决策的组合优化.最后在CloudSim进行仿真实验,结果表明,所提算法在满足多用户需求下与max-min和min-min算法相比,在一定数量规模下,任务完成时间减少而资源负载相对均衡.     

异构系统中带可用性约束的性能优化调度算法

针对可用性约束以及任务响应时间不同给异构系统中实时任务调度分配带来的处理机节点难选取的问题,提出了一种带可用性约束的性能优化调度算法(PO-SSAC)。该算法将异构系统内处理机节点、实时任务以及带可用性约束的实时任务调度过程进行数学建模,通过考虑可用性成本与任务平均响应时间的折中,引入系统综合开销的概念,根据实时任务的可用性需求为其分配系统综合开销最少的处理机节点调度执行,达到系统调度资源合理利用的目的。实验结果表明,在实时任务调度可用性方面,与SSAC算法相比,PO-SSAC算法提升了3.4%,与MinMin算法相比,提升了76.9%,与Sufferage算法相比,提升了76.5%;与Sufferage算法相比,PO-SSAC算法的系统综合开销减少了约30%,优化了异构系统的实时任务调度性能。     

基于数据依赖和触发器的简单子任务调度算法

针对在数据库管理系统环境下实现的分布式子任务计算平台,提出了一种基于数据依赖、采用触发器实现的简单分布式子任务调度算法,可有效保证分布式子任务调度的准确性和一定程度的及时性.首先介绍了采用人工划分的基于执行阶段的子任务调度思想,并结合数据依赖调度算法,证明了两者之间的相似性和密切联系,然后进一步提出基于执行阶段的分布式子任务调度算法,为在数据库环境下实现的分布式子任务计算提供了一种简单、快捷、正确的调度算法.     

一种面向通信开销的网格工作流调度算法

采用任务—资源分配图定义了网格任务调度模型,运用动态规划的方法提出了面向通信开销的工作流任务调度算法。采用扩展的拓扑排序算法对具有依赖关系的工作流任务进行划分,根据划分的任务子集得到相应的调度阶段,在每一阶段选择满足约束条件和以计算开销、通信开销以及任务执行成功率为最优目标函数的资源节点进行任务分配,从而使工作流任务调度目标函数最优。应用Grid Sim工具包实现了该调度算法,并与Min-Min算法进行对比分析。仿真结果表明,基于动态规划的网格工作流调度算法具有良好的适应性,且能较好地处理不同网络环境下任务间存在大量数据传输的网格调度问题。     

一种基于性能评估的元任务调度算法

在保障本地任务QoS需求及尊重网格节点的本地调度策略的条件下,提出了一种资源动态性能评估方法,并得出了2个资源动态性能的评估尺度.基于网格资源可用性的相关结果,利用概率法得出网格节点服务于网格任务的平均能力.利用热力学中熵的概念对网格节点状态的动态变化不确定性进行了评估,并得到刻画网格节点状态不确定性的定量值.在资源动态性能评估的基础上,提出了一种基于性能评估的元任务调度算法.仿真与评估结果表明,所提算法在服务拒绝率、网格任务执行跨度方面优于以往算法,且在网格用户的QoS保障程度上有所增强.     

多DAG任务调度算法

多DAG任务调度问题是当前研究的热点,为了提高任务调度的效率以及资源利用率,各个DAG的调度顺序以及每个DAG内部任务之间的调度顺序成为研究任务调度问题的关键。提出了一种基于分布式异构计算环境的多DAG任务调度模型和多DAG任务调度算法MDTS(multi-dags task scheduling algorithm)算法。算法首先对多个DAG任务进行合并,通过增加一个入口任务节点和出口任务节点的方法将多个DAG合并为一个DAG;然后根据每个任务节点的计算代价的方差以及平均通信开销对任务进行排序;最后基于HEFT算法降序对各个任务进行处理机调度。实验证明,MDTS算法在任务调度跨度、任务调度平均等待时间以及平均Slack方面均优于Sequential、Interleave算法。     

面向云工作流的两阶段资源调度方法

为提高云计算系统的资源利用率,优化系统性能,同时兼顾用户的服务质量(Qo S)需求约束,文中结合云计算和工作流建立了云工作流系统,给出了具有两个调度阶段的系统资源调度模型.在第1阶段中,考虑了Qo S的时间及价格约束、工作流内各个任务之间的依赖关系以及各个任务所产生的中间数据的处理,提出了改进的粒子群优化(MPSO)算法,并利用Pareto获得最优解,以提高调度效率;在第2阶段中,考虑了资源在主机上的分配情况,提出了具有负载感知的调度策略,根据系统的负载情况进行资源调度,以提高系统的资源利用率.实验结果表明:在云工作流系统的资源优化调度中,与经典的异构最早完成时间算法、单目标优化的遗传算法相比,MPSO算法的任务执行速度更快、资源利用率更高,能满足用户的Qo S需求;具有负载感知的调度策略能更有效地根据负载情况进行调度,提高任务执行的效率和资源利用率.     

一种基于任务分解的时间均衡调度算法

网格环境下的任务调度是一个NP完全问题,它一直是网格领域研究的核心。针对计算网格中的任务放牧调度这类问题,提出了一种基于任务分解的时间均衡调度算法。该算法在调度过程中充分考虑了网格资源的特点,采用重复调度和任务分解策略,并进行了仿真实验。在任务完成时间和系统吞吐率两方面与Max-min和Max-int算法进行比较,实验结果证明该算法优于Maxmin和Max-int,是一种性能较好的任务调度算法。     

基于LBT的网格依赖任务调度算法

文章将任务调度分为资源分配和调度执行2个阶段,定义了网格环境下的调度执行最晚开始时间、调度执行开始时间和任务依赖图中边的权值;分析了任务图冻结消减和执行消减对任务图结构的影响;提出了基于LBT的网格依赖任务调度算法;实验表明该算法有效地减弱了网格动态性对调度结果的影响。     

基于遗传算法的批处理科学工作流任务调度算法的改进

随着云计算应用的不断深入以及对大数据处理需求的不断提升,越来越多的企业选择使用云平台处理海量的数据。由于云计算的商业性,这就对云计算中的任务调度提出了更加严苛的要求,如何合理且经济地完成任务调度成为了研究云计算的关键问题之一。批处理科学工作流是大数据时代的一种新型工作流建模形式,近两年已引起业内的重视,但当前仍处于起步阶段。本文首先对当前传统的任务调度算法进行分析,并指出其中的不足之处,从而改进了基于遗传算法的批处理科学工作流任务调度算法BIGA(batch scientific workflow task scheduling based on improved genetical gorithms),在满足固定截止期的条件下,以任务调度成本最优优化目标,分别对独立任务调度与非独立任务调度进行研究实验。最后在Matlab中进行模拟实验,结果表明:本文的改进算法在满足任务截止期的情况下与按比例划分截止期经典调度算法相比,在一定任务规模下,完成任务调度所需成本更低,更加符合云资源的使用特征与用户需求。     

一种多策略要素的数据访问调度算法

考虑到任务的重要性、截止时间和资源分布等因素,设计了一种多策略要素的调度算法(MPES),以解决不完全独立的多源分布式气象水文数据库的访问控制问题.该算法为不同优先级的任务设定不同调度窗口,并对节点的安全级别、内容属性和负荷情况进行匹配判定,选择最佳服务节点,以优化系统公平性和整体效率.MPES算法根据队列优先级和可利用的服务资源,动态计算和调整调度窗口;优先级越高的队列,调度窗口越大,意味着可被服务的任务越多.在每个队列调度窗口时间内的任务被轮流执行.对于同一队列中的任务,根据最小松弛度优先调度策略,决定其进入调度窗口的次序,保证接近截止期的任务先执行.仿真试验结果表明,在不同的网络负荷下,MPES算法得到的分布式数据库访问任务的服务效率和公平性较MCT算法和Min-Min算法均有明显提高,尤其是高负荷情况下,总服务时间减少了11.4％ ～12.3％.     

面向能耗优化的云渲染系统任务调度策略

针对云渲染系统中由于渲染节点与任务不匹配调度而带来的能耗浪费问题,提出一种通过任务调度方式来优化系统能耗的策略。为了形式化描述系统的整体能耗,综合考虑节点空闲能耗和任务运行能耗,建立渲染任务能耗模型;以降低系统总体能耗为优化目标,根据渲染任务之间无依赖性的特点,将任务调度序列拆分成子序列,利用模拟退火思想,通过优化子序列任务调度提高节点利用率、减少节点空闲能耗,以此降低系统全局任务的能耗;采用矩阵存储子序列任务的能耗,以空间换时间的方式降低策略的时间复杂度。实验结果表明:该策略在多渲染作业环境中能耗优化效果比先进先出算法提升了43.4%,比能耗感知的调度算法提升了6.7%,能够有效降低云渲染系统的总体能耗,同时具有良好的扩展性,使云渲染系统的能耗效率和整体性能得到提升。     

树型网格下独立任务的实用调度算法

讨论在节点计算能力和网络通信速度异构的树型网格下独立任务的调度问题。与最小化任务总执行时间不同（该问题被证明是NP难题[1]）,本文修正[2]中为树型网格平台任务调度问题建立的整数线性规划模型,针对多层树通过线性规划模型求解最优任务分配数的时间复杂性大（ ）的问题,引入推拉方法,将多层树线性规划求解归结为单层树求解,复杂性降低为 ,其中 ,m为树的层数, 为第j层中节点的数目最多的节点的子节点数。基于求出的近似最优任务分配数,提出一个静态分布式的启发式任务调度算法。分析和实验表明,在异构的树型网格下做大量的独立任务调度时,算法性能优于同类算法。 关键词: 任务调度; 网格计算; 线性规划; 最优任务分配; 分布式任务调度算法;     

分布式系统中基于非合作博弈的调度算法

针对分布式系统中任务调度问题,根据分布式环境下的任务调度特性,建立了一个非合作博弈的多角色任务调度框架,在此基础上提出了一种基于纳什均衡联合调度策略的分布式强化学习算法.相比于静态调度算法,该算法需要更少的系统知识.能使调度器主动学习任务到达和执行的相关先验知识,以适应相邻调度器的分配策略,目标是使得调度器的策略趋向纳什均衡.模拟实验结果表明:所提出的算法在任务的预期时间和公平性上相对于OLB(机会主义负载均衡)、MET(最小执行时间)、MCT(最小完成时间)等同类调度算法具有更好的调度性能.     

云计算环境下改进加权轮转任务调度算法研究

为提高云计算环境下节点负载的均衡性,提出改进加权轮转任务调度算法.该算法在传统加权轮转任务调度算法的基础上,针对MapReduce作业调度模式,考虑到云计算环境任务的多样性,Worker节点处理能力的多样性,引入权值影响因子,在任务分配前对任务的权值进行调整,使权值较高的任务对应处理能力较高的节点,实现负载均衡.通过实验验证,该算法与加权轮转任务调度算法相比,能够使节点负载更加均衡.