异构环境下改进的Hadoop调度算法

Hadoop是一个用于以高效的方式处理大数据的框架.任务调度是Hadoop框架的核心问题之一,其默认的调度器不能根据节点及作业资源的异构性进行任务分配.针对该问题,本文提出一种异构环境下基于作业及资源分配的调度算法.该算法可根据估计作业到达率和平均作业的执行时间将作业分类,找到与该类作业匹配的资源,优先将本地任务分配给...     

作业时间依赖资源分配决策的项目调度问题建模与算法

针对实际问题的需求,提出了作业时间依赖资源分配决策的项目调度问题.以最小化项目工期为目标,建立了作业时间与资源分配量呈函数关系的资源受限项目的调度模型,提出了基于1-opt及2-opt局部搜索的遗传算法以提高算法的求解质量,分析了2-opt局部搜索中的作业组合情形,归纳与证明了不同作业组合调整与问题目标之间的关联性质,在此基础上建立了选取有效作业组合的方法,以提高算法在局部搜索求解中的效率.数据实验结果表明,所提算法相较于现有算法,其求解的质量和速度均具有优越性.     

基于约简任务资源分配图的网格依赖任务静态调度

网格资源环境的动态性和异构性对依赖任务的静态调度策略产生了极大的挑战.提出了一个能够更好地适应资源异构性,并完整支持调度、重调度的统一静态调度模型,即基于约简任务资源分配图(RT-RAG)的调度模型和调度算法.基于该模型的调度问题归结为RT-RAG的优化选取问题.实验分析表明,基于该模型的调度方法更好地适应了网格环境的动态性和异构性,使得静态调度策略与动态调度策略相比依然保持着较大的性能优势,并且也优于基于DAG任务图调度模型的AHEFT静态调度算法,特别是在资源差异较大的情况下.     

成本/时间综合优化网络资源调度策略及价格算法

为对资源进行有效管理和调度,分析了网格资源管理领域目前已有的经济学模型资源分配框架,给出了经济模型中价格机制的形式化描述.参考Buyya提出的调度策略,在综合考虑成本价格和作业执行时间的基础上,提出了经济模型下基于时限预算和作业价格预算的成本和时间综合最优调度(STPP)策略和一种获取价格的迭代算法.研究表明,STPP策略增强了资源调度的灵活性和可扩展性.     

基于作业类型和优先级权重的容量调度算法

针对Hadoop平台默认调度器在异构环境中不能根据作业类型和资源使用情况进行资源调度的问题,进行了Hadoop容量调度算法资源调度机制研究,提出一种基于作业类型和优先级权重的容量调度算法。首先通过作业负载分类,将用户提交的作业划分为CPU(central processing unit,中央处理器)负载类型作业和I/O(input/output,输入/输出)负载类型作业,并将不同类型作业分配到相应队列中;然后根据权重公式为超过等待时间阈值的作业更新作业优先级,实现队列中的作业排序;最后结合节点实时负载情况优先为优先级高的作业分配资源,从而实现集群性能的提升。结果表明,在异构环境下,相比容量调度算法,本算法将单作业类型和混合作业类型的作业平均完成时间分别缩短了9.7%和30.8%,从而有效地提高了作业执行效率和系统的资源利用率。本算法优化了Hadoop系统的负载均衡,可为后续相关调度算法的优化研究提供参考。     

面向GPU异构集群的自学习负载均衡调度算法

由于GPU的高性能计算能力,越来越多地被用于集群系统中,但同时也给集群带来节点级的异构问题,使原来适用于同构集群的调度算法在异构集群中性能大大降低。为使异构节点间的负载均衡,降低总的作业执行时间,提出了一个面向GPU异构集群的自学习负载均衡调度算法。首先对Torque调度器进行扩展,使其支持GPU作业调度,然后将提出的自学习调度算法在Rocks操作系统及Torque调度器软件中实现。真实物理集群上的实验结果表明,扩展后的Torque调度器很好地支持GPU任务的调度,自学习调度算法较原来的Torque调度算法能达到更好的负载均衡。     

网格计算环境下基于PERT方法的调度算法

在网格计算的资源分配过程中,一般基于费用-时间的DAG调度算法中的假定作业执行时间是确定的,为了解决这一局限性,提出了在网格计算的资源分配中使用基于计划评审技术的调度算法.采用PERT方法中的三时估计法及GridSim仿真软件包进行算法实现,通过用户任务完成时间的概率分析,证明该算法具有较强的实用性.     

Hadoop平台下基于资源预测的Delay调度算法

针对Delay算法的不合理等待问题, 提出一种基于资源预测的Delay调度算法（RFD）, 该算法基于对资源可用性的预测方法合理地调度作业. 实验结果表明, 在Hadoop机群一般应用场景下, 该调度算法与已有算法相比, 在保证作业本地化计算Map任务比例相近的同时, 将作业平均运行效率提高28.8%, 明显提高了Mapreduce作业的执行效率.     

多技能资源投入项目调度问题的建模与优化

以大型工业品移动装配线为实际背景,针对多技能人力资源投入成本问题,建立了以最小化资源投入成本为目标的数学模型.针对该模型,提出了基于全局作业影响的改进调度机制的遗传算法,设计最小费用最大流多技能资源分配算法解决资源分配问题,通过基于全局资源水平影响的作业调度评估策略优化非关键作业的调度位置.最后利用改造的标准算例库PSPLIB进行数值试验,通过与CPLEX和文献算法对比,验证了本文算法的有效性.     

基于经济模型的网格资源调度算法

建立了基于经济模型的网格作业调度系统,给出了相应的服务质量(QoS)资源调度算法.通过定义资源的多维QoS指标,实现了对计算网格中广域分布和异构资源的统一描述,能很好地适应网格资源的动态性和自治性.采用QoS偏好度排序和欧氏距离的优化策略搜索资源,将用户提出的具有个性化或总体服务需求的作业透明、动态地分配给最适应的资源,优化了资源的统一配置.采用仿真实验比较多种算法的性能,结果说明QoS算法可满足资源的自适应性,较好地实现全局资源调度的目标.