高校大型高性能计算平台建设模式探讨

随着高性能计算资源需求的不断增长,大型高性能计算集群的建设越来越多,但大型高性能计算集群建设不同于传统的数据中心建设。由于高性能计算集群的高密度属性,其在机房设计、运营管理等方面都与传统的数据中心有着很大不同。结合南京大学两套大规模计算集群的建设经验,对集群建设过程中涉及的主要问题进行了总结,其中包括机房选择、软硬件选型等方面的问题,并在运营管理等方面进行探讨,为进一步提高国内高校大型高性能计算平台的建设提供一些参考。     

面向GPU异构集群的自学习负载均衡调度算法

由于GPU的高性能计算能力,越来越多地被用于集群系统中,但同时也给集群带来节点级的异构问题,使原来适用于同构集群的调度算法在异构集群中性能大大降低。为使异构节点间的负载均衡,降低总的作业执行时间,提出了一个面向GPU异构集群的自学习负载均衡调度算法。首先对Torque调度器进行扩展,使其支持GPU作业调度,然后将提出的自学习调度算法在Rocks操作系统及Torque调度器软件中实现。真实物理集群上的实验结果表明,扩展后的Torque调度器很好地支持GPU任务的调度,自学习调度算法较原来的Torque调度算法能达到更好的负载均衡。     

集群系统的资源调度管理实现

针对集群系统节点数较多,安装配置工作繁杂及个别计算节点死机难以检测的情况,采用XCAT管理集群的系统安装与环境配置、PBS管理作业的调度、GANGLIA监控集群资源的方法能很好的解决集群面临的管理和资源合理利用问题,大大的减轻了集群管理员的负担,使集群最大限度的发挥其计算优势。     

WCCS环境下利用WRK优化高性能计算

基于WCCS平台的高性能集群计算已经被广泛应用在科学计算上.利用WRK对系统进行内核调试并使得计算性能得到优化是本文研究的重点.通过在多台PC机上构建并行化平台,实现了一个可以进行高性能计算的高可用集群系统.该集群系统平台可以完成特定需求的高性能计算.结合上述系统并引入WRK环境对内核调度分配算法进行修改和调整,使得系统对于任务调度,内存分配等进行优化,并将其内核配置到HPC集群的每一个节点上,提高了整个HPC集群的计算能力和用户不同需求的适应性,实验结果表明,该高性能计算集群对于实验室或计算中心的教学与科研有实际的应用价值.     

基于用户评价的集群作业优先级调度

从超级计算中心建设和服务的实际需求出发,设计并实现了基于用户评价的集群作业优先级调度策略,从而为科学研究计算提供更多有效机时.从用户基本属性、行为特征以及用户作业的类别、规模、运行时长估算和容错性等几个方面对用户评价的原则进行探讨,并结合LSF作业管理系统阐述了作业优先级调度的实现和应用过程.选取用户作业时长估算和作业规模2个指标进行具体的量化和模拟实验,测试结果表明在调度策略作用下获评价较高的用户及其作业能够更优先地获得系统资源.     

基于移动代理的网格作业调度模型的研究

网格计算是新一代分布式计算技术.网格作业管理是其最主要的功能之一,主要涉及网格计算环境下作业的调度和分配等问题.其中作业调度是实现高性能网格计算的基本问题,该问题已被证明为NP难题.移动代理是代理agent技术与分布式技术的综合体,根据移动代理自身特点,提出了基于移动代理的网格作业调度模型,针对网格作业调度问题提出最短执行时间MAMET(MobileAgent-based Minimum Execution Time)算法,并在研究移动代理技术特性所带来优势的基础上,利用移动代理间通信等技术实现负载平衡.最后对基于移动代理的网格作业调度模型作单机与联机的性能进行分析和比较.     

网格计算环境下作业调度的策略研究

根据网格计算环境的各种特点,分析了采用层次型策略进行作业调度的必要性和可行性。根据计算资源的结构特点,提出了建立层次型权系数模型的算法思想,同时根据权系数模型提出了一种较新的作业调度的算法,并对其作业调度算法作了仿真分析。此算法将为如何根据各节点的实时变化特征,动态地进行作业任务的局部调度提供了可靠的参考数据。     

网格计算环境下作业调度的策略研究

根据网格计算环境的各种特点，分析了采用层次型策略进行作业调度的必要性和可行性。根据计算资源的结构特点，提出了建立层次型权系数模型的算法思想，同时根据权系数模型提出了一种较新的作业调度的算法，并对其作业调度算法作了仿真分析。此算法将为如何根据各节点的实时变化特征，动态地进行作业任务的局部调度提供了可靠的参考数据。     

基于Linux集群的高性能计算环境

为了提高高性能集群计算系统的计算能力,采用了类似于Beowulf的系统结构和Linux操作系统,提出了Linux环境下基于MPICH软件包的并行集群构建方法,在实验室网络环境下使用多台普通计算机完成了集群的构建,实现了集群的单一登录,单一文件管理,为今后在集群上进行并行编程提供了一个实际的软硬件环境。研究结果表明:构建的基于Linux集群的高性能计算环境,在多机并行环境下,运算时间较单机环境有明显提高。     

一种节能减排的高性能计算集群机房空调系统的设计及应用

针对高性能计算集群机房环境要求保持恒温恒湿状况与制冷设备功耗过高之间固有的矛盾,充分利用西北地区季节性温度低和昼夜温差大的特点,设计了一种具有节能减排功能的空调系统一一智能新风系统。该系统通过引进外界冷源解决了集群发热集中,冷热分布不均匀,形成局部热区的问题,提高了集群环境热交换效率,减轻了制冷设备的负载,达到了节能减排、提高集群运算能力的目的。     

集群资源统一管理和调度技术综述

随着互联网的快速发展和大数据的来临,基于数据密集型应用的集群计算框架不断涌现,并且这些计算框架都只面向某一类特定领域的应用.基于这一特点,互联网公司往往需要部署和运行多个计算框架,从而为每个应用选择最优的计算框架.因此,资源统一管理和调度系统作为集群共享平台被提出来.集群资源统一管理和调度系统需要同时支持多种不同计算框架,如何管理集群计算资源和不同计算框架间的资源公平分配成为关键技术难点.不同计算框架的作业是异构的,如何在不同框架间进行作业调度,以充分利用集群资源和提高系统吞吐量,成为了新的挑战.本文针对现有的资源管理系统和应用需求特点,研究和分析了集群资源管理和调度的关键技术,并对现有的集群资源管理技术存在的问题和未来发展进行了探讨.     

内存数据仓库集群技术研究

随着硬件的集成度不断提高,多核处理器和大内存成为当前主流的计算平台,内存计算也成为新兴的高性能数据分析平台.内存数据仓库集群技术面向高性能分析计算,是实现大数据实时分析的基础平台.本文概括地介绍了中国人民大学高性能数据库团队在内存数据仓库集群技术方面的研究工作,包括:以列分布和列计算服务为中心的ScaMMDB内存数据仓库集群,以水平分片、并行计算为中心的ScaMMDBⅡ和reverse-star schema分布、集群向量计算为特征的MiNT-OLAP Cluster等技术的研究发展过程.分析了内存数据仓库集群技术的关键问题及技术挑战,并针对新的内存数据仓库集群应用需求展望未来技术的发展.     

集群作业调度优化技术研究

本文主要概述了集群作业调度的相关优化技术,因此下文将简要讨论集群作业调度的资源分配、资源监控和作业调度。     

基于虚拟桌面架构的实验机房环境构建

随着机房PC设备的增加和软件环境的复杂化,传统机房维护方法的局限性越来越突出。师生希望机房能提供更加多样化的计算机环境,而维护人员则期望实现规范化的管理,保持计算机环境的统一性。重点探讨如何利用＂虚拟化＂技术协调机房管理中二者之间的矛盾。在高校＂私有云＂平台基础上,通过虚拟桌面技术构建高可靠、易维护的机房管理环境,保障各种实验环境间的快速切换。给出了构建虚拟桌面环境所需要的基本组成模块及各模块承担的作用,分析机房管理重心从维护前台PC到监管后台服务资源的转变过程,强调对服务端物理资源的监管、分配和回收等方法,总结虚拟桌面架构下机房管理的改进和经验,最终为师生上机实验提供个性化的、易用的、高性能的CAI环境。     

一种基于Hadoop的作业转移调度算法

云环境服务集群中作业提交存在着非均匀分布的问题,此问题会导致某一时刻作业聚集,从而引起作业的响应时间超出用户容忍范围。针对该问题,笔者在Hadoop平台下利用二级队列技术,提出一种基于队列的作业转移调度策略（JTSA）。实验结果表明,在作业数量某一时刻剧增的情况下,对总完成时间影响不大而且能够较大幅度提高作业的响应速度,随着作业数的增加,这种效果越明显。     

基于Globus网格平台的电子工程预算软件作业调度实现

作业调度是能否充分发挥网格性能的关键技术。基于SaaS模式的电子工程预算软件(SaasBudget)为用户提供一个动态、实时、高可用性的预算软件平台。SaasBudget基于Globus Toolkit4网格平台实现,利用网格提供的强大计算性能和分布式处理能力进行大工程的项目预算计算。通过对Globus作业调度机制的研究,设计了SaasBudget系统的作业调度系统。实验结果表明,该作业调度系统能够综合考虑任务与计算节点的特性,并能根据任务当前运行情况实时进行调整,有效改善了作业调度效率,大大提高了网格资源的利用率。     

采用资源划分的云环境下Hadoop资源许可调度方法

针对云计算环境中Hadoop平台由于节点计算能力差异、多样混合负载共存等原因而出现的性能不佳的问题,提出一种采用资源划分的资源许可方法。该方法在云计算环境下通过减少资源浪费或负载过重等情况的出现来提高系统性能。该方法采集资源信息并推测任务资源需求,根据可用计算资源和任务需求动态划分、调度资源;使用与资源无耦合的资源许可启动任务并控制任务数量调节资源利用率以适应云环境。使用该方法对比公平调度器在国家高性能计算中心(西安)进行测试发现:单作业在资源竞争环境中优于公平调度器的静态结果;混合负载在3种测试环境中完成时间分别平均减少了27.5%、37.1%和50.98%,性能显著提升。实验结果表明,该方法可以适应负载资源需求和可用计算资源的变化,灵活划分计算资源,解决Hadoop在云环境中的性能不佳问题。     

异构Flink集群中负载均衡算法研究与实现

Flink是目前非常流行的流处理引擎.和先前的Hadoop,Spark,Storm等分布式计算框架相比,Flink能实现低延迟、高吞吐,保证Exactly Once.调度模块是保证集群高性能非常重要的一部分,但目前Flink调度默认把集群中所有节点看作是同等性能的,采用轮询调度策略.但在异构集群里这样的调度就会低效,因为计算资源少的节点运行的Task和计算资源多的节点运行的Task一样多,所以局部负载不均衡,影响Job的运行时间和吞吐量,造成延时.提出平滑加权轮询任务调度算法和基于蚁群算法的任务调度算法,解决运行过程中集群负载不均衡问题.平滑加权轮询任务调度算法在任务调度初始阶段根据集群资源按照权重平滑轮询调度.基于蚁群算法的任务调度算法是在运行过程中当集群已使用资源高于阈值时采用类似蚁群算法去执行任务调度,动态计算全局最优任务分配方案,能重新负载均衡.     

集群环境下并行编程环境研究

研究了集群环境下并行编程的两种模型——PVM和MPI，分析了基于PVM模型的PVM ．CPPVM2种编程工具的发展情况、编程环境及各自特点；同时分析了基于MPI模型下提供开放资源的MPICH，LAM／MPI，MPIJava编程工具的发展情况、编程环境及各自特点、提出了集群编程环境将朝着面向对象的并行程序设计、广泛的异构环境支持、高性能计算程序设计的可视化等方向发展．     

Gang调度在云计算任务迁移和饥饿处理中的性能和成本评估

基于亚马逊的弹性计算云(EC2)的架构,对云计算模型中群调度的应用进行研究.研究中整合了作业迁移和作业饥饿处理机制,并同时考虑其性能与成本.在任意时刻可用的虚拟机的数量处于动态变化中,其规模取决于正在被服务的作业的需求.通过仿真研究某些模型,以分析具有作业迁移和饥饿处理机制的群调度的性能与总体成本.结果充分显示该调度策略可被有效地部署在云端,云平台可用于高性能计算或高性能的企业应用中.