基于资源监控的网格调度系统

研究ChinaGrid生物信息学网格中,根据资源负载变化进行动态作业调度的方案.针对中国网格公共支撑平台(CGSP)的执行管理模块在调度作业时,没有将计算节点的动态性作为调度优化的考虑因素,在ChinaGrid生物信息学网格中实现了一个基于资源监控的作业调度系统(SSRM).SSRM利用CGSV来实时获取资源的动态信息,并报告给ChinaGrid生物信息学网格的调度模块进行调度方案的优化.实验表明,与资源监控相结合的网格调度系统可以明显地缩短一组作业的完成时间.     

网格环境下多集群资源虚拟化的设计与实现

针对网格基础平台与多集群的互操作问题,基于西北工业大学校园网格,提出集群资源调节器用以屏蔽集群调度系统的分布性,利用网格技术平台共享资源,消除信息孤岛,并结合调度系统管理作业,使得作业的吞吐量和资源的利用率达到最大化,实现资源虚拟化.通过实现自适应管理机制,准确刻画资源的动态性,提高系统的工作效率.     

一种基于响应与资源状态更新时间的动态资源调度策略

在网格作业调度中,由于用户作业与资源频繁变化而产生的动态性,现有的调度策略又存在资源响应时间短或网格带宽少的情况,而导致这些资源在作业调度中会产生资源过时的现象,因此需要一种有效的作业调度策略.提出了一种动态资源调度策略,策略根据资源响应时间和状态更新时间对资源进行调度,并将所提出的策略与基于时间的策略进行对比分析.实验结果表明,该策略能显著提高网格的性能.     

基于Globus网格平台的电子工程预算软件作业调度实现

作业调度是能否充分发挥网格性能的关键技术。基于SaaS模式的电子工程预算软件(SaasBudget)为用户提供一个动态、实时、高可用性的预算软件平台。SaasBudget基于Globus Toolkit4网格平台实现,利用网格提供的强大计算性能和分布式处理能力进行大工程的项目预算计算。通过对Globus作业调度机制的研究,设计了SaasBudget系统的作业调度系统。实验结果表明,该作业调度系统能够综合考虑任务与计算节点的特性,并能根据任务当前运行情况实时进行调整,有效改善了作业调度效率,大大提高了网格资源的利用率。     

EGA:基于Agent的地震网格

地震网格聚集和利用互联网上异构及地理分布的结构工程实验资源,为待建市政项目的结构设计提供协同工作环境。提出基于代理的地震网格系统框架,介绍了网格中间件中最重要的监控代理、资源代理、调度代理和作业代理的功能与设计。最后分析几种地震网格的工作模式。     

一种动态网格资源可用性风险评价方法

首次提出了网格资源可用性风险的概念,基于相关资源的作业历史信息,利用概率与统计的方法对资源可用性风险进行预测与评估,提出了单一网格资源与网格资源集合的可用性风险评价方法,并给出了基于资源可用性风险评价的网格调度算法.实验表明,基于资源可用性风险评价的网格资源调度算法,可有效的确定可用资源集合,降低网格作业失效率,提高网格资源的使用效率.     

基于可信度策略的校园网格作业调度算法

为了实现校园网上的资源共享,降低资源浪费,文中讨论了基于网格技术的校园网作业调度模型,并设计和实现了基于可信度遗传算法的作业调度方法.该方法采用资源可信度策略,同时结合遗传算法的优点,满足了网格对调度系统可扩展性和全局最优调度的需求,从而使调度系统具有了一定的自主性和智能性.实验结果表明该作业调度方法收敛速度快,全局寻优能力强,整体性能优于其他调度算法.     

计算网格中基于负载平衡的调度模式

对资源进行有效的管理和调度可以提高网格系统的利用率.针对计算网格中的负载平衡问题,为减少网络通信量,提出一种分布式的网格作业调度模型,并给出了其相关算法：将轻负载节点逐个收集到一个队列,并设定一个可调节的刷新时间,当重负载节点提出调度请求时,直接从轻载节点队列中取一轻载节点并把负载转移到该节点上,从而解决了资源调度中的负载平衡问题.     

基于GridSim的一种改进的资源调度算法的模拟

网格资源管理是网格中一件非常复杂和具有挑战性的工作.资源管理的好坏、效率的高低直接关系到计算网格系统的性能,因此对资源管理的研究显得尤为重要.GridSim提供了一个虚拟的网格平台,在该仿真平台下,用户可以模拟资源调度,从而检测调度算法的优劣.本文对已有的时间代价均衡算法进行改进,提出了一种新的基于时间代价的资源调度算法,并借助Echlipse平台实现了该算法的模拟.实验表明,改进算法在任务数比较多时具有一定的优势.     

基于运行时间权矩阵的网格服务匹配问题的优化解

为解决在网格环境下满足用户作业对完成时间需求的服务资源调度问题,建立了包括独立匹配器在内的服务网格三元模型,给出了该模型基于图论的形式化描述,证明了用户作业和服务资源之间完备匹配的充分必要条件. 同时构造了基于传感器反馈的网格服务匹配系统,给出了基于运行时间权矩阵的优化问题描述,并给出了基于离散事件动态系统理论的最优化解算法. 仿真研究表明,该算法比其他算法更能改善网格服务匹配系统的性能指标,在满足服务资源负载均衡的同时提供了用户作业完成时间的服务质量保证.     

基于改进的MapReduce模型的Web挖掘

基于单一服务器的Web挖掘系统在处理海量数据集时计算能力不足,针对该问题,提出了一种基于云计算的挖掘方法。将大数据集和挖掘任务分解到多台计算机上并行处理。实现了一个基于Hadoop开源框架的并行Web挖掘平台,同时提出了一种改进的MapReduce模型——MapReduce-LP。并通过对电子商务系统中Web日志的挖掘工作验证了系统的有效性和新模型的高效性。实验表明,在集群中使用云计算技术处理大数据集,可以明显提高挖掘效率。     

校园网格及其作业服务的研究

对网格及网格体系结构进行分析,提出了校园网格系统分层结构的模型,总结了校园网格系统实现的目标,指出了作业服务在校园网格系统的重要作用,并对校园网格作业管理的功能、作业调度的模型及作业调度的策略进行研究.     

CNGrid GOS批作业系统的易用性研究与实现

从功能、稳定性及性能3个方面,对中国国家网格系统软件(CNGrid GOS)的批作业系统WebHPC(高性能网络计算平台软件)的易用性进行了研究.改进和完善了与批作业相关的作业管理、文件传输以及作业记账的功能;通过控制作业请求的流量、改进作业工作目录为层次式结构、减小内存泄漏以及改用vfork方式调用批作业脚本,极大地提升了软件运行的稳定性.另外,通过控制作业提交速率以及对临界资源的调用保护,明显提升了系统的性能.     

中国地震减灾网格试验床计算网格平台的构建

研究构建中国地震减灾网格试验床的关键技术.基于OGSA和GT3体系结构,提出了计算网格平台的编程模型,分析了模型的网格Web应用层、网格Web服务器层和网格资源/服务层之间的关系.设计并实现了模型的关键组件,并给出了基于GSI的模型安全解决方案,最终构建了一个计算网格平台,并在平台上实现了云南地区的地震应力触发计算.计算结果表明,该平台满足网格计算的需求,并能提高计算效率.     

网格计算平台GBuilder的设计研究

针对GT3对网格开发存在的不足,提出了基于开放源码的开发工具Ec lipse平台,通过相应的面向对象方法学知识,以插件形式来封装对OGSA标准的事务调度,构建网格计算平台GBu ilder,使用户开发网格服务实现可视化操作。主要工作包括基于GT3开发网格服务流程的设计、网格计算平台GBu ilder的体系结构设计和功能描述、以及设计该平台的支撑软件Ec lipse和EMF插件的介绍。     

Data Mining Ontology Development for High User Usability

This paper mainly introduces the development and implementation of the user centered data mining service ontology on Universal Knowledge Grid （UKG）. UKG is an ontology-based grid architecture model to build large-scale distributed knowledge discovery system on the grid. The data mining ontology services are the main service offering by UKG. It can meet the user requirements of knowledge discovery in different domains and different hierarchies and make the system exoteric, extensible and high usable. A data min- ing solution for money laundering is introduced.     

分布式数据挖掘综述

随着网络技术、通信技术等的不断突破,互联网、移动网、广电网等多种类现代网络及其衍生业务迅速扩张,形成泛在于网络空间的分布式计算环境。为了最大化这些数据的价值,需要利用数据挖掘技术发现其中隐藏的模式或规则,用以指导和辅助生产或运营中的管理决策行为,以提高决策水平及决策收益。然而,受到普遍存在的异构性、私有性和平台兼容性等限制,兼因行业竞争和法律约束等因素(如个人或企业的数据隐私保护问题等),互联于网络的数据源难于进行集中式挖掘,分布式数据挖掘(DDM)技术应运而生。介绍了DDM的定义与框架、适用场景和研究挑战。根据文中给出的DDM高层架构,最终结果的质量与局部数据源的类型、可用性、局部结果的质量及整合方法等密切相关。DDM的实施未必都以站点间纯粹独立挖掘的方式进行,此外,对于数据集中,系统分布式站点多的情况,也可采用DDM。当前,DDM研究领域的挑战主要有:异构与同构挖掘、动态环境下的数据多变性、通信开销、知识整合和语义异构等。当前的DDM系统被分为4类:1)基于Multi-Agent的系统,利用Agent的自治性实现局部挖掘以保护数据私有性;利用Agent的主动性减少用户参与以提高挖掘自动化水平;利用Agent的协作性实现多算法协同挖掘等;2)基于网格的系统,利用网格在资源共享、开放服务和协同工作等方面的优势,提高挖掘的可靠性和协同性;3)基于元学习的系统,通过元学习优化挖掘算法的选择与组合,并对已获知识进行多次学习以提高结果质量;4)基于CDM(collective data mining)框架的系统,将待学习的函数表示为一组基函数的分布式存在,允许各数据源选择不同的学习算法,并以全局结果正确为前提减少网络通信量。进而,对当前DDM研究存在的共性问题进行了归纳:1)结果质量问题,不考虑各个站点数据源间的内在语义联系,各站点独立挖掘本地数据,与其他站点间无语义层面的数据交互或融合,形成纯粹的"分割式"挖掘,最终导致全局结果质量受损;2)挖掘效率问题,如何调度资源以平衡挖掘负载、减少协作挖掘中的通信开销问题。针对结果质量问题,探讨本体与数据挖掘的结合。作为语义网的基础,本体能为对象语义距离度量提供有效支持。当前,在利用本体描述挖掘任务的领域背景方面,利用本体描述DM过程本身方面,都已经有研究人员进行了探索性工作:针对关联规则挖掘中需要从海量规则中遴选有效规则的问题,提出了交互式的、用于删减冗余规则的挖掘后处理方法;针对在给定知识发现过程的输入和输出类型前提下,知识发现工作流的自动构造问题,提出了解决方法。通过阐述可知,为了提升分布式挖掘过程中局部结果和最终结果的质量,策略之一就是将DDM理论和本体理论作融合,以数据源间语义距离的度量为突破口,建立语义距离度量的复合量化体系,通过构建和求解新型DDM模型来实现目标。     

基于三维GIS技术的地震监测系统分析演示平台设计

针对目前地震系统在监测数据无法详细立体展现的缺点,本文在传统2D-GIS技术的应用基础上,将3D-GIS技术引入地震相关数据的处理中,设计出一款基于3D-GIS技术的地震监测系统分析演示平台。通过分析3D-GIS技术的数据处理原理,给出地震监测系统分析演示平台的总体方案,并详细说明了系统基本组成的功能,给出数据库数据引用规则及数据应用指标。最后应用所设计的3D-GIS技术的地震监测系统分析演示平台,对所采集的实际数据进行处理并给出了实际效果图。