网格环境下基于Web服务的分布式数据挖掘

在网格环境中进行分布式的知识发现和挖掘受到越来越多的关注。分布式环境中，数据常常是自治的，异构的，地理是分布的。在这种复杂的环境下进行数据挖掘与传统的在本地进行数据挖掘相比，给人们提出了许多新的挑战。文中根据网格技术、Web服务技术的特点，提出了利用Web服务实现资源（数据和算法资源）共享和动态调用，在网格环境下进行数据挖掘的框架。该框架的实现是建立在基本的网格服务的平台（Globus 3．0 Alpha toolkit）之上的。     

网格环境下基于WEKA4WS的分布式矩阵关联规则挖掘算法

在相关矩阵理论的研究基础上,将网格与Web服务技术融合,以分布式问题求解环境和开源数据挖掘类库weka为底层支撑,构建了网格环境下面向服务的分布式数据挖掘体系,提出一种基于矩阵的分布式关联规则算法.该算法不需要进行复杂的寻找频繁项集的过程,直接通过关联矩阵就可以判断出,给出了算法的理论证明,并通过实例验证了算法的正确性、有效性和体系结构的可行性,对于解决分布式关联规则挖掘问题有了一个新的突破.     

面向服务的分布式数据挖掘设计与实现

先进的应用持续产生非常大量有价值的数据,但是没有足够的技术来充分地抽取数据中潜在的知识.网格能为知识发现应用提供有效的计算支持.该文介绍了一个新颖的面向服务分布式高性能网格数据挖掘体系结构和设计原理.设计和实现了基于先进的Globus Toolkit 4和OGSA-DAI网格服务的分布式数据挖掘体系结构,并进一步用网格数据挖掘原型验证了该体系结构.     

一种基于工作流面向服务的分布式远程协同仿真系统

从面向服务的视角对分布式协同工作流进行了分析,提出工作流网格资源化的概念.定义工作流模型资源为网格资源,并遵照网格资源描述的规范描述工作流模型资源,实现从网格基础设施资源层支持协同工作流;同时以该工作流模型为原型,以面向服务的体系结构为基本框架,构建网格环境中协同工作流服务框架,实现了基于工作流的面向服务的分布式远程协同仿真系统.     

一种基于网格服务的分布式远程协同仿真系统研究

随着面向服务的体系结构(SOA)成为网格研究领域的基本共识,越来越多的应用领域开始涉足网格中来;其中分布式远程协同就是其中的代表. 从全新的视角对分布式协同的重要技术之一--工作流进行了分析,提出工作流网格资源化的概念;定义工作流模型资源为网格资源,并遵照网格资源描述的规范描述工作流模型资源,做到从网格基础设施资源层支持协同工作流. 同时以该工作流模型为原型,以面向服务的体系结构为基本框架,构建网格环境中协同工作流服务框架,从而实现基于工作流的面向服务的分布式远程协同仿真系统.     

一种基于Globus的网格计算模型实现框架

提出了一种基于Globus的网格计算模型实现框架，以提供符合OGSA标准的通用、方便、高效、安全的网格计算平台．在该平台下，提供了网格资源管理和访问的安全性，通过调用Globus中的API函数库和MPICH-G2平台，可解决分布式异构环境下的大规模协同计算问题，同时，为用户可交互式的和安全的访问网格资源提供了透明的、与资源物理位置无关的、统一的服务接口，增强了系统的可用性和可扩展性．     

基于Web的网格监控系统研究

网格监控是网格管理和网格优化的核心．本文提出了基于Web的网格监控系统——GMSWeb．该系统采用浏览器／服务器（B／S）模式来构建网格监控系统,通过友好的浏览器界面实现网格资源网格环境中分布式、大规模、动态、异构的计算及存储资源的各种参数的监视和控制．GMSWeb底层采用生产者／消费者模式和SOA架构实现了对网格环境下各类资源的订阅发布,显示层对中国教育网格平台CGSP中资源、网格服务、网格用户、网格作业、网络状态等信息的可视化监控．     

网格记账系统研究与实现

该文主要介绍了基于开放网格服务体系结构(OGSA)的山东大学网格记账系统-SDUGAS,该系统主要致力于解决网格环境下异构资源使用的记账和计费问题,为用户和管理员提供良好的网格服务,在此基础上大力提高网格资源的利用率。该文将重点介绍SDUGAS的体系结构、实现的基本原理和方法、资源消费信息的采集过程、资源的价格策略以及网格银行的设计与实现等内容．并且在最后给出了一个SDUGAS记账和计费过程的简单实例。     

网格服务挖掘:一种基于OGSA的新型计算范例

为了满足网格用户定制计算任务的需求，提出了一种基于开放网格服务体系结构(OGSA)的新型计算范例——网格服务挖掘(GSM)，以及适用于GSM的软件构架——网格服务挖掘框架(FGSM)。描述了网格服务挖掘的思想、概念和原理，并分析了WSM实现过程中的关键技术。阐述了一种基于agent的FGSM的实现方法，提出了利用服务规范进行网格服务组合的方式，给出了一种基于面向特征的领域分析的GSM算法。把FGSM应用于构建四川省交通厅电子政务系统，结果表明该框架具有良好的可扩展性、可定制性和可靠性。     

石油网格数据挖掘新技术研究

针对石油勘探开发中很多TB级和PB级的数据集在许多情况下分布在一个组织的不同地点或不同组织的多个数据源被集团内所有用户共享的特点,用网格数据挖掘数据集成技术和网格数据挖掘本体技术,作为石油勘探开发行业业务工作流程的信息处理基础设施,以满足石油工业对高性能计算技术的持续需求。提出了Web service与网格技术融合、网格与数据集成技术结合和本体与Web service合成,给出了基于Globus Toolkit 4、开放式网格服务体系结构和Web服务的技术实现方案。研究表明：网格计算中的任务管理、任务调度和资源管理等服务可以为分布式数据挖掘提供极大的便利。     

一种改进的基于网格的数据过滤方法(英文)

数据分发管理是HLA/RTI中的一项服务,在大规模的分布式仿真中用来管理状态更新和交互信息的分发,以此限制数据交换的总量.介绍目前数据分发管理的基本方法的基础上,分析了它们的优缺点,提出了一种基于网格的双层数据过滤方法.通过探测数据分布情况,利用双层网格精细过滤数据,减少冗余数据发送量.实验表明,在大规模和复杂环境下此方法具有更好的适应性、可扩展性和更高的性能.     

分布式数据挖掘综述

随着网络技术、通信技术等的不断突破,互联网、移动网、广电网等多种类现代网络及其衍生业务迅速扩张,形成泛在于网络空间的分布式计算环境。为了最大化这些数据的价值,需要利用数据挖掘技术发现其中隐藏的模式或规则,用以指导和辅助生产或运营中的管理决策行为,以提高决策水平及决策收益。然而,受到普遍存在的异构性、私有性和平台兼容性等限制,兼因行业竞争和法律约束等因素(如个人或企业的数据隐私保护问题等),互联于网络的数据源难于进行集中式挖掘,分布式数据挖掘(DDM)技术应运而生。介绍了DDM的定义与框架、适用场景和研究挑战。根据文中给出的DDM高层架构,最终结果的质量与局部数据源的类型、可用性、局部结果的质量及整合方法等密切相关。DDM的实施未必都以站点间纯粹独立挖掘的方式进行,此外,对于数据集中,系统分布式站点多的情况,也可采用DDM。当前,DDM研究领域的挑战主要有:异构与同构挖掘、动态环境下的数据多变性、通信开销、知识整合和语义异构等。当前的DDM系统被分为4类:1)基于Multi-Agent的系统,利用Agent的自治性实现局部挖掘以保护数据私有性;利用Agent的主动性减少用户参与以提高挖掘自动化水平;利用Agent的协作性实现多算法协同挖掘等;2)基于网格的系统,利用网格在资源共享、开放服务和协同工作等方面的优势,提高挖掘的可靠性和协同性;3)基于元学习的系统,通过元学习优化挖掘算法的选择与组合,并对已获知识进行多次学习以提高结果质量;4)基于CDM(collective data mining)框架的系统,将待学习的函数表示为一组基函数的分布式存在,允许各数据源选择不同的学习算法,并以全局结果正确为前提减少网络通信量。进而,对当前DDM研究存在的共性问题进行了归纳:1)结果质量问题,不考虑各个站点数据源间的内在语义联系,各站点独立挖掘本地数据,与其他站点间无语义层面的数据交互或融合,形成纯粹的"分割式"挖掘,最终导致全局结果质量受损;2)挖掘效率问题,如何调度资源以平衡挖掘负载、减少协作挖掘中的通信开销问题。针对结果质量问题,探讨本体与数据挖掘的结合。作为语义网的基础,本体能为对象语义距离度量提供有效支持。当前,在利用本体描述挖掘任务的领域背景方面,利用本体描述DM过程本身方面,都已经有研究人员进行了探索性工作:针对关联规则挖掘中需要从海量规则中遴选有效规则的问题,提出了交互式的、用于删减冗余规则的挖掘后处理方法;针对在给定知识发现过程的输入和输出类型前提下,知识发现工作流的自动构造问题,提出了解决方法。通过阐述可知,为了提升分布式挖掘过程中局部结果和最终结果的质量,策略之一就是将DDM理论和本体理论作融合,以数据源间语义距离的度量为突破口,建立语义距离度量的复合量化体系,通过构建和求解新型DDM模型来实现目标。     

分布式数据挖掘

介绍了分布式数据挖掘的概念、 步骤以及关键技术等,结合当前分布式数据挖掘研究的现状介绍了分布式数据挖掘算法和挖掘体系结构的相关研究, 并阐述了分布式数据挖掘的主要研究方向和发展趋势.     

基于网格的汽车耐撞性数值分析系统及其应用

基于网格技术以及数值分析理论,分析了网格应用中间件以及具有4层结构的汽车耐撞性数值分析网格体系结构,结合耐撞性理论,提出了汽车耐撞性协同仿真和分布式耐撞性数据挖掘方法,实现了汽车耐撞性协同仿真应用系统与汽车耐撞性数据挖掘应用系统的融合.同时,结合应用实例,将所提出的方法及系统应用于汽车协同仿真及耐撞性数据挖掘活动中,取得了良好的效果.     

数据网格环境下基于语义的处理机制

为了克服现有数据网格体系中对数据源支持的不足,提出了一种基于语义的数据网格处理机制;给出了在OGSA和OGSA-DAI数据网格体系结构上支持基于语义的数据处理系统总体结构,包括利用基于本体的语义来封装各个异质数据源;通过Mediator-Wrapper结构实现了对各种异质数据源的支持,并构建虚拟数据源VDS来支持OGSA-DAI接口标准.讨论了基于语义的数据访问机制:利用语义知识扩展XML查询语言实现语义层次的数据访问能力;设计了新型的网格通信语言支持各结点在知识层面进行合作与协调.     

Data Mining Ontology Development for High User Usability

This paper mainly introduces the development and implementation of the user centered data mining service ontology on Universal Knowledge Grid （UKG）. UKG is an ontology-based grid architecture model to build large-scale distributed knowledge discovery system on the grid. The data mining ontology services are the main service offering by UKG. It can meet the user requirements of knowledge discovery in different domains and different hierarchies and make the system exoteric, extensible and high usable. A data min- ing solution for money laundering is introduced.     

一种混合的DDM数据过滤机制的研究

数据分发管理是高层体系结构中的基本功能之一,它的目标是使得数据传输的效率更高.几种DDM的方法,特别是基于区域和基于网格的方法已经在RTI软件中实现和使用.讨论了这 2种方法的优势和不足,同时提出了一种混合数据过滤的方法,研究表明,这种方法减少了不相干数据的传输和区域匹配的计算量.