面向密集数据处理的网格平台研究

针对网格环境下的密集数据处理,构建了网格平台IDPGP.该平台基于Globus Toolkit 4、OGSA-DAI、Condor和PBS,主要提供网格信息服务、网格资源管理、数据访问与集成等服务,实现网格资源共享,完成密集数据的读取与处理.在网格资源管理服务中设计了一个基于分层模型的计算资源管理模型,既保证了每个虚拟域的一致性和可管理性,又增强了整个平台的可扩展性和容错能力.     

基于企业网格的ETL技术的应用研究

随着网格技术的迅速发展,特别是网格产品的商业化,如何对网格中资源信息数据及时、高效地监控、管理成为网格用户的迫切需求.针对目前企业级网格系统高效处理资源信息数据的要求,提出了将ETL(Extract、Transformer、loader)技术应用到网格系统的解决方案.在该方案中,把ETL技术应用到服务接口中,然后将其架构在网格系统上;通过启动服务接口对数据进行抽取、转化、加载,实现资源信息数据的集成处理,最终向网格用户提供有效的资源信息数据.     

GridDaEn-DAI数据库网格系统的设计和实现

提出了一种在网格环境下对数据库进行集成和访问的数据库网格系统GridDaEn-DAI.论述了系统的逻辑结构及访问协议,研究了基于web services以及XML等技术的实现策略.系统初步实现了网格环境下数据库的统一视图和统一访问,能够为分布在网格中的资源提供协同管理机制.     

面向资源融合网格的语义数据融合

网格中的数据资源多种多样,为用户提供具有语义支持的、按需访问的数据服务是资源融合网格中数据融合的关键问题。本文提出了基于本体的语义数据容融合方法ODSF;该方法中的基本元素是数据对象,通过数据对象和领域本体之间的映射关系来表达数据对象的语义,使用嵌套关系模型来表达数据对象的模式信息,通过一个网格节点中集成的所有数据对象作为下一个节点的数据对象来实现数据资源由粗到细的融合;定义了ODSF的语义模型,给出了虚拟数据库的查询执行过程和算法,可以为使用者提供具有语义支持、服务质量保障的数据访问服务;通过原型系统验证了ODSF中理论和关键技术的正确性和可行性。     

基于本体的语义数据融合方法

针对网格中语义数据的按需访问问题,提出了基于本体的语义数据融合方法OSDF.该方法以数据对象为基本元素,利用数据对象和领域本体之间的映射关系来表达数据对象的语义,使用嵌套关系模型来表达数据对象的模式信息,通过把一个网格节点中集成的所有数据对象作为下一个节点的数据对象来实现数据资源由粗到细的融合.文中定义了OSDF的语义模型,给出了虚拟数据库的查询执行过程和算法,为使用者提供了具有语义支持、服务质量保障的数据访问服务.原型系统验证了OSDF的正确性和可行性.     

基于Internet的信息网格的软件框架研究

为了实现数据信息在Internet上的广域共享和快捷获取,提出了一种信息网格的软件框架.参照计算网格的开放式网格服务构架,通过拓展信息搜集、监测、登记、发现、预订和搜索等服务,建立了面向Internet的信息网格的软件组件模型,研究了基于计算网格构建信息网格的方法.基于容错目的,提出了主、从层次的网格目录结构,研究了网格目录的复制和引用机制.为了实现网格信息的搜集与发现功能,设计了结点资源监测代理.通过提出网格信息登记协议和网格文件传输协议,实现了信息预订和信息搜索服务.使用JAVA技术开发了专门的Shell,以实现信息网格的服务接口.通过该接口,远程用户可以方便、灵活地使用信息网格提供的计算与信息服务,实现广域资源的单一访问入口.     

科学计算工具网格设计与实现

为了整合科学计算资源并为用户提供一个简单的使用方式,在面向服务,着力于用户需求的开发原则下,进行了科学计算工具网格总体设计,包括功能目标、总体结构设计、模块间的相互作用.整合了科学计算软硬件资源,提供了对特定应用作业调度的支持,利用Portlet框架以及XML Schema等技术为网格用户访问底层科学计算资源提供了简单的网格服务访问方式.目前在合肥网格结点建设中完成了原型实现,证实了该工作的有效性.     

校园网格环境下异构数据库的集成与分布式查询

针对校园数据网格的分布式异构数据库环境,提出了一种基于网格服务的异构数据库访问和集成方法。该系统为用户提供一致的虚拟数据视图和分布式数据查询支持。在分析和研究现有分布式数据库查询技术的基础上,介绍了一种适用于网格环境下海量数据的连接操作算法,算法依据分布式数据库的固有并行性,利用数据划分来提高查询的并行处理程度,以改进响应时间。理论分析表明,该算法在减少网络通信开销和降低响应时间方面具有较好的性能。     

一种基于数据网格的动态副本管理策略研究

 副本管理是数据网格中的一个研究热点,它能提高网格环境中数据的可获得性和容错性.在对传统数据网格中主流的副本管理技术进行深入研究后,提出了一种基于数据网格的动态副本管理策略,该策略包含能根据文件访问热度自动增加副本的动态副本创建方法、基于GridFTP的副本选择方法和结合副本创建时间、访问次数、副本文件大小的副本置换方法.仿真实验结果表明,当用户对资源的访问具有时间相关性时,提出的动态副本管理策略与OptorSim网格仿真器内置的5种副本管理策略相比有着较大的性能优势.     

基于实时操作数据存储的动态警情分析

通过监控公安业务系统日志, 从业务系统日志中实时抽取细节数据到操作数据存储, 实现操作数据存储与业务系统的秒级实时同步, 建立基于“日志 操作数据存储 数据仓库”三层体系结构的公安数据仓库, 基于即时在线联机分析查询、 操作数据存储的多维数据集动态更新和数据集市的多维数据集, 提供即时在线联机分析服务. 实验结果表明, 该动态数据仓库能够提供实时警情决策分析, 并且具有对业务系统负荷小、 实时性强、 访问效率高等特点, 较好地满足了公安系统对实时性的要求.     

基于WSRF的网格资源信息服务架构

为了满足视频服务网格中资源信息服务的要求,特别是视频信息资源的组织和管理,提出了一种基于WSRF的多副本一致性信息服务架构,并基于MDS4实现.该系统主要包括资源注册、信息采集、信息查询、资源监控和报警处理等五大功能模块.同时,提供了Web页面的形式,便于用户进行资源的查询和监控.据此设计的原型系统已经应用于实践,取得了良好的效果.     

基于云平台的软件服务流体系结构

为了对大规模的数据访问和海量海洋信息的处理提供可靠实时的云计算服务, 结合工作流与软件即服务(software-as-a-service, SaaS)的思想, 提出软件服务流的概念, 并构建基于云平台的软件服务流体系结构的系统. 服务流引擎在整个系统中处于底层, 与Hadoop平台进行交互, 运行自行设计的服务流解析与重组算法处理用户请求, 并交付下层执行, 且为上层提供资源表述性转移(representational state transfer, REST)架构风格的服务流监控和资源管理的透明接口, 降低了开发的复杂性, 提高系统的可伸缩性. 用户能够通过Web端访问, 定制个性化软件服务, 并且能实时监控云平台. 在该平台上, 大规模数据访问、高并发以及高密度的访问也是一种常态. 通过构建初步的原型系统, 证明平台体系结构的可用性和高效性.     

构建国土资源信息管理系统的探讨

从解决国土资源管理中存在的问题入手,提出开发一个基于大型数据库,实现数据高度共享、高度安全,网络化的信息管理系统。通过信息技术的广泛应用,直接、全面、准确地掌握国土资源信息及其动态变化情况,形成上下联动的、科学规范的网络化国土资源管理新模式,从而全面提升国土资源管理与服务水平。     

数据访问与集成的网格化封装方法研究

OGSA-DAI(Open Grid Services Architecture-Data Access and Integration)致力于构造通过网格访问和集成来自不同的孤立数据源的中间件。本文分析基于OGSA的数据访问和集成服务框架,给出基于OGSA-DAI的数据访问与集成方法,提出扩展OGSA-DAI以支持一般性数据访问和集成服务的基本思路,最后给出在网格层整合OGSA-DAI与数据存储的整体架构。     

校园网格系统中资源信息服务的实现

资源信息服务是网格系统实现中的核心和基础部分之一,提供各种分布式网格资源的静态和动态信息.根据面向对象的思想,对校园网格系统中的资源节点采用层次化管理的办法.通过对资源的抽象,将所有的资源信息存储在树中.采用两级移动代理的策略监测校园网格系统中网格节点的动态改变,包括网格节点的加入和退出,节点资源信息的改变.通过定时更新树的操作来保证信息树中所存储的资源信息总是最新的.对树的操作简单易实现,当校园网格系统中的资源节点不是很多时,这种方法能高效地完成资源信息服务的实现.     

分布式资源环境下基于云服务的设计知识服务资源平台

 为高效地解决分布式资源环境下产品设计中的技术需求问题，开发了一种利用互联网、基于云服务的产品设计知识服务资源平台。依据现代产品设计和知识服务的特征，设计了资源平台的知识服务流程及其体系架构与功能，采用JAVA、J2EE技术和HTTP/Web Service/JSON技术实现了资源平台的构建，资源平台由基础支撑层、服务平台层、功能层和用户层等构成，其主要功能包括用户功能、管理功能、IOS/Android接入功能以及第三方平台入驻功能。以“滑动轴承磨损试验”技术服务为例简述了资源平台的应用全过程，持续2年的应用结果表明分布式资源环境下基于云服务的设计知识服务资源平台具有显著的可靠性和实用价值。关键词设计知识服务；资源平台；分布式资源环境；产品设计     

Big data resource service platform for the internet financial industry

It is now the era of big data. Massive volumes of complex and dynamic data exist in a variety of indus- tries, including internet finance. This paper briefly describes the current big data situation and its significance, discusses the big data resource service platform architec- ture that includes three levels： data resource identification and access, data resources storage and analysis, and net- work information service platform, and then introduces some work undertaken by our project team on big data analysis research and application of trusted transactions for internet finance.     

引入资源即服务的云计算架构及其应用

提出引入资源的四层云计算构架,阐述资源在云环境中的必要性.同时从资源的角度,给出云和云计算的概念.设计云计算环境下的数据采集模型,并从数据资源的角度,设计应用广义搜索树的面向云计算的数据预处理机制.与已有的云计算构架对比,该构架更能体现出云计算技术的特性,为云计算提供了一个思考方向.     

一种面向用户的Web服务设计策略

提出了一个适用于计算网格资源包装的Web服务模型,采用工厂/实例模式、以用户为单位管理资源,把局域计算系统的全部资源作为一个整体,按照其为应用领域提供的功能,抽象成若干个符合WSDM规范的可管理资源.它们分别以一个工厂服务的形式,为远程用户管理、访问局域计算系统提供一致的Web界面.工厂动态创建的每个实例分别是应某个用户的要求而配置的专用执行环境,用一个符合WSRF规范的WS资源表示,可以执行任意数量的任务.该Web服务模型在计算网格协同平台Harmonia中被采用,以支持需要循环调用遗留程序的任务流.