网格环境下的数据存储研究

网格是一个集成的计算环境和资源环境,强调各种资源的广泛共享和相互协作,数据的存储是网格计算的基础．网格存储是运用网格技术实现存储和数据虚拟化,为各类网格应用服务．主要介绍网格存储研究的重要性、实现目标,对网格环境下的数据存储的实质及特点进行论述．     

网格环境下基于价格模型的分布存储研究

从市场经济的角度来研究网格环境下的分布存储,以适应未来商务的发展.在研究过程中,将经济学中的价格模型应用于网格中,给出了基于供需平衡的存储资源获得机制,通过需求量和价格之间的相互制约,来维持网格市场的供需平衡.相时于以往研究中主要考虑服务提供者的利益而言,本策略维护了服务提供者和服务需求者双方的利益,能较好地完成存储资源的分配和任务调度.     

网格与存储

网格把整个网络整合成一台巨大的超级计算机,实现计算资源、存储资源、数据资源、信息资源、知识资源及专家资源的全面共享。网格计算的基础是存储,网格中的每一个运算都必须有强大的存储功能提供支持。本文针对网格环境下的存储技术及其发展进行了论述。     

网格存储中的自适应负载平衡策略

为了优化网格存储的系统性能,针对网格环境中不同存储单元的性能差异,基于文件的访问特点提出一种自适应的负载平衡策略. 通过建立能量模型体现文件访问对存储单元的负载压力;通过与用户访问复合减少负载调整开销;通过创建和回收副本实现数据访问优化. 实验证明,提出的负载平衡策略与传统的磁盘冷却算法相比,请求处理时间和系统吞吐量均有20%左右的提高.     

数据网格信息服务研究

在中间件Globus的MDS基础上,构建数据网格信息服务的分布式体系结构,提出了构成数据网格信息服务基本框架的模块和协议,使数据网格能高效地对海量数据进行存储、信息发现、访问和管理.     

数据网格环境下基于市场经济的副本服务模型

在经济学中供需驱动价格模型的基础上,设计了基于市场经济的副本服务模型,设计目标是要改善副本情况,还要改善大数据集在网格中移动的方式.在给出的数据副本代理策略中,不仅可以找到最佳服务提供者,通过对传输过程的监控,还可以用更好的服务提供者替换当前服务提供者.在传输任务重的情况下,通过寻找联合服务提供者来共同完成任务.本策略更侧重于维护服务需求者的利益,服务提供者在公平竞争的前提下,为服务需求者提供了高质量的服务.     

数据网格信息服务研究

在中间件Globus的MDS基础上,构建数据网格信息服务的分布式体系结构,提出了构成数据网格信息服务基本框架的模块和协议,使数据网格能高效地对海量数据进行存储、信息发现、访问和管理。     

大数据环境下网格事件数据应用研究

阐述了网格事件信息传播要素及网格化管理的概念,并提出了大数据环境下有效提高数据应用意识、充分拓宽数据应用领域、科学建设数据集成平台、架构网格事件分析体系、有效提高政府管理效能等相关建议,旨在促进网格化管理的现代化发展进程.     

数据网格环境下基于语义的处理机制

为了克服现有数据网格体系中对数据源支持的不足,提出了一种基于语义的数据网格处理机制;给出了在OGSA和OGSA-DAI数据网格体系结构上支持基于语义的数据处理系统总体结构,包括利用基于本体的语义来封装各个异质数据源;通过Mediator-Wrapper结构实现了对各种异质数据源的支持,并构建虚拟数据源VDS来支持OGSA-DAI接口标准.讨论了基于语义的数据访问机制:利用语义知识扩展XML查询语言实现语义层次的数据访问能力;设计了新型的网格通信语言支持各结点在知识层面进行合作与协调.     

树型数据网格环境下副本放置算法研究

副本广泛地用于数据网格环境下以减少数据访问代价,降低网络带宽需求,增强容错能力等,但是副本数目受到节点存储能力等因素的限制,副本放置成为副本管理中一个值得研究的问题.文中针对网络带宽受到限制的树型数据网格,在考虑负载均衡的基础上,提出了一种利用动态规划方法求解最优最小可行副本集,然后在此基础上利用折半查找进行k个副本放...     

基于代理的网格环境下数据管理设计

数据网格是针对于数据密集型运算提出的，本文从分析网格系统中的相关概念入手，分析了数据网格目前所面临的问题和应具备的功能，提出了基于代理的网格环境下的数据管理系统的设计过程和执行过程以及所涉及的关键技术。     

数据网格中存储I/O的SPN建模与性能评价

针对数据网格中存储资源的结构、协议和I/O模式的复杂性问题,分析了存储网络的并行存储I/O请求模型,采用随机Petri网(SPN)建立了SPN并行存储I/O传输的数学模型,描述了系统请求响应时间与系统负载、网络带宽和节点处理能力之间的关系,然后通过排队论进行了并行I/O的性能分析,最后归纳了影响存储网络系统I/O性能的因素,在并行策略和数据组织与分配等方面提出了提高整体存储性能的改进方法.为改进提高数据网格的整体存储I/O性能提供了有效的建模方法和具体的理论依据.     

网格环境下分布式信息系统数据集成方法研究

文章探讨了高校信息系统建设存在的问题和解决方案;论证了数据集成技术对高校教育信息资源整合的重要性;分析对比了传统分布式组件技术与网格数据集成技术的优缺点,针对前者在耦合度、互操作性、跨平台性及动态适应性等方面的不足,提出了网格环境下基于OGSA-DAI的分布式信息系统数据集成方法,并通过实例验证了该方法的可行性和先进性.     

数据网格中复制式数据的一致性维护方法

由于网格环境动态性的特点,网格延迟的不稳定等问题会严重影响数据的可获得性.针对这个问题,采用复制式的数据模型来给予解决.通过在数据网格中维护多个数据副本,用户可以选择其中任意一个进行访问修改.通过将网格服务与数据分离,将数据模型化为线性数据和树型数据,可以支持用户对网格数据的实时修改,并且可以维持多个数据副本的一致性.提出了一个新的时间戳模型,可以支持一个数据副本上的并发操作.本方法是一个无锁的算法,可以满足网格环境下数据的RIC属性.     

高性能网格工作流中的数据服务优化研究

作为数据服务的原有架构中的开源关系数据库并不能很好地适应高并发和大数据量的处理,分析并总结了高性能网格工作流对数据服务在功能和性能方面的实际需求,结合这些需求设计并实现了新的适合高性能网格工作流的数据服务组件TreapDB,其使用了内存映像索引和追加型日志数据文件相结合的方式,降低了流程数据读写的I/O等待时间,同时也能满足流程数据查询的业务需求.实验表明:经过对数据服务的优化,网格工作流的整体性能得到了显著提升,在CNGrid生物信息社区中得到了很好的应用.     

基于数据网格的PACS存储管理

利用GLOBUS TOOLKITS 4.0(GT4)来构建ACS(医产像归档和传输系统)的分布式图像归档管理系统,实现了对医学影像数据的虚拟化管理.GT4包含了用来构建数据网格的许多组件,如网格传输协议Grid-FTP、辅助存储全局访问GASS、副本定位服务RLS等.系统的设计思路是利用这些网格工具组件来构造一种可伸缩开放的,虚拟化的存储系统框架.为PACS应用提供一个高效、稳定和安全的存储管理平台,满足现在和未来医院对大容量医学图像数据的存储需求.     

云存储环境下数据持有性证明研究综述

随着网络存储技术的发展,越来越多的用户选择将数据存储到云端,从而用户失去对数据的直接控制.如何验证存储在云端的数据完整性便成为用户最关心的问题之一.学术界和工业界普遍认为数据持有性证明(provable data possession,PDP)机制是解决该问题的重要手段,本文对现有的部分经典数据持有性证明方案进行了梳理.给出了数据持有性证明系统模型和审计框架;分析了数据持有性证明系统的功能特性和安全需求;分别从实现原理、应用场景和不同实体3个不同的视角,对目前主要的数据持有性证明方案进行了总结归纳,并对未来的研究趋势进行了展望.     

Data Exchange in Grid Workflow

In existing web services-based workflow, data exchanging across the web services is centralized, the workflow engine intermediates at each step of the application sequence. However, many grid applications, especially data intensive scientific applications, require exchanging large amount of data across the grid services. Having a central workflow engine relay the data between the services would resu＇lts in a bottleneck in these cases. This paper proposes a data exchange model for individual grid workflow and multiworkflows composition respectively. The model enables direct communication for large amounts of data between two grid services. To enable data to exchange among multiple workflows, the bridge data service is used.