基于Java和XML的分布式数据存储架构

探讨了一种基于Java和XML技术的分布式存储结构，该结构主要用于解决异构的数据存储和数据交互问题，构造了一种Internet环境下的分布式数据存储模式。在对分布式存储结构进行概述的基础上提出了具体的结构模型，并且论述了实现该结构所需的技术和手段。     

面向分布式存储的空间数据放置方法研究

目前,互联网中海量空间数据采用分布式存储,空间数据放置直接关系到数据访问效率.为了提高分布式存储中空间数据访问效率,提出了一种DHT-R数据放置策略,该策略将分布式哈希表（DHT）和R树相结合,按照分布式哈希表存储空间数据基本信息和索引地址,同时以R树型结构组织和存放空间数据,R树存储使得快速访问空间数据成为可能.实验发现,数据存取的可靠性较高,数据的吞吐时延也明显低于业界的阀值,DHT-R放置方法在大量访问压力下依然能良好的平衡和并发.     

基于区块链的电力营销数据存储机制

随着电力的发展电力营销数据持续增长,传统的集中式数据存储模式已经不能满足电力业务数据存储的安全性和高效性需求.针对上述问题,提出了一种基于区块链的多级加密电力营销数据存储架构,该存储架构以区块链技术作为底层技术支撑,结合分布式存储提供稳定性高、安全可靠的电力数据存储方案.同时在区块链的基础上提出多级加密机制,该机制支持电力数据上链及电力数据传输等流程的逐级加密及验证,使得电力数据存储的安全性得到进一步的保证.通过创建分布式存储设施,对提出的存储机制与集中式存储机制进行对比实验,分析实验结果发现提出的存储机制在电力数据存储方面相比于传统的存储机制在系统延迟、响应时间和吞吐量上都更具有优势,表明了该存储机制合理可行,具有良好的应用前景.     

CWI中的分布式图数据存储与查询

现存的Web分析技术大多基于数据的文本内容,而忽视了数据本身的结构信息.为此,介绍CWI--一种新的海量数据分析和查询工具.作为CWI的一部分.TLGM和TLGM-Q1实现了对于Web数据内容和结构的查询分析,并且在分布式环境下实现了TLGM的图数据存储.实现了TLGM-QL的4个基本算子,实验证明该结构具有良好的平衡性和可扩展性.     

多核设计中的共享与分布式存储系统

在多核系统设计初期为存储结构的选择提供依据,将共享式存储结构与分布式存储结构在基于Simulink的多核设计模型中进行高层建模并量化对比.Motion-JPEG解码器的实验表明,共享式存储结构能够在多种抽象级别建模仿真,与分布式存储结构相比,实现简单,开发周期短;分布式存储结构则缩短了解码时间和数据通信时间.该量化结果为多核设计初期对存储器的选择提供了数据支持,为高性能多核设计提供参考.     

面向对象XML存储性能分析

针对面向对象XML数据的两种存储模式:集中式和分布式,基于两种存储模式的存储结构信息的路径仓和存储XML数据的数据仓,分别设计并实现了面向对象XML的查询代数.采用支持继承的扩展XML-RL查询语言,使用多态元素、多态引用、独占元素和独占引用四种典型查询,分析了两种存储模式的性能.结果表明查询多态元素和独占元素时,集中式优于分布式,而查询多态引用和独占引用时分布式优于集中式.     

基于面向对象的分布式遥感数据存储模型研究

现有的遥感数据存储模型大都针对遥感影像产品数据,且在分布式环境中不能达到较好的负载均衡,为了能够管理及高效存取海量多源异构的遥感数据,满足日益增长的高并发数据共享服务需求,提出了一种支持分布式虚拟化技术的遥感数据存储组织模型.模型利用面向对象思想对遥感数据进行分类及标准化处理,结合金字塔与全球剖分格网模型,建立分布式虚拟化环境下的遥感数据存储组织架构,利用一致性哈希算法思想解决数据在分布式环境下均衡性存储问题,同时通过虚拟化服务器动态分配策略优化了系统整体性能.实验表明新提出的模型比传统模型及同类模型更具优势.该模型已经应用在国家高分辨率对地观测系统河南数据与应用中心数据分发服务系统,验证了模型的可靠性、稳定性和适用性.     

云环境中基于金字塔模型的影像数据存储方法

随着卫星遥感获取技术的发展,影像数据量呈几何式增长,传统数据存储技术已经无法适应海量影像数据的处理要求.结合金字塔模型和MapReduce架构提出了一种适用于云计算环境的分布式并行存储方法—BMLStorage(storage based on MapReduce and local file system),该方法基于金字塔模型对影像数据进行分层分块处理,并对所得瓦片重新编码.定义了一种新的存储规则,使得所有瓦片可以按照此规则利用Hadoop中的MapReduce框架实现并行存储.实验表明,该方法与现有方法相比,在海量影像数据存储性能方面有一定的提高.     

基于链路带宽的分布式存储系统框架及动态负载均衡技术

针对在节点间进行数据传输、备份等操作时,不同节点间链路带宽将限制分布式存储系统的性能的问题,借鉴软件定义网络及云存储技术的基本思想,通过对控制流与数据流的分离,提出了一种基于链路带宽的分布式存储系统框架及动态负载均衡技术.所提出框架中,在分布式数据节点之外引入一个中心控制节点,该节点掌握全局网络视图,全局网络视图中既包括数据存储表记录存储数据的分布,又包括当前链路带宽情况.在用户读取数据时,根据数据存储表确定需要的数据存放于哪些数据存储节点,指派相应的数据存储节点根据路由表发送数据包,并实时监测网络中的链路带宽负载情况,及时调整数据的传输路径.仿真验证所提架构和算法可以有效解决海量数据在不同位置的分配调度,以及缩短用户对大量数据提取的响应时间及提升存储速率等问题.      

一种流程工业的分布式海量报警管理系统

提出了一种应用于流程工业的分布式海量报警管理系统,利用Hadoop平台的分布式可扩展特性实现了海量报警数据的可靠存储和高效处理.在数据存储层,通过合理的列式存储结构设计,实现了海量报警数据的分布式集群存储;在信息查询层,实现了类MapReduce过程的报警管理系统分布式并行查询模型;在功能应用层,根据业务需求实现了基本的报警管理功能模块.测试结果表明,面对海量报警数据的应用场景,基于Hadoop平台的分布式海量报警管理系统比传统报警管理系统具有更为出色的性能.