基于Java和XML的分布式数据存储架构

探讨了一种基于Java和XML技术的分布式存储结构,该结构主要用于解决异构的数据存储和数据交互问题,构造了一种Internet环境下的分布式数据存储模式.在对分布式存储结构进行概述的基础上提出了具体的结构模型,并且论述了实现该结构所需的技术和手段.     

基于Java和XML的分布式数据存储架构

探讨了一种基于Java和XML技术的分布式存储结构，该结构主要用于解决异构的数据存储和数据交互问题，构造了一种Internet环境下的分布式数据存储模式。在对分布式存储结构进行概述的基础上提出了具体的结构模型，并且论述了实现该结构所需的技术和手段。     

基于海量卫星测控数据存储与查询方法

针对卫星海量测控数据以时间区间检索、结果按时间排序的需求,提出了基于数据库时间分区表与索引组织表（IOT）的存储和查询方法。时间分区表采用将数据存放到多个物理表空间,在数据查询时不需每次扫描整张表,检索时间明显缩短,且查询响应时间不会随着数据量的增长而增加;索引组织表是将数据直接存放在索引中,降低了存储空间的占用,以损失较小的写入效率为代价。通过对某卫星实验和分析,证明了方法的有效性和正确性,提高了数据存储和查询的效率。     

异构Redis集群大规模评论数据存储负载均衡设计

大规模评论数据的存储与查询性能对构建于其上的各类应用的快速响应具有重要影响.同时,异构计算环境中各计算节点性能呈现差异,如何充分开采各节点的计算和存储性能,优化大规模评论数据的存储与查询性能,是一个关键挑战.基于Redis集群的数据管理优势,首先提出了一种同构环境下基于卡槽存储平衡的大规模评论数据存储模型;然后论证了卡槽数目与节点查询效率的关系,以"负载与访问性能相平衡"的原则分配卡槽,进一步设计了异构环境下的集群节点负载计算和存储分配方法,充分开采了异构Redis集群中不同节点的性能.实验结果表明,提出的存储模型具有很好的存储平衡效果,提升了集群的整体查询效率.     

一种面向查询的无线传感器网络混合型数据存储算法

提出了一种面向数据查询的混合型的数据存储算法,将数据存储在合适的位置。通过分析采集、存储、查询节点之间的位置关系,存储模式可在集中存储和分布存储之间相互切换。本算法引入了"热点"保护机制,可有效均衡网络能耗。实验结果表明,该算法的能耗均衡性、节点能耗、生命周期和丢包率相比于GHT(Geographic Hash Table)算法有一定的改善。     

不确定性多维传感器数据的有效存储与查询方法

为解决传统数据库管理技术无法有效管理不确定性数据的问题,该文设计了一种多维数组树(MB树)。MB树是一种基于贝叶斯网络的图数据结构,以贝叶斯网络作为概率图模型解决存储和查询问题。对海量数据建模并响应查询。证明了可预测性和结构关联性。利用真实数据集和合成数据集对MB树的性能进行了测试。验证了具有潜在联合分布的MB树的编码准确度。与相似的图模型比较,采用MB树的查询处理效率平均可提升约3倍。     

带非均匀节点分布无线传感器网络的高效节能数据存储

现有大部分无线传感器网络的分布式数据存储方法都依赖于传感器节点定位系统,这会导致节点消耗大量的能量,而且这些方法主要是针对均匀分布的无线传感器网络的,并不适用于非均匀节点分布的传感网络。为了解决这个问题,提出一种非均匀节点分布传感网络的大数据路由存储算法,其目的在于减少传感器节点的实际分布和地址。为了进一步节省数据存储空间和能量消耗,将布隆过滤器(Bloom filter)集成到节点上,从而进一步减少数据丢失和网络能量消耗。文中算法提供了高效的搜索服务,使数据在网络内的存储分布和路由能量消耗更加均匀,进而提高了网络的生存时间。文中算法在容错情况下通过减少冗余数据来提供高效节能的存储,并进一步减少数据的路由开销和存储空间的浪费。     

大数据存储中的容错关键技术综述

不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术.文中介绍了数据容错的两种基本策略：复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等.     

基于服务总线浮动车数据分布式并行处理算法

FCD（Floating Car Data,浮动车数据）是一种新型的交通信息检测技术,其核心是利用具有GPS/北斗定位和通讯功能的车辆（如城市出租车等）采集的位置、时间、速度等数据,并把这些数据与电子地图进行单点匹配,以及路径推测等,最后可直观描述道路的交通流状况。然而,海量浮动车数据处理存在性能方面的瓶颈,为此,本文针对大规模浮动车数据进行分布式并行处理等关键性算法研究,在单机多线程处理的基础上,通过服务总线,实现了FCD分布式并行处理系统及FCD实验平台,该平台不仅能够对处理任务按车辆分配,还能根据实际需要,按浮动车时间段进行分配,并且实现了计算单元的动态弹性扩展。通过北京市实际浮动车数据集和路网数据测试,实验结果表明,处理效率得到较大幅度提升,并且通过负载均衡优化,进一步降低处理时间,验证了该算法的有效性,更好地解决了大规模复杂空间数据运算的效率问题。     

分布式数据库系统的查询策略研究

对于一个给定的查询,通常会有多种不同的查询策略。查询优化就是从这些策略中找出最有效查询计划的一种过程。一个好的查询策略往往比一个坏的查询策略在执行效率(基于执行时间)上高几个数量级。简要说明了分布式数据库的特点,重点讨论了几种分布式查询策略的特点及其适用的情况。     

一种基于虚拟数据库的分布式查询优化算法

针对虚拟数据库系统(简称“VDBMS”)执行分布式查询时的网络代价问题,提出一种基于关系运算代价估算理论及半连接技术的分布式查询优化算法SJQA(Semijoin Based Query Algorithm),较之最大子查询法,该算法加入了对子查询之间执行顺序及连接方式等方面因素的考虑,从而能更有效地减少分布式查询的总网络代价．实验结果表明,对于带有选择运算的查询,SJQA算法的优化效益与查询的选择因子大小成近似反比关系,因此它对该类查询的优化效果是十分明显的。     

基于XML的分布式中草药查询系统的研究和设计

利用XML的良好可交换性,从分布式异构数据库系统中查询中草药信息,较好地解决了传统数据库模式和XML文档模式之间的转换,也为异构分布式数据源的整合提供了一个较好的解决方法。     

基于知识图谱的查询语句重写机制及方法

随着语义Web技术和知识图谱的出现,目前查询模式大多要求查询结果与用户查询进行语义级匹配,简单的查询处理过程已经不能满足用户的查询需求.为此,对知识图谱查询涉及的重写技术和实现方法进行了研究,在定义SPARQL(SPARQL Protocol and RDF Query Language)查询模式的重写规则集合基础上,...     

基于P2P的分布式存储系统研究

对等网（Peer—to—Peer,简称P2P）技术是21世纪的技术热点之一。P2P的出现将互联网的存储模式由以前的“内容位于中心”模式转变为“内容位于边缘”模式,正适应了宽带互联网和更稳定、更高性能的个人电脑的现状．使得个人电脑重新焕发活力,大大提高了网络资源的利用率。目前P2P在文件共享、协同工作、对等计算、搜索引擎、电子商务、在线游戏,即时通信等方面的应用越来越广泛,并显示了良好的应用前景。分布式存储以其低成本、容错性强、易于管理、安全性等特性一直受到业界的青睐。由于P2P网络的发展,基于P2P的分布式存储系统也应运而生并以极大的速度发展。     

一种分布式数据库查询优化算法

在分析分布式数据库查询目标和策略的基础上,提出了一种新的查询优化算法：基于二级索引的查询算法。该算法利用全局和局部二级索引对查询语句进行分析,进而确定最优查询路径。该算法可以有效地减少分布式数据库系统查询过程对带宽的消耗。     

支持邻接关系查询的图结构密文搜索方案

现有的密文搜索方案不支持复杂数据结构,因此,提出一个针对图结构的密文搜索模型,给出其算法的形式化定义及安全模型.利用矩阵结构的加密索引提出一个支持邻接关系查询的图结构密文搜索方案,给出了方案算法的具体描述,并对安全性与效率进行分析.方案使用伪随机函数和伪随机置换,保证了用户的图数据和索引信息不被泄露,并通过现实模型实验和理想模型实验的方法进行安全性证明.对比传统密文搜索方案,该方案支持更加灵活的查询,并拥有更高的效率,在大数据环境下拥有广泛的应用前景.     

数据库系统中有向图的存储及其应用

提出了在数据库中有向图的一种有效存储方式，并根据需要在应用中可动态形成有向图的两种存储结构，从而较好地满足了有向图的各类应用要求     

Architecture Design of Global Distributed Storage System for Data Grid

This paper describes the architecture of global distributed storage system for data grid. It focue on the management and the capability for the maximum users and maximum resources on the Internet, as well as performance and other issues.     

云存储及其分布式文件系统研究

云存储专注于解决云计算系统中海量数据文件的存储问题;文件系统用来管理大量的文件信息,并负责对文件的存储空间进行组织分配;分布式文件系统不仅要管理本地计算机的数据文件,同时还要管理整个存储系统中的数据文件。文章首先对云计算技术进行介绍,然后引出云存储的概念,并通过对云存储的技术原理、性能优势等进行分析,指出分布式文件系统对于云存储技术的重要性;最后对现有的云存储分布式文件系统进行详细论述。全文工作将指导我们进一步深入研究云存储技术。