并行环境下基于图着色理论的空间数据部署

在面向计算部署到数据节点端执行的分布式并行环境下,提出一种基于图着色理论的适用于矢量空间数据的部署方法,将空间数据粒度的部署问题转化为图顶点着色的过程,提高了任意空间区域的信息查询效率.给出基于图着色理论的数据部署方法,并通过节点的任务量进一步改进算法,使得该算法可实现海量空间数据粒度的离散化部署,提高了空间数据检索和查询的并行化程度,充分利用了并行计算资源.     

基于MapRedue的大规模矢量空间数据选择查询处理

为高效地处理大规模矢量空间数据,基于Hadoop的并行计算框架MapRedue,实现了一种分布式的矢量空间数据选择查询处理方法.首先,分析OGC简单要素标准与Hadoop的Key/Value数据模型,设计了可存储于Hadoop HDFS的矢量文件格式;其次,根据两阶段的过滤-精炼策略,对Map输入数据分片、选择查询处理过程及Reduce结果合并等关键步骤进行了详细阐述;最后,基于上述技术,利用Hadoop集群环境对所提出的方法进行验证,该方法具有较好的可行性和较高的效率.     

面向TB量级海量空间信息的存储管理系统

本系统研究了原始空间数据的预处理;空间数据组织、存储、索引及管理;海量空间信息的快速漫游与查询检索;空间数据共享、交换及快速分发。研究并实现了海量空间信息存储无缝拼接技术,实现了空间元数据管理及分布,提出了基于海量存储设备的空间数据管理与共享技术,实现对多源数据的统一管理与相关应用。     

基于瓦片金字塔模型的海量空间数据快速分发方法

针对分布式并行环境下海量空间数据的快速显示和浏览问题,提出一种基于分层、分专题的海量空间数据金字塔模型及基于数据库存储方案的瓦片数据快速分发方法.对比分析了瓦片数据在文件式管理和数据库管理两种模式下的存储机制和响应流程,并以时间跨度59年的沙尘暴观测数据为例,验证了该方法不仅能有效地组织管理海量空间数据,实现高效数据互操作,而且在多用户并发访问时,能快速响应客户端请求.     

一种流程工业的分布式海量报警管理系统

提出了一种应用于流程工业的分布式海量报警管理系统,利用Hadoop平台的分布式可扩展特性实现了海量报警数据的可靠存储和高效处理.在数据存储层,通过合理的列式存储结构设计,实现了海量报警数据的分布式集群存储;在信息查询层,实现了类MapReduce过程的报警管理系统分布式并行查询模型;在功能应用层,根据业务需求实现了基本的报警管理功能模块.测试结果表明,面对海量报警数据的应用场景,基于Hadoop平台的分布式海量报警管理系统比传统报警管理系统具有更为出色的性能.     

基于DCOM的分布式WebGIS架构与关键技术

探讨了基于DCOM(分布式组件对象模型)的分布式WebGIS(网络地理信息系统)架构,及其关键技术的研究和实现.设计了一种新的数据模型SHAPE2D来组织客户端空间数据,并对中间件的设计、空间数据的优化组织、多分辨率显示、空间数据存储和数据库模型与结构等进行研究,提出了WebGIS中空间数据的压缩方法、矢量与栅格传输的综合平衡策略.最后,应用SHAPE2D客户端数据结构以及网络综合平衡策略,基于系统的快速定制机制,建立了房屋土地分布式WebGIS应用系统.该系统验证了本文的各种理论与方法是切实可行的.     

基于HBase的车联网海量数据查询

针对如何高效存储并快速查询海量数据问题,提出一种基于分布式数据库HBase的车联网海量数据存储查询方案.首先对实测交通数据进行数据预处理,剔除劣质数据并对车辆定位信息做地图匹配;其次,针对车联网数据特征和查询应用场景设计HBase表结构,包括列族与行键设计,使数据得到合理的分布;最后,根据行键结构设计多种车联网交通信息的查询模式.实验表明,该行键方案在查询耗时上相比没有行键设计的方案具有明显优越性.     

基于ArcSDE与Orade9iSpatial的空间数据转换及备份

1．前言ArcSDE是一个用于访问存储于关系数据库管理系统中海量多用户地理数据库的服务器软件产品。它是ArcGIS中所集成的一部分，也是任何企业解决方案中的核心要素．基本任务是在GIS应用与数据库之间传输空间数据。ArcSDE与数据库协同工作，提供空间数据存储、查询与管理的解决方案。ArcSDE把强大的数据管理功能从非空间数据延伸到了空间数据，是数据库的一种功能扩展。通过ArcSDE，GIS用户可以处理海量数据，实现多用户并发访问、版本管理、事务处理以及空间数据在数据库中的有效存储。     

面向分布式存储的空间数据放置方法研究

目前,互联网中海量空间数据采用分布式存储,空间数据放置直接关系到数据访问效率.为了提高分布式存储中空间数据访问效率,提出了一种DHT-R数据放置策略,该策略将分布式哈希表（DHT）和R树相结合,按照分布式哈希表存储空间数据基本信息和索引地址,同时以R树型结构组织和存放空间数据,R树存储使得快速访问空间数据成为可能.实验发现,数据存取的可靠性较高,数据的吞吐时延也明显低于业界的阀值,DHT-R放置方法在大量访问压力下依然能良好的平衡和并发.     

MapReduce模型下基于R树索引的Skyline查询算法

提出一种MapReduce并行计算模型下基于R树索引的Skyline查询算法, 解决了海量空间数据集下执行Skyline查询效率低的问题. 通过建立R树索引实现空间数据不同粒度的范围剪枝, 有效降低了分布式Skyline查询需扫描的数据规模, 提高了在MapReduce模型下Skyline查询的执行效率. 在不同数据分布下进行对比实验的结果表明, 该方法比已有算法在执行效率上更具优势.     

校园网格环境下异构数据库的集成与分布式查询

针对校园数据网格的分布式异构数据库环境,提出了一种基于网格服务的异构数据库访问和集成方法。该系统为用户提供一致的虚拟数据视图和分布式数据查询支持。在分析和研究现有分布式数据库查询技术的基础上,介绍了一种适用于网格环境下海量数据的连接操作算法,算法依据分布式数据库的固有并行性,利用数据划分来提高查询的并行处理程度,以改进响应时间。理论分析表明,该算法在减少网络通信开销和降低响应时间方面具有较好的性能。     

基于云计算的数据存储技术研究

以云计算环境下大数据存储技术为研究对象,首先介绍了云计算环境下主要的两种典型的分布式存储系统,即Googk的GFS和Hadoop的HDFS;对其中的数据存储技术进行了专门分析,从可扩展性和延迟性（如何支持海量小文件的存储）、容错性（在数据丢失时进行数据恢复）和海量数据存储的实时性这3个方面对现有技术进行了评价.在此基础上,提出了分布式文件系统的系统架构.最后给出了研究展望.     

Design and development of real-time query platform for big data based on hadoop

This paper designs and develops a framework on a distributed computing platform for massive multi-source spatial data using a column-oriented database(HBase).This platform consists of four layers including ETL(extraction transformation loading) tier,data processing tier,data storage tier and data display tier,achieving long-term store,real-time analysis and inquiry for massive data.Finally,a real dataset cluster is simulated,which are made up of 39 nodes including 2 master nodes and 37 data nodes,and performing function tests of data importing module and real-time query module,and performance tests of HDFS's I/O,the MapReduce cluster,batch-loading and real-time query of massive data.The test results indicate that this platform achieves high performance in terms of response time and linear scalability.     

分布式数据库系统的查询策略研究

对于一个给定的查询,通常会有多种不同的查询策略。查询优化就是从这些策略中找出最有效查询计划的一种过程。一个好的查询策略往往比一个坏的查询策略在执行效率(基于执行时间)上高几个数量级。简要说明了分布式数据库的特点,重点讨论了几种分布式查询策略的特点及其适用的情况。     

大型文本数据库中分布式数据去重备份方法研究

数据去重可删除备份过程中的冗余数据,节约存储资源与与网络带宽,是目前数据存储领域研究的重点问题。针对传统方法去重率和吞吐量低的问题,提出一种新的大型文本数据库中分布式数据去重备份方法。介绍了大型文本数据库中分布式数据去重方法基本思想,通过文件管理部分对数据片组中的扶贫数据进行查询和统计,给出数据片组路由策略,分析了数据预取过程。通过最终权值完成对数据块的排列,以恢复时间与恢复成本达到最小化为目的设计适应度函数。通过改进遗传方法对大型文本数据库中分布式扶贫数据进行备份。实验结果表明,所提方法有很高的去重率和吞吐量,且成本低,恢复速度快。     

基于J2EE的分布式数据库查询系统研究与应用

针对目前基于网络环境下的分布式查询需求,将J2EE技术与分布式数据库理论结合,提出基于J2EE的分布式数据库查询系统模型。文章还以固定资产查询系统为例,系统论述了基于J2EE的分布式数据库查询系统的开发过程,并重点研究其中的事务处理及查询优化问题,最后提出了适合系统需求的查询优化策略并加以分析。     

基于Oracle的同位素分布式管理系统的设计与应用

设计了在Oracle环境下同位素管理系统分布式数据库的应用方案,重点研究了同位素管理系统的数据分布特点、分布式的数据库模型和拓扑结构、跨网域数据库访问技术、分布式查询与数据更新,并在同位素分布式管理系统中得到应用。