面向遥感瓦片数据的一次全覆盖检索模式和方法

随着卫星遥感技术的飞速发展,基于瓦片模式的遥感数据应用已逐渐成为遥感数据应用领域的趋势.然而,遥感数据瓦片化应用又进一步加剧了数据规模的增长,给数据检索带来了极大的压力.面对大规模的海量遥感瓦片数据,如何高效地获取目标数据已经成为空间信息科学领域迫切需要解决的问题之一.目前主流的检索模式还是采用传统遥感数据景检索方式,该检索方式在海量遥感数据背景下,检索效率极低且操作繁琐.通过改进传统遥感数据景检索方式,提出了一种全新的面向遥感瓦片数据的一次全覆盖检索模式和方法.该方法模式优化了传统数据检索后人工挑选的效率和操作流程,并根据遥感瓦片特有检索条件,提供了一次全覆盖自动检索、空间数据分布检索和单格网时序检索等功能.实验结果表明,该方法模式能从海量遥感瓦片数据中自动、高效、便捷地检索出目标区域满足实际应用需求的遥感瓦片数据.     

基于HBase的分布式空间数据库技术

针对在大型地理信息系统(GIS)中, 需要对海量矢量据和栅格数据进行存储并对高并发的用户查询请求提供高效响应, 传统的设计方案难以满足需求的问题, 提出一种使用基于内存存储的分布式数据库HBase存储空间数据, 并设计基于GeoHash的分布式空间索引, 实现了矢量空间数据与栅格空间数据的分布式存储与快速查询. 实验表明, 该方法提升了海量空间数据的查询速度.     

Hilbert索引的栅格瓦片金字塔数据存储方案

针对文件方式和关系数据库方式存储管理栅格瓦片金字塔数据存在的管理难度大、扩展性不高的问题,文章提出一种使用Hilbert编码建立索引,在Hadoop系统中存储管理栅格瓦片金字塔数据的技术方案,较好地实现了高效率的空间数据索引,存储容量动态扩充,并能降低系统建设成本。性能对比实验结果表明:所提技术方案可有效提升栅格瓦片金字塔数据建立索引、数据入库和并发查询响应性能,可为数据中心建设和海量栅格数据管理提供参考。     

面向TB量级海量空间信息的存储管理系统

本系统研究了原始空间数据的预处理;空间数据组织、存储、索引及管理;海量空间信息的快速漫游与查询检索;空间数据共享、交换及快速分发。研究并实现了海量空间信息存储无缝拼接技术,实现了空间元数据管理及分布,提出了基于海量存储设备的空间数据管理与共享技术,实现对多源数据的统一管理与相关应用。     

嵌入式GIS矢量数据存储技术研究

嵌入式地理信息系统（EGIS）对实时性有很高的要求,在有限的计算和存储能力下,如何存储和管理海量的地理空间数据是解决嵌入式GIS实时响应的关键问题之一。本文针对矢量数据的特点,设计合理的数据模型并采用高效的存储技术存储矢量数据,提供了实时快速的数据访问服务。     

一种社交网络环境下并行短文本查询算法

随着移动社交网络的迅速发展,如何从海量带有时间属性和地理位置属性的短文本信息中快速查询到有效信息具有重要意义.社交网络环境下传统短文本查询算法忽略时间维度,并且在海量数据下无法满足用户快速响应的需求.针对以上问题,提出一种社交网络环境下并行短文本查询算法.提出的算法设计了基于MapReduce模型下的查询框架,该框架使用了基于滑动窗口下的多版本时空索引(MVSTR-tree),保证了查询过程中融合了时间和空间属性,实现了对海量数据高效查询的目标.最后,通过真实数据集的实验证明该算法能有效缩短查询时间.     

并行环境下基于图着色理论的空间数据部署

在面向计算部署到数据节点端执行的分布式并行环境下,提出一种基于图着色理论的适用于矢量空间数据的部署方法,将空间数据粒度的部署问题转化为图顶点着色的过程,提高了任意空间区域的信息查询效率.给出基于图着色理论的数据部署方法,并通过节点的任务量进一步改进算法,使得该算法可实现海量空间数据粒度的离散化部署,提高了空间数据检索和查询的并行化程度,充分利用了并行计算资源.     

基于四叉树技术的全球影像数据组织管理关键技术研究

人们获取影像数据能力的极大提高,带来了对海量影像数据高效组织管理的需求.本文提出一种基于四叉树技术的海量空间数据管理技术,用于实现全球影像数据的组织管理,重点阐述了其中的影像金字塔反向构建、投影和影像整合等关键技术,并给出了实例说明该技术的可行性.     

云环境中基于金字塔模型的影像数据存储方法

随着卫星遥感获取技术的发展,影像数据量呈几何式增长,传统数据存储技术已经无法适应海量影像数据的处理要求.结合金字塔模型和MapReduce架构提出了一种适用于云计算环境的分布式并行存储方法—BMLStorage(storage based on MapReduce and local file system),该方法基于金字塔模型对影像数据进行分层分块处理,并对所得瓦片重新编码.定义了一种新的存储规则,使得所有瓦片可以按照此规则利用Hadoop中的MapReduce框架实现并行存储.实验表明,该方法与现有方法相比,在海量影像数据存储性能方面有一定的提高.     

基于GML的空间数据动态集成及应用研究

在分析GML数据格式和几何特征基础上,提出一个基于GML的空间数据动态集成框架,探讨了数据动态集成过程,并以福建省漳浦县绥安镇的林业数据为样本,进行了动态集成应用示范.结果表明,应用GML对空间数据进行动态集成,是在现有网络环境下以矢量方式进行数据传输、交换、集成海量空间数据最有效的方法.     

面向分布式存储的空间数据放置方法研究

目前,互联网中海量空间数据采用分布式存储,空间数据放置直接关系到数据访问效率.为了提高分布式存储中空间数据访问效率,提出了一种DHT-R数据放置策略,该策略将分布式哈希表（DHT）和R树相结合,按照分布式哈希表存储空间数据基本信息和索引地址,同时以R树型结构组织和存放空间数据,R树存储使得快速访问空间数据成为可能.实验发现,数据存取的可靠性较高,数据的吞吐时延也明显低于业界的阀值,DHT-R放置方法在大量访问压力下依然能良好的平衡和并发.     

一种分布式冗余的实时数据存储检索机制

为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方面进行设计和优化,在保证数据存取实时性的基础上实现了备份同步、一致性修复等核心功能,从而有效提高了实时数据库的海量数据存储与处理能力,为实时数据库向分布式存储、多重冗余备份、系统规模动态调整等方向的转变奠定了基础.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求.     

大数据云存储下海量数据传输完整度控制技术

为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。     

PC服务器实现海量数据存取的方法

在HP LH6000 PC服务器(双PIII550 Intel至强CPU、1G内存、Raid5磁盘阵列)、WINNT4.0网络操作系统和Microsoft SQL Server2000数据库管理软件环境下,提出一种应用PC服务器实现海量数据存取的方法,该方法通过改进和优化数据分类、数据分割、数据加工和保存、数据访问等一系列措施解决海量数据存取的技术难题,较好地提高了数据库服务器系统的处理速度和效率,节约了投资和维护成本.     

基于面向对象的大数据存储模型研究

随着大数据存储需求的不断扩大,网络存储技术面临如何存储并管理海量数据的问题.通过对现有各种大数据存储模型进行了对比分析,针对现有存储模型存储的局限性和大数据存储的特点,提出了一种基于数据特征的面向对象存储思想.采用虚拟类技术设计并实现了一种基于面向对象的大数据存储模型.在仿真环境中,对该模型的分类关键模块与非结构化数据存储性能进行了测试与分析,实验结果表明该模型分类模块误差较小,读写效率较高,而且随着数据的增大,非结构化存储性能保持稳定.     

长白山遥感影像数据库的设计与实现

本文分析了面向对象数据模型—geodatabase的管理模式及其在空间信息存储与组织方面的优势,并对影像数据在数据库中的数据逻辑设计、数据存储方式进行了深入的探讨,最后以TM影像数据为例,利用ArcSDE空间数据库引擎实现影像数据在关系数据库SQLServer2005中的无缝组织。     

基于NoSQL的海量出租车GPS数据Web服务研究

【目的】针对传统关系型数据库扩展性差、存取效率低等问题,提出一种基于非关系型数据库(NoSQL)的海量出租车GPS数据Web服务方案,满足海量空间数据高效存储管理与实时在线服务的需求。【方法】利用MongoDB地理空间索引实现基于位置的查询,基于Node.js技术提供Web service服务,采用Express MVC框架构建Web应用。【结果】与MySQL Spatial相比,MongoDB在区域查询方面具有较高的查询效率,数据量多时,其性能尤为显著。【结论】基于NoSQL的出租车GPS数据Web服务方案可以支持海量位置数据的实时查询与地图显示,具有一定的应用参考价值。     

云计算下异构数据集成模型的构建

为使用户能够将现有的应用系统向云计算环境迁移,将原有的异构数据处理无缝的映射为云计算环境下通用的数据服务和行为,从云计算和云存储的理论和模型出发,面向大规模的数据密集应用,针对各种异构数据库存储系统和云存储系统,构建云计算环境下异构数据模型,为用户提供透明、统一的异构数据集成和访问接口服务。实践证明:云计算下基于本体的异构数据集成模型的构建,可以为云计算环境下各业务应用提供统一的数据管理和处理方法,方便、快捷地实现异构数据统一的检索与查询以及业务应用所处理的各种异构数据之间实质性关联与映射。     

海量数据管理技术在桥梁结构监测中的应用

介绍了桥梁结构监测中海量数据管理的现状,提出大型数据存储技术在桥梁结构监测中的应用,着重论述了海量数据存储与管理系统的总体方案,提出了数据管理平台的总体架构,构建了一套架构先进、性能高效的海量数据存储与管理平台。基于数据库集群技术,通过ORACLE数据库平台,有效地实现了大数据的管理使用,为大型桥梁的状态评估和日后的状态预测、溯源提供数据依据。