基于MapReduce的高效地理数据水印方法

为了提高地理数据水印算法嵌入和检测水印信息的效率,提出了一种基于MapReduce的地理数据水印方法.该方法以MapReduce编程模型为基础,采用目前鲁棒性最好的基于可变步长量化调制的地理数据水印(VSQM)算法,在水印信息嵌入和检测时并行地处理目标地理数据中的地物,使得该方法的效率较之传统地理数据水印方法大为提高.最后在一个地理数据在线交易系统环境下实现了该方法,并通过一系列实验证实了所提出的方法能够有效提高地理数据水印方法的效率.     

大数据分析中基于 MapReduce 的空间权重创建方法研究

大数据空间分析是 Cyber-GIS 的重要方面。如何利用现有的网络基础设施（比如大规模计算集群）对大数据进行并行分布式空间分析仍然是一大难题。为此,提出一种基于 MapReduce 的空间权重创建方法。该方法依托Hadoop 框架组织计算资源,基于 MapReduce 模式从大规模空间数据集中高效创建出空间权重：大空间数据被分为多个数据块,将映射器分布给计算集群中的不同节点,以便在数据中寻找出空间对象的相邻对象,由约简器从不同节点处收集相关结果并生成权重文件。利用 Amazon 公司弹性 MapReduce 的 Hadoop 框架,从人工空间数据中创建基于邻近概念的权重矩阵进行仿真。实验结果表明,该方法的性能优于传统方法,解决了大数据的空间权重创建问题。     

MapReduce模型下基于R树索引的Skyline查询算法

提出一种MapReduce并行计算模型下基于R树索引的Skyline查询算法, 解决了海量空间数据集下执行Skyline查询效率低的问题. 通过建立R树索引实现空间数据不同粒度的范围剪枝, 有效降低了分布式Skyline查询需扫描的数据规模, 提高了在MapReduce模型下Skyline查询的执行效率. 在不同数据分布下进行对比实验的结果表明, 该方法比已有算法在执行效率上更具优势.     

基于GIS组件的通信网络资源管理系统

根据通信网络资源地理空间分布的特点和地理信息系统在空间数据管理上的优越性,设计了基于GIS组件的通信网络资源管理系统。该系统基于B/S模式开发,除实现对通信网络的空间及属性数据管理的基本功能外,还能够对相关数据进行综合分析处理,为网络规划设计和维护管理提供辅助决策支持,提高通信网络资源管理效率。     

基于Spark和SimHash的大数据K-近邻分类算法

在笔者之前的工作中,提出了一种基于MapReduce和SimHash的大数据K-近邻算法(H-MR-K-NN).虽然该算法能够有效解决大数据K-近邻算法的计算效率问题,运行时间远远低于基于MapReduce的K-近邻(MR-K-NN)所用的运行时间.然而,用MapReduce处理大数据时,需要从磁盘读取数据,再将中间结果写回磁盘,导致系统的I/O开销极大,这大大降低了MapReduce的效率.与MapReduce不同,Spark是一种基于内存的计算框架,它将数据第1次从磁盘读入内存,生成一种抽象的内存对象RDD(resilient distributed datasets).此后,Spark只操作内存中的RDD,计算过程只涉及内存读写,因此大幅提升了数据处理效率.基于这一事实,对算法H-MR-K-NN进行了改进,提出了一种改进的算法(简记为H-Spark-K-NN),可以进一步提高大数据K-近邻分类的运行效率.     

支持大规模流数据处理的在线MapReduce数据传输机制

针对流数据规模参差不齐、 流量动态变化且突发性较强的特点, 提出一种可伸缩的动态MapReduce计算模型, 支持大规模动/静态数据在线处理. 基于Event推送方式, 利用Netty底层异步通信方式等技术, 建立在线MapReduce数据传输机制, 进一步实现其原型程序, 解决了大规模分布式计算程序的快速在线传输和数据分发等问
题, 支持流数据动态分发机制, 为动态MapReduce模型提供支撑. 与HadoopOnline系统的传统Socket管道传送方式相比, 该方法能有效提高作业之间数据的传送效率, 从而提高大规模流数据处理的实时性.     

一种基于XML的WebGIS多源异构数据集成方案

本文提出了一种基于XML的WebGIS多源异构数据集成方案,在该方案中,既可对不同数据源上载到空间数据库,也可将不同数据源进行模式映射和转换而存储为XML数据库.对于空间数据库,调用GIS应用服务器上的Web Service对其进行数据抽取并转换为XML格式;对于XML数据库,则直接通过封装了XML查询的Web Service进行数据抽取;最终使异构空间数据集成于XML这一文本格式.同时,还可通过对已定义的Web Service进行发布和注册实现本系统GIS数据库服务器上数据资源的共享,也可以通过搜索Internet上已发布和注册的相关Web Service,通过对其引用而实现异地数据的集成,由此实现空间数据之间的共享与互操作,实现多源异构的地理空间数据的有机集成.最后通过XSLT将XML转换为SVG实现地理空间数据的可视化.     

基于MapReduce的并行子空间聚类算法

随着现有数据体量的迅速增长,超大规模中高维数据集的聚类问题变得越来越重要;而现有的子空间聚类算法大多是单机串行执行,处理此类问题效率极低。讨论了利用MapReduce对这类数据集进行并行聚类的方法,提出了基于MapReduce的抽样-忽略子空间聚类算法(sample-ignore subspace clustering using MapReduce,SISCMR)。该算法将串行聚类算法用作插件,具有很好的通用性。在人造和真实数据集上进行了大量实验,其中最大为0.2 TB的数据集在128个核心的集群中仅用不到10 min就完成了聚类,验证了该算法良好的聚类质量、近线性的可扩展性和高效的聚类性能,证明了基于MapReduce的并行聚类的可行性。     

CGIS空间数据质量控制研究

本文基于笔者多年从事GIS相关工作经验,以空间数据质量控制为研究对象,首先简要阐述了空间数据的基本特征何内容,而后详细讨论了空间数据质量控制的基本概念,方法,在理论分析的基础上,笔者给出了当前一般城市基础数据状况及空间数据处理方法,相信对从事相关工作的同行有着重要的参考价值和借鉴意义。     

利用“规则-模型-方案”模式的质量控制体系及其应用

针对当前空间数据成果质量检查需求,分析了质量检查技术的现状,设计出一套基于"规则-模型-方案"模式的质量控制体系。依据国标规定的数字测绘成果质量要求,证明了该质量控制体系可用于基础测绘生产,并提出了一套基于网络化管理的质量控制方案。该质量控制方案适用于上述质量控制体系,并可提高基础测绘数据生产的质量和效率。     

云环境下基于预分片的遥感数据并行重采样方法

面向海量高分辨率遥感影像数据快速发布需求,针对当前云环境下遥感影像数据并行重采样存在的难题,结合云平台MapReduce并行计算框架特性和遥感影像数据处理特点,提出了一种基于预分片的遥感影像数据并行重采样方法,通过预分片机制有效实现了该框架中对影像数据分片和并行重采样任务的控制,解决了MapReduce难以用于并行处理非结构化、具有空间位置特征的遥感影像数据的问题,从而实现了云环境下遥感影像数据的高效并行重采样.通过在开源云平台Hadoop上的实验和分析表明,该方法具有良好的重采样性能,能够实现高分辨率遥感影像数据的高效重采样.     

云环境下的流式空间信息服务

随着物联网、传感器技术与应用的发展,对大规模多维空间数据集成与服务的需求愈加迫切.如何实现基于大规模、多维空间数据流的实时计算成为空间数据处理领域的难点.结合云计算的特点,提出针对高速、大流量空间数据的实时处理方法.通过对多维、异构空间数据进行智能处理,生成结构化、简洁化的中间属性集;利用针对高速数据流的大规模数据实时处理方法,解决Map/Reduce难以满足此类计算实时性要求的不足.在此基础上,设计了流式空间信息组织模型与云端适配方法,对方法中的关键技术问题进行了描述.实践表明,该方法可显著提高动态空间信息的服务质量与运行性能.     

基于LISP的数字六盘水地理空间框架建设的数据处理技术

以数字六盘水地理空间框架建设为案例,详细阐述了地理空间框架的建设流程,基础地理数据库主要内容和建库流程,并分析基础地理数据库建设过程中存在的问题.运用Auto LISP编程语言,提出Auto CAD图形数据批量转换的基础地理数据处理方法,旨在提高数据处理的效率,保证入库数据的质量.     

基于ArcGIS Engine的物流管理系统开发

传统的基于MIS的物流管理系统不能为物流管理人员提供地理空间数据的管理和分析。根据物流行业对空间信息处理的发展需求,文章提出了基于Ar-cGISEngine的物流管理系统,并介绍了建立该系统的具体方案和实现方法。     

一种基于MapReduce的粗糙集并行属性约简算法

云计算技术是海量数据挖掘的一种高效解决方案,将MapReduce并行计算模型与粗糙集属性约简算法相结合,提出一种基于MapReduce的浓缩布尔矩阵并行属性约简算法.该算法提高了粗糙集属性约简算法对大数据的处理能力和效率,并能适应云计算环境.实验结果表明,所提算法具有良好的效率、加速比和可扩展性.     

地理数据关联研究进展

针对当前地理时空信息数据量大、利用率低的问题,基于地理数据关联的内涵,分析了现有地理空间数据关联组织模型,对多源地理空间数据关联方法的发展和研究现状进行梳理,明确地理数据关联算法的技术主线和重点内容,并在此基础上提出了下一步地理数据关联的研究方向.     

基于GIS的公路阻断信息数据分析方法

针对公路网阻断信息数据,提出一种基于GIS(geographic information system)技术的空间数据分析方法。对阻断信息数据的来源及特点进行介绍;提出基于GIS技术的阻断信息数据处理、分析方法,其过程主要包括:空间数据的简化处理、基于GIS平台的路段单元化处理、桩号赋值以及阻断信息数据的空间匹配等步骤;选取江苏省2010年的阻断信息数据,对提出的新方法进行了验证。结果表明:该方法可行、有效,通过该方法可以有效辨识出阻断事件频发的路段,其分析结果可为公路网监测点位选取、应急物资储备等工作提供支撑。     

基于NoSQL的海量出租车GPS数据Web服务研究

【目的】针对传统关系型数据库扩展性差、存取效率低等问题,提出一种基于非关系型数据库(NoSQL)的海量出租车GPS数据Web服务方案,满足海量空间数据高效存储管理与实时在线服务的需求。【方法】利用MongoDB地理空间索引实现基于位置的查询,基于Node.js技术提供Web service服务,采用Express MVC框架构建Web应用。【结果】与MySQL Spatial相比,MongoDB在区域查询方面具有较高的查询效率,数据量多时,其性能尤为显著。【结论】基于NoSQL的出租车GPS数据Web服务方案可以支持海量位置数据的实时查询与地图显示,具有一定的应用参考价值。     

空间拓扑相交关系计算算法并行化研究

研究空间拓扑相交关系计算的并行化,可以缩短处理大规模地理空间数据的时间,对于高效地应用GIS空间数据有着重要的现实意义.本文以开源软件GRASS GIS为实验平台,在集群环境下引入MPI并行库,采用不同的数据划分策略对空间拓扑相交关系计算算法进行并行研究与实现.首先分析了串行算法的特点及数据结构,验证了基于几何对象的数据划分策略在该算法上的可行性;其次针对基于几何对象的数据划分策略存在的问题,即较少考虑空间几何实体对象的数据量均衡性,提出基于弧段的数据划分策略;最后通过加速比指标,对两种策略划分方式进行对比分析,验证基于弧段的划分策略的正确性和高效性.经过实验可知,相比基于几何对象的数据划分,基于弧段的数据划分能得到更好的加速比.     

基于Spark框架的大数据K-prototypes聚类算法

大数据具有数据量大及混合类型的属性,基于MapReduce的K-prototypes并行大规模混合数据方案的缺点是时间和内存的限制,导致这些方案不适合处理大数据.为了解决这个问题,该文提出一种新的基于Spark的k-prototypes聚类方法,该方法使用了重新聚集技术,利用Spark框架的内存操作来构建大规模混合数据分组.在模拟和实际数据集上的实验表明,该文方法可行,且提高了现有K-prototypes方法的效率.