云环境中基于金字塔模型的影像数据存储方法

随着卫星遥感获取技术的发展,影像数据量呈几何式增长,传统数据存储技术已经无法适应海量影像数据的处理要求.结合金字塔模型和MapReduce架构提出了一种适用于云计算环境的分布式并行存储方法—BMLStorage(storage based on MapReduce and local file system),该方法基于金字塔模型对影像数据进行分层分块处理,并对所得瓦片重新编码.定义了一种新的存储规则,使得所有瓦片可以按照此规则利用Hadoop中的MapReduce框架实现并行存储.实验表明,该方法与现有方法相比,在海量影像数据存储性能方面有一定的提高.     

遥感影像在土地利用变更调查中的应用

遥感影像在土地管理中有相当广泛的应用。选用SPOT 5遥感影像为基础数据源,通过对天水市郊区影像数据进行重采样、几何纠正和影像融合,使融合后影像同时具有多光谱特性和高分辨率,提高影像的解译度。对融合后的影像进行人机结合的解译,并对解译后的分类结果进行了精度分析。结果表明,通过以上方法和步骤可以使遥感影像应用于土地变更调查。     

一种社交网络环境下并行短文本查询算法

随着移动社交网络的迅速发展,如何从海量带有时间属性和地理位置属性的短文本信息中快速查询到有效信息具有重要意义.社交网络环境下传统短文本查询算法忽略时间维度,并且在海量数据下无法满足用户快速响应的需求.针对以上问题,提出一种社交网络环境下并行短文本查询算法.提出的算法设计了基于MapReduce模型下的查询框架,该框架使用了基于滑动窗口下的多版本时空索引(MVSTR-tree),保证了查询过程中融合了时间和空间属性,实现了对海量数据高效查询的目标.最后,通过真实数据集的实验证明该算法能有效缩短查询时间.     

基于Atrous-HIS变换的多光谱遥感影像多核并行融合方法

为适应遥感影像高效融合的应用需求，提出了一种基于Atrous-HIS变换的多光谱与全色影像并行融合方法.首先设计了一种结合了Atrous和HIS变换的遥感影像串行融合算法，分析了它的详细处理步骤.随后在该算法中引入OpenMP并行技术，并且制定了并行策略，优化了处理流程，最终实现了一种高效的并行影像融合算法.实验结果表明，该方法可以实现多光谱与全色影像的快速融合，具有良好的加速比，可扩展性好，并行效率高.     

一种基于MapReduce高效K-means并行算法

针对K-means算法对初值选取的依赖,收敛速度慢,聚类精度低,以及对海量数据的处理存在内存瓶颈的问题,提出一种基于MapReduce的高效K-means并行算法.该算法在MapReduce框架基础上,结合K选择排序算法进行并行采样,提高采样效率;采用基于样本预处理策略获取初始中心点;使用权值替换策略对迭代中心进行更新;此外,通过调整Hadoop集群,对算法的运行效率作出进一步提升.实验结果表明,该算法不仅具有良好的收敛性、准确率、加速比,算法性能也得到进一步改善.     

云计算网络数据库中的加密优化模型仿真分析

针对云计算网络数据库中大数据加密耗时长的弊端,提出一种新的并行同态加密(DGHV)方案。在云计算网络环境下,采用DGHV同态加密算法进行初步数据加密,并对加密过程产生的噪声进行去噪处理。引入MapReduce计算框架的并行特性,使用分块算法对云环境中的大数据进行分割,并采用同态算法进行加密,最后将加密后的密文块汇总,得到整个数据库中的密文。实验结果表明,通过相同的实验平台对云环境网络数据进行加密优化。相比较其他方法针对大数据的处理的加速比较高,能够有效地减少加密时间。     

PDM:基于Hadoop的并行数据分析系统

提出了一款基于Hadoop的并行数据分析系统——PDM.该系统拥有大量以MapReduce为计算框架的并行数据分析算法,不仅包括传统的ETL、数据挖掘、数据统计和文本分析算法,还引入了基于图理论的SNA(社会网络分析)算法.详细阐述了并行多元线性回归算法和"多源最短路径"算法的原理和实现,其中,提出的"消息传递模型"能有效解决MapReduce难以处理邻接矩阵的问题;介绍了基于电信数据的典型应用,如采用并行k均值和决策树算法实现的"套餐推荐",利用并行PageRank算法实现的"营销关键点发现"等;最后通过性能测试,说明该系统适合高效地处理大规模数据.     

基于Hadoop平台FP-Growth算法并行化研究与实现

针对FP-Growth算法在大规模数据环境下存在挖掘效率低和占用内存大等问题,提出在分布式计算框架Hadoop的MapReduce编程模式下实现FP-Growth算法并行化处理.结果表明,在相同数据量下,通过负载均衡的并行化FP-Growth算法,加速比呈线性增大,具有良好的加速比和可扩展性,且随着数据量增大,算法效率明显提高.     

PageRank算法的并行实现

针对当前大数据时代的背景,信息数据的海量化现象与日俱增,为了实现数据搜索的低成本、高效率,对Google搜索引擎的PageRank算法进行了综合性的研究分析,分别介绍了MapReduce框架和Hadoop实现平台,在此基础上,在Hadoop平台详细分析了基于MapReduce的PageRank算法的并行实现过程,以实现海量数据的并行处理,极大地提高了搜索引擎的性能.     

基于迁移学习的高分辨率遥感影像场景分类研究

对于小样本集合的遥感影像场景分类问题,采取了一种基于迁移学习的卷积神经网络高分辨率遥感影像识别方法,通过深度卷积神经网络Inception-v4在ImageNet上训练,得到预训练模型以及相应的初始化参数,随后将小样本遥感数据按比例划分注入预训练模型当中,根据样本集合特征,不断调整网络参数以便获得最佳识别分类模型.最后将本文的方法与现有的场景分类方法进行实验对比,测得该方法在UC merced land use场景影像数据集上取得97.92%的准确率,有效提高了高分影像场景分类精度.     

一种基于WCF的遥感数据验证系统的设计与实现

遥感数据验证影响到遥感反演应用中的方法及功能的设计,是遥感数据处理的一个重要环节.现有遥感数据验证功能主要在单机环境下运行,不能很好地适应分布式系统及云计算环境且传输效率较低.针对此问题,设计一种基于WCF(Windows Communication Foundation)的遥感数据验证系统,能够实现分布式环境下遥感数据及验证结果的传送功能,统一性和互操作性强,且易于扩展,数据传输性能较高.实例及分析说明了系统的有效性.     

云计算环境下的SWRL规则分布式推理框架

为解决传统推理引擎在进行大规模OWL本体数据的SWRL规则推理时存在的计算性能和可扩展性不足等问题,提出了云计算环境下的SWRL规则分布式推理框架CloudSWRL.根据SWRL规则语义,并以Hadoop开源云计算框架为基础,设计了OWL本体在HBase分布式数据库中的存储策略,定义了SWRL规则解析模型和相关推理中间数据模型,提出了在DL-safe限制下基于MapReduce的SWRL规则分布式推理算法.实验结果表明,在对大规模OWL本体进行SWRL规则推理时,CloudSWRL框架在计算性能和可扩展性方面均优于传统推理引擎.     

云平台下基因 基因相互作用识别算法

针对现有的快速方差分析算法进行并行可扩展性改进, 设计一种高效的并行计算模型, 并提出一种基于MapReduce模型的基因 基因相互作用识别算法--MRANOVA算法. 该算法有效解决了现有基因 基因相互作用识别算法在海量数据规模下普遍存在计算复杂度过高的问题. 实验结果表明, 该算法充分利用了云平台的并行计算能力, 随着数据量的增大, 加速比逐渐接近于集群数量, 可高效准确地完成基因 基因相互作用的识别.     

基于云计算的大数据关键特征高效提取方法研究

传统特征提取方法不适于大数据特征提取,提取效率低;为此,提出一种新的基于云计算的大数据关键特征高效提取方法。介绍了云计算中的MapReduce编程模型,给出Map与Reduce两个阶段的任务执行过程,通过MapReduce编程模型对大数据关键特征提取方法进行编程和处理,在云计算中实现高效运算。通过样本局部特征对特征集合进行评价,选择大数据关键特征。通过相空间重建保证大数据特征的不变性,在此基础上,引入关联维实现大数据关键特征的提取。实验结果表明,采用所提方法对大数据关键特征进行提取,可行性和效率高,与其他方法相比有更好的性能。     

波音787飞机基于云计算的远程故障诊断方法研究

针对波音787飞机实时故障诊断仍采用机载数据库的现状,结合波音787飞机数据传输特点,提出一种在充分利用飞机大量飞行数据的基础上进行云计算的远程故障诊断方法,可提升飞机飞行数据利用率和故障诊断的实时性。通过分布式技术将飞行数据拆分处理,应用虚拟化资源提高处理速度和数据共享能力。分析波音787飞机数据传输机制,结合基于网络的远程故障诊断与模糊故障诊断技术,重点研究计算的云化过程和推理过程。最后通过搭建云架构进行实验,证明了方法可进行高效稳定的远程故障诊断。     

3D点云BSP并行计算模型及算法设计

根据3D点云数据处理计算特点,按照BSP模型的技术思想,建立了3D点云BSP并行计算模型。讨论了HAMA框架下的3D点云BSP并行计算模型的实现方法,构建了一个由普通PC组成的HAMA计算集群。以3D点模型构建计算为例,给出了一种3D点云数据处理BSP算法设计方法。实例的计算结果表明:BSP并行计算方法能高效地完成3D点模型构建计算,与其它计算方法相比,计算效率有所提高。     

通用遥感数据并行处理框架设计与实现

为了简化对地观测地面系统遥感数据并行处理软件的开发工作,在分析遥感数据处理流程、并行任务调度和容错策略的基础上,设计了遥感数据并行处理框架。该框架集成了遥感数据预处理并行任务调度、消息和数据交换、故障管理等公共功能,并设计实现了简单易用的插件接口规范,以支持多载荷、多种遥感数据预处理功能的扩展以实现并行处理,具有较好的通用性和功能扩展性。最后基于消息传递接口(MPI)技术,在集群上实现了遥感数据处理并行框架,并在此框架上实现遥感数据预处理的并行系统,完成了系统并行性能测试与分析,结果表明该框架在简化遥感数据预处理并行功能开发的同时还能满足遥感数据并行处理效率要求。     

基于Spark的并行医学图像处理研究

随着医学图像规模的不断增长,为了快速且有效的处理医学图像并使各类图像处理算法得到应用.文章将传统的医学图像处理方法与Spark整合起来,提出了基于Spark的并行医学图像处理方法.首先,采用基于二进制的图像预处理转换方法,存储图像到分布式文件系统HDFS中;其次,应用传递函数的方法,避免了图像处理算法进行MapReduce转化,实现了快速的通用图像并行处理;最后,以肺叶DR图像分割算法为实例证明了基于Spark医学图像并行处理有较好的适应性和较高的效率,并适应大规模图像的并行处理.     

基于消息传递接口的并行图像处理算法研究

对于大数据量图像和复杂图像处理算法,并行处理是一种有效的解决方法.基于消息传递接口,设计了一种并行图像边缘检测算法,并在曙光4000L并行机上予以实现.数值实验结果表明,并行图像处理能显著减少计算时间,更多的计算节点能得到更大的加速比,该并行图像处理算法对于大数据量图像更加有效.