云环境中基于金字塔模型的影像数据存储方法

随着卫星遥感获取技术的发展,影像数据量呈几何式增长,传统数据存储技术已经无法适应海量影像数据的处理要求.结合金字塔模型和MapReduce架构提出了一种适用于云计算环境的分布式并行存储方法—BMLStorage(storage based on MapReduce and local file system),该方法基于金字塔模型对影像数据进行分层分块处理,并对所得瓦片重新编码.定义了一种新的存储规则,使得所有瓦片可以按照此规则利用Hadoop中的MapReduce框架实现并行存储.实验表明,该方法与现有方法相比,在海量影像数据存储性能方面有一定的提高.     

温室气体遥感反演系统的设计与实现

设计并实现了温室气体遥感反演系统,主要包括两个部分:温室气体遥感自动反演处理和多源卫星数据交叉验证.系统采用.NET框架和IDL程序相结合,快速自动地对卫星遥感数据进行反演运算,同时得到主要温室气体反演产品的柱浓度时空分布.系统可以方便地将地基观测数据和国际主要的卫星产品数据进行验证对比和精度分析.应用结果表明,该系统基本满足温室气体遥感监测业务需求,能够提高环保部门的监测能力,在温室气体遥感监测和评价中发挥了重要作用.     

基于MapReduce和HBase的 海量网络数据处理

根据ERF数据的特点结合分布式框架Hadoop针对海量数据的计算优势,改进了网络数据的解析模式和数据存储模式,完成了ERF网络数据自动上传。根据XML文件解析多种类型的网络数据、HBase存储数据和HBase数据导入与数据查询的优化等一系列网络数据自动化处理工作。提出了一种新的MapReduce解析二进制数据的算法,该方案有效的解决了MapReduce读取和解析二进制数据的问题,在此基础上实现的海量网络数据处理系统,解析效率较高,数据库存储和查询数据的速度较快,系统自动化运行且稳定性强,有良好的应用前景。     

数据密集型计算环境下离群点挖掘算法设计与实现

在数据密集型计算环境中,数据具有海量、高速变化、分布存储和异构等特征,对数据挖掘算法的设计与实现提出了新的挑战.基于MapReduce模型,提出了一种网格技术与基于LOF方法相结合的离群点挖掘算法MR_LOF.Map阶段采用网格进行数据约简,将代表点信息发送给主节点;Reduce阶段使用基于密度的离群点挖掘算法,借助网格期望值E筛选出稠密区域.该算法只需计算稀疏区域对象的LOF值,降低了算法的时间复杂度.实验结果表明,在数据密集型计算环境中,该方法能有效的对离群点进行挖掘.     

不同时间尺度大气PM_(2.5)和PM_(10)卫星影像反演

利用南宁市地面8个监测站与中分辨率成像光谱仪(MODIS)数据反演得到的气溶胶光学厚度值作为数据源,运用回归分析法,选取月、季、年三种时间尺度,分别对PM_(2.5)、PM_(10)浓度与AOD值进行相关性研究。结果表明,PM_(2.5)与AOD相关性好于PM_(10),月尺度PM_(2.5)和PM_(10)与AOD值相关性强,除个别月份外,R2均在0.7以上;季尺度PM_(2.5)和PM_(10)与AOD值相关性,随季节变化显著,但R2均在0.5以上;年尺度PM_(2.5)和PM_(10)与AOD值拟合,采用一元二次模型,R2在0.5以上。上述结果表明AOD在月尺度上与地面站点污染物监测数据PM_(2.5)和PM_(10)的相关性最为显著,故可在月尺度上通过卫星遥感影像反演的AOD推算地面PM_(2.5)和PM_(10)的空间浓度场。     

高能物理计算网格应用系统

针对在高能物理计算中存在的海量数据存储和计算问题,讨论了高能物理计算网格应用系统的体系结构,并重点讨论了运用元数据模型,通过元数据方式对数据的集成和整合,为用户提供了高能物理异构数据资源统一访问机制,以适应高能物理计算环境下数据密集型应用对数据共享和处理的需要,提高数据共享的利用率,节约了计算和存储硬件资源,加速了高能物理研究的进程.     

基于Hadoop的校园云存储系统的研究

针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。     

基于MapReduce的分布式地形数据计算研究

以山影分析模型为例,探讨了地形分析模型的MapReduce并行化计算方法.基于Apache Hadoop开发了地形数据分析的原型系统,并初步部署形成了地形数据的分布式计算和存储环境.最后,以全国范围90m地形数据对系统进行应用测试,结果表明:基于MapReduce的分布式计算方法能够有效地提升地形数据的计算效率,特别在节点较多时效率提升更为明显.     

基于MODIS数据的郑州地区PM_(2.5)时空分布特征分析

卫星观测不仅能反映全球尺度的大气污染状况,也能从城市等区域尺度上监测大气污染物的变化.本文基于2004-2013年MODIS气溶胶标准产品,利用PM_(2.5)卫星遥感估算的统计模型,统计分析了郑州地区的PM_(2.5)质量浓度的年际及季节变化特点,有助于深入研究郑州地区细颗粒物污染水平变化.研究发现,在空间上,郑州地区PM_(2.5)高值区主要集中在郑州市市辖区、中牟县、新郑市、荥阳市以及巩义市西北等地区,低值区主要分布于登封市和巩义市南部的山地地区.在时间上,2004-2011年整个郑州地区PM_(2.5)质量浓度总体呈现逐年增长的趋势,直到2011年达到峰值(108.59μg/m3).2011年之后,该地区PM_(2.5)污染状况有所好转,但仍处于重度污染状态.季节变化方面,PM_(2.5)高值通常出现在冬季(149.28μg/m3),秋季次之,春、夏季该地区PM_(2.5)质量浓度较低(81.71μg/m3).研究结果表明,利用卫星数据可以有效地分析郑州地区的PM_(2.5)时空分布特征,为该地区的PM_(2.5)污染治理提供有力的数据和技术支撑.     

面向云计算的众核处理器三维存储体系结构研究

众核芯片系统存在吞吐量低、加速比不能与其片内处理核数的增长成线性比例等问题,无法发挥出相应的计算能力,目前的众核微体系结构并不匹配MapReduce运行时. 针对上述问题,为实现高性能众核芯片系统巨大计算和处理能力目标,文中分析了众核MapReduce的执行模型,基于DOT模型构建了众核存储体系,对其中的片上网络、通信模式、访存流程及基于此的MapReduce存储模式进行了设计. 实验数据表明,和Tile结构相比,基于该三维存储体系的众核系统的吞吐量能提高1.2倍,加速比和片内处理核数接近线性关系.