大数据系统综述

随着科学、技术和工程的迅猛发展,近20年来,许多领域(如光学观测、光学监控、健康医护、传感器、用户数据、互联网和金融公司以及供应链系统)都产生了海量的数据(更恰当的描述或许是“无限”的数据,例如,在光学观测和监控等应用中,数据都是源源不断而来的,形成了“数据灾难”),大数据的概念也随之再次引起重视.与传统的数据相比,除了大容量等表象特点,大数据还具有其他独特的特点,例如大数据通常是无结构的,并且需要得到实时分析,因此大数据的发展需要全新的体系架构,用于处理大规模数据的获取、传输、存储和分析.本文对大数据分析平台进行了尽可能详尽的文献调研,首先介绍了大数据的基本定义和大数据面临的一些挑战;然后提出了大数据系统框架,将大数据系统分解为数据生成、数据获取、数据存储和数据分析等4个模块,这4个模块也构成了大数据价值链;随后讨论了学术界和工业界中和大数据相关的方法和机制;最后介绍了典型的大数据系统基准和大数据的一些科学问题.本文意图为非专业读者提供大数据的全景知识,也为高级读者定制自己的大数据解决方案提供辅助思想,希望能够对大数据相关的科技和工程人员起到一些参考作用.     

一种高效并行存储方案—LR—XOR

提出了一种并行存储方法 ,即LR XOR斜排存储方法 ,它可以并行存取许多常用数据访问模式 ,对图象处理、数值分析、信号处理等科学与工程计算问题可以更好地发挥出处理单元的最大潜能 .这种方法对处理单元访问数据的主存地址采用异或运算来产生并行存储模块号 ,具有地址运算简单、易于硬件实现等优点 .     

上海市雷电监测数据可视化研究

基于ArcGIS软件,将GIS(地理信息系统)技术与防雷实际应用结合,对雷电灾害预警涉及的实时监测数据(闪电定位数据、大气电场监测数据、雷达监测数据),从数据特点、预处理和可视化进行分析。针对上海市防雷中心业务需求,在雷电监测数据可视化应用方面,提出了分库、分表索引和符号库方法,实现了对海量数据的实时整合转化。提出的地图文档渲染方式使雷达数据达到了良好的可视化效果。目前,此研究已投入运行,具有较强的实用价值。     

大规模多源遥感数据应用分析与系统实现

随着对地观测技术的发展,人类获取遥感数据的途径和方式也越来越多,遥感数据呈现出大数据的特征.本文通过对大规模多源遥感数据应用所面对的问题进行分析,总结出遥感数据具有总量大、来源多与文件格式不一致、多尺度与投影方式多样、结构复杂以及与其他领域数据具有较大差异等特点.针对大规模多源遥感数据的协同处理应用,提出了解决这类应用需要在统一的数据结构及抽象层次、生产及管理的统一剖分参考框架和分布式高性能处理3个方面开展工作,并介绍了多源数据协同定量遥感产品生产系统在这3方面的实现途径.     

黄河流域地下水资源网络地理信息系统的设计与实现

针对黄河流域地下水资源管理的各项需求,提出构建黄河流域地下水资源网络地理信息系统的设计方案和实现方法.主要解决流域海量数据管理和数据共享问题,为黄河流域地下水资源管理与研究提供强大的地理信息系统技术支持.探讨了为大尺度地学研究对象建立分布式网络地理信息系统的必要性和可能性.提出了此类系统建设的网络部署总体策略,数据的分布存储与管理措施,各省基于三层模型的应用程序构架,跨省市数据交互与协同分析的实现方案.阐明了应用程序部署的MVC结构,系统内各类数据库的协作关系及系统预期实现的功能.     

面向数据驱动材料设计的专用数据库及信息管理系统

随着材料设计逐渐向"数据驱动"的方向发展,数据集的规模和质量实际上成为各类智能算法发挥效益的瓶颈.文献报道或尚未公布的海量实验数据是构建高质量数据集的宝库,但长期以来缺乏用于存储、整理、产生有关数据集的专门数据库或数据管理系统.本文以高温永磁合金代表体系Sm-Co基多元合金为例,介绍了本课题组构建的集成数据采集、数据标注、数据抽取与转换的一体化智能数据库及其管理系统.对材料的元素成分、物相组成、晶体结构、制备工艺、性能及其测试方法等各方面的数据建立了关系模型,实现了相关数据的逻辑关联并高度结构化,从而可根据具体的材料设计需求检索出高质量的数据集.建立的信息管理系统可实现多用户在线标注数据,具有数据录入准确高效、数据统一规范、最大程度消除冗余信息等特点.应用实践表明,建立的专用数据库及信息管理系统在数据驱动材料设计研究领域可发挥重要作用.     

忆阻器阻变随机存取存储器及其在信息存储中的应用

忆阻器具有依赖于激励历史的动态电阻,可以用来构造少晶体管的非易失性半导体存储器(NVSM),也称为阻变随机存取存储器(RRAM).本文提出了一种基于忆阻器的阻变随机存取存储器(MRRAM)——可与现代计算系统相兼容的纳米级二值存储器实现方案,其结构与静态随机存取存储器(SRAM)类似,但用忆阻器替代基本RS触发器存储信息.在此基础上,通过改进该MRRAM,可以实现在一个存储单元中存储多比特信息(以灰度级形式)的多值存储器,大大提高了存储密度.给出的计算机仿真和数值分析验证了本方案在存储ASCII字符和图像中的有效性,探讨了灰度图像存储的新方法.     

PDMiner:基于云计算的并行分布式数据挖掘工具平台

随着信息技术和互联网的发展,各种信息呈现爆炸性增长,且包含丰富的知识.从海量数据信息中挖掘得到有用的知识仍然是一个挑战性的课题.近几十年来,数据挖掘技术,作为从海量数据信息中挖掘有用信息的关键技术已经引起了广泛的兴趣和研究.但是由于数据规模的增长,以往的很多研究工作并不能有效地处理大规模数据,因此,开发设计或者扩展已有算法使之能处理大规模数据集,已经成为数据挖掘中非常重要的研究课题.近年来,基于云计算的数据挖掘技术研究已经成为一个热点话题,本文中我们研究开发一个基于大规模数据处理平台Hadoop的并行分布式数据挖掘工具平台PDMiner.在PDMiner中,开发实现了各种并行数据挖掘算法,比如数据预处理、关联规则分析以及分类、聚类等算法.实验结果表明,并行分布式数据挖掘工具平台PDMiner中实现的并行算法:1)能够处理大规模数据集,达到TB级别;2)具有很好的加速比性能;3)大大整合利用已有的计算资源,因为这些算法可以在由这些商用机器构建的并行平台上稳定运行,提高了计算资源的利用效率;4)可以有效地应用到实际海量数据挖掘中.此外,在PDMiner中还开发了工作流子系统,提供友好统一的接口界面方便用户定义数据挖掘任务.更重要的是,我们开放了灵活的接口方便用户开发集成新的并行数据挖掘算法.     

青藏高原热红外遥感与地表层温度相关性研究

通过对青藏高原热红外遥感数据与地表层温度场分布规律的分析,确定影响地表层温度的陆面因素,采用神经网络技术建立通过热红外遥感反演陆面参数预测地表层温度的模型,利用该模型对各陆面参数与地表层温度的相关关系进行了分析.该方法为热红外遥感用于大面积地块缝合带监测以及研究构造热异常探索了一种新途径.     

小流域水土保持信息管理系统设计与实现

以官厅、密云水库上游为研究区域，构建了以微观地理单元一小流域为对象的水土保持信息管理系统，本文就其主要功能与结构进行了详细描述。该系统以小流域为对象，采用数据库和空间数据引擎技术，实现了小流域水土保持监测信息全要素、多专题、分层集成存储。在此基础上，面向小流域实现了水土保持环境背景数据及专题信息综合分析、小流域治理措施评价，应用相关治理效益计算方法及指标对治理成效进行治理效益分析等。从而集数据库存储、数据综合分析、信息挖掘、治理成效评价等功能于一体，实现了小流域信息的全息化描述和一体化管理。系统采用C／S（客户机／月艮务器）结构模式，基于Oracle和ArcSDE实现空间数据和非空间数据存储管理。在数据库服务基础上，客户端系统以ArcGIS Desktop产品ArcMap为开发平台，采用COM组件技术ArcObject，以MS Visual Basic for Applications（VBA）来实现。     

基于可重构的星载数据处理系统结构研究

通过分析当前星栽计算系统(OBCS)在性能、可靠性和成本上面临的挑战,指出可重构计算技术能很好地解决OBCS海量数据处理问题.给出当前OBCS的一个总体结构,提出了一个基于LEON2处理器核的可重构星载计算系统结构.通过比较几种典型的OBCS的数据处理能力,结果表明以LEON2为协处理器的可重构星载计算系统在处理海量数据方面有着较好的性能.     

大数据背景下的信号处理

宽带信号、高维信号、高分辨信号以及多传感器组网技术的快速发展，使得信号采集数据增长率高于数据存储增长率和信号处理速度增长率，信号处理进入了大数据时代．本文指出了大数据背景下的信号处理的关键问题．对于多传感器组网具有的多样性和复杂性的海量信号数据，必须进行信息融合．本文介绍了信号融合的主要模型方法，分析了信息融合技术的发展趋势．智能传感网技术能降低对信号处理和通信容量的要求，有效地在大数据中提取有价值数据．本文给出了智能传感器的基本结构，阐述了智能传感器的计算方法．结合大数据容量信号对高速实时处理的要求，介绍了高速数字信号处理芯片以及高性能硬件平台发展现状，展望了高速信号处理核心技术的发展动向．     

基于GeoDatabase面向对象的地图注记库设计与研究

地图注记是描述地图属性信息最主要的手段之一,面向对象的方法开辟了观察、分析和显示数据的新形式.基于ArcGIS最新一代面向对象的GeoDatabase数据模型,文章提出了面向对象地图注记库的概念.通过创建地图注记库可以对地图注记尤其"海量"注记数据进行便捷高效的显示、编辑和管理.GeoDatabase地图注记库的统一性规范存储和面向对象操作增强了地图注记的复用性,并能大幅提高了数字地图的显示速度和地图编制的效率,在大规模地形图制图以及地图集编制工作中将节省大量物力和人力.     

OWL2QL存储与应用

通过对OWL2语法结构和推理方式的分析,提出OWL2基本元素和公理在关系数据库中的存储结构和推理实现方式.将部分推理结果在数据库中进行存储,提高了本体存储和推理的效率,并能对大规模的本体进行存储.通过构建知识管理平台验证了该存储方式的有效性.     

基于HJ-1B卫星的作物秸秆提取及其焚烧火点判定模式

作物秸秆焚烧产生的气体和颗粒物严重污染大气环境,威胁人类健康,给交通带安全带来隐患,利用遥感技术优势监管秸秆焚烧火点具有重要的现实意义.文中基于HJ-1B卫星CCD多光谱遥感数据和IRS热红外遥感数据,以中国江苏中东部为研究区,开展作物秸秆提取及其焚烧火点判定的一体化研究.根据秸秆的光谱特征研究建立了秸秆乘积指数(SMI),结合其纹理信息可从HJ-1BCCD遥感图像上快速有效的提取出秸秆分布,继之结合修正后的火点探测算法可对HJ-1BIRS遥感数据进行火点提取.在秸秆分布和火点探测结果矢量化的基础上,通过GIS技术进行火点叠置分析,可有效地判定作物秸秆火点分布,同时结合实地调研及与MODIS火点产品比对分析验证评价了本研究方法的可行性和有效性.     

使计算机更强大的磁存储设备突破

科学家已经开发了新的自旋电子设备，为开发下一代更强大的且能永久存储数据的芯片指明了道路。     

全球水遥感技术及其应用研究的综述与展望

星基遥感技术在获取时空复杂多变的水信息方面具有独特的优势,如TRMM/GPM,SMAP,GRACE,SWOT,GRACE-II,PATH,TERRA,AQUA,以及国内的风云系列等环境卫星提供了前所未有的全球遥感水文大数据.为了进一步促进遥感技术在水循环研究和水资源管理中的应用,促进学科交叉和系统集成研究,本文系统综述国际前沿的全球水循环遥感卫星技术、遥感参数反演及其在水文中的潜在应用等,重点介绍降水、土壤湿度、蒸散、地下水、水面高程、冰川、云和大气水等遥感技术,同时探讨全球水循环观测卫星的研发和功能,分析数据同化、遥感反演参数不确定性方面的技术瓶颈及未来展望.     

遥感信息的定量化

系统阐述了遥感信息定量化的含义,分析了遥感定量化发展的必然性及应用指标要求,指出了遥感定量化研究的重要作用.以CBERS-02星数据定量化遥感应用研究为例,论述了"遥感数字信号-辐射信息-地表参数信息反演"的整个定量化体系.最后展望了我国定量化遥感的发展趋势.     

多源异构感知数据融合方法及其在目标定位跟踪中的应用

物联网的全面感知产生了海量的感知数据,并且感知数据呈现为显著的多源异构性.因此,如何实现海量多源异构感知数据的智能处理是一个具有挑战性的课题.数据融合是处理多模态数据并挖掘提取有价值信息的有效手段,但针对多源异构数据,特别是非结构化的视频多媒体信息,如何实现高效的融合计算还面临许多问题需要解决.本文针对物联网多源异构感知信息的处理问题,提出多层次的多源异构数据融合方法,并以基于无线信号、视频和深度感知数据的目标定位跟踪应用为切入点,重点研究多源异构数据的处理、特征表示和数据融合方法.根据不同类型数据的特性采用不同的数据融合方法,通过挖掘无线信号、视频和深度等多源异构数据内在的关联性,实现多源异构数据有价值信息的有效利用.实际复杂场景的实验表明,本文提出的基于多源异构数据融合的目标跟踪和定位方法,能够解决传统依赖单源同质数据的目标跟踪方法所面临的光照变化和遮挡交错等难点问题,并且可以获得较为准确的运动目标三维位置,具有良好的跟踪定位效果.     

CBERS-02卫星CCD相机资料定量化反演水体成分初探

采用定量化水色反演方法, 在现场测量数据的基础上, 针对CBERS-02 CCD波段, 建立了水体成分反演算法. 利用已校准的CCD辐亮度数据, 针对不同的海区, 采取了邻近清洁水体点和同日MODIS气溶胶参数的大气校正方法得到了水体定量化遥感的基本参数遥感反射比. 利用遥感反射比和所建立的反演算法, 获得了水体悬浮泥沙、叶绿素浓度分布. 悬浮泥沙的反演结果比较满意, 而叶绿素的结果不够理想, 因为遥感器的波段较宽和信噪比较低.