云计算环境下的大数据存储与处理优化策略分析

本文分析了云计算环境下的大数据存储与处理优化的策略,优化大数据存储可以提高性能、降低成本、提升可扩展性。通过对云计算和大数据技术的融合趋势,以及现有挑战和问题,深入阐述了存储优化策略、数据分区、压缩、副本管理等,以降低存储成本。通过案例研究和实验结果,验证了这些策略的有效性。     

基于RDF的海量语义数据管理研究

随着Web信息呈指数级增加,目前存储模式已难以适应大规模RDF数据高效存储的需求。本文通过对语义万维网结构以及RDF语义文件存储和查询技术的研究,分析了海量语义数据管理的研究领域和现状,提出了基于RDF的海量数据管理框架。该框架旨在实现对海量数据的管理,以解决RDF数据管理中存在存储设计难度大,查询处理复杂且效率低,查询结果排序困难的问题。     

智能电网大数据处理技术现状与挑战

电网在运行、检修和管理时产生大量数据,将它们进行高效、可靠、简易的存储、访问和解析作为研究方向。笔者解析了发电、输变电、用电等环节中大数据特点,详述了应对智能电网建设大数据处理技术的优劣。从智能电网大数据的实时处理、异构、存储方面来观测数据,综述智能电网大数据带来的挑战。     

面向海洋观测的Cyberinfrastructure原型

针对海底观测网建设过程中的多源异构数据集成、海量数据处理和科研协同工作等问题,构建了一个面向海洋观测的赛百平台(Cyberinfrastructure,CI)。通过整合底层分布式的计算、存储、数据、传感器等资源和设备,面向顶层特定的科研用户提供基于网络环境的高效计算服务、海量数据服务、科研应用服务等。通过集成科学工作流,开发数据分析模块,实现对海量观测数据的处理。运用虚拟组织技术,实现了基于网络的科研协同工作。实验结果表明:该系统可以显著提高海洋科研人员的工作效率。     

科学研究大数据挑战

现代科学研究的一个重要模式就是大科学项目,其特点是大科学装置和合作,并产生海量的科研数据.数据密集型的大科学项目对数据的采集、存储、分发和处理有着巨大的需求.本文以大科学项目为案例讨论了科研大数据在数据采集、处理、存储以及网络等方面的挑战,以及相应的应对方法.其中,国际上的高能物理实验每年产生数十拍字节(PB)的数据,这些数据需要妥善地记录和保存下来,并高效地分发到世界各地进行分析处理.高能物理学家基于网格技术合作建立了大数据处理的WLCG网格平台,该平台成功地支持了大型强子对撞机实验数据的处理和分析,同时也支持了其他大科学项目,取得很好的效果.另外,为了解决对数据的高效存储和访问,新的存储技术和网络技术,如软件定义网络和云存储等,被开发应用到科学大数据中.最后还介绍了云计算技术在科研大数据中的应用.     

云存储数据缩减技术研究

基于云计算应用中的云存储技术,使数据存储变得安全可靠和易管理。在云存储技术数据存储的过程中,不仅考虑数据读写的速度,还得处理数据存储效率,以便满足当前海量信息存储的需求。云存储中的数据缩减技术可以缩减数据信息量,提高存储的效率,满足数据存储急剧的要求。通过对几种数据缩减技术进行比较研究分析,探讨了对数据处理后存储的效率以及每项技术发展状况,为用户选择云存储数据缩减技术提供有力的参考。     

基于面向对象的大数据存储模型研究

随着大数据存储需求的不断扩大,网络存储技术面临如何存储并管理海量数据的问题.通过对现有各种大数据存储模型进行了对比分析,针对现有存储模型存储的局限性和大数据存储的特点,提出了一种基于数据特征的面向对象存储思想.采用虚拟类技术设计并实现了一种基于面向对象的大数据存储模型.在仿真环境中,对该模型的分类关键模块与非结构化数据存储性能进行了测试与分析,实验结果表明该模型分类模块误差较小,读写效率较高,而且随着数据的增大,非结构化存储性能保持稳定.     

开源软件中的大数据管理技术

 随着谷歌文件系统和宽表结构为代表的技术打破依赖关系数据库管理海量数据的限制,以Apache Hadoop为代表的开源大数据管理系统软件新技术与系统不断涌现,并快速成熟应用。针对Apache开源社区中面向在线事务处理和在线分析处理场景的大数据管理软件,介绍了大数据管理中的数据存储、数据分区、副本机制、分布式协议等,并比较分析了分布式文件系统、键值库、时序数据库等典型分布式数据管理系统的优缺点。     

基于GIS技术的影像数据处理的理论与方法——以增城市为例

本课题以增城市为例,基于GIS技术对影像数据进行处理、管理、分析与更新等操作;并以矢量数据与影像数据统一存储为基础,实现对规划数据的管理功能。利用GIS技术对规划数据进行建库管理,可以为对数据的分析、查询、更新、管理工作带来很大的便利。     

基于专利数据的国防科技大数据构建及管理应用探讨

提出了基于专利数据构建一个国防科技大数据的应用体系,通过官方、商业、互联网及用户等渠道,获取与国防科技具体应用相关的专利数据及其扩展的技术、商业、法律等关联数据,并利用大数据技术进行存储、处理及分析,产生用于支持国防科技管理中情报分析、研发支持等具体应用的相关数据信息,为国防科技工作中的科学决策、研发、军民融合管理等提供支持。     

面向大数据应用挑战的超级计算机设计

在大数据时代, 大数据处理给面向高性能计算设计的超级计算机带来计算、存储、通信、编程等软硬件体系结构方面的挑战. 对此在分析目前主流学术界和工业界相关研究成果的基础上, 介绍了天河二号超级计算机系统针对大数据处理应用所采用的新型异构多态体系结构、自主定制高速互连网络、混合层次式存储系统、混合计算框架等多种优化措施, 为大数据时代的超级计算机设计提供有意义的参考.     

大数据时代的石油地震勘探系统与软件平台

 石油勘探开发精度的不断提高,促进了低频可控震源、宽频带、宽方位、高密度和高效采集技术的推广应用,石油地震勘探已进入了大数据时代,对质量监控、数据处理、数据安全存储和管理带来了新的挑战。本文分析了石油地震勘探大数据的特点,阐述了中国石化基于Hadoop分布式大数据处理系统研发的π-Frame地震数据处理解释软件平台基本构架,举例说明了该平台在石油地震勘探大数据中的应用,对其发展前景进行展望。     

大数据的长期归档存储研究

应对大数据的长期存储需求,对基于COTS的归档系统进行改进,采用云计算技术扩展系统对跨数据中心存储的支持,SVM和本体方法对归档数据的存取进行分类以提高数据访问存取效率,采用非固定单元的检错次序检错,调整多错误区域的条带以优化RAID系统的磁盘检错策略.     

全国林业资源数据集群存储技术研究

为解决全国大规模一体化林业资源管理, 设计了适用于全国林业资源数据的分布式空间数据存储系统。通过数据分块、 索引分级、 集群合并, 将各省和国家的林业资源数据集群在逻辑上合并成一个大数据集群。分布式空间数据存储系统的应用和全国数据集群的合并加快了数据处理速度, 统一了数据管理过程, 建立了全向的并发数据通道。为实现林业资源数据的全国一体化应用做了积极探索。     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题, 提出了一种基于非关系型（NoSQL： Not only SQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表, 通过C#语言编写测试程序, 与SQL Server在地学大数据的存储、 查询等方面进行了性能对比。结果表明, 与传统关系型数据库相比, NoSQL数据库的增、 删和查询耗时明显降低, 尤其是针对海量的非结构化、 半结构化数据, 其性能优势更加明显。     

基于HDFS的分布式文件系统

在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一.     

大数据与云计算

大数据（Big Data）这个概念近年来在越来越多的场合、被越来越多的人提及,并且经常和云计算联系在一起,云计算与大数据之间到底是什么关系成为热点话题。本专题报告包含以下四个方面内容：1.大数据的价值;2.大数据带来的挑战;3.大数据研究成果;4.云计算是大数据挖掘的主流方式。通过本报告阐述我们对大数据的理解,以及对大数据的价值的认识,探讨大数据处理与挖掘技术,论述以下观点：没有互联网就没有云计算模式,没有云计算模式就没有大数据处理技术,也就没有大数据挖掘技术。     

面向Hadoop的大数据取证研究

大数据解决方案的分布式架构、海量数据存储、内存数据存储等特点给针对Hadoop的电子数据取证带来了巨大的挑战。概述了传统计算机取证的流程、要点以及在大数据取证过程中的局限性。以Hadoop为例,从Hadoop取证生态系统角度介绍了大数据解决方案的架构,分析了大数据取证的数据源、方法、流程、工具等,为调查人员进行大数据调查取证时提供参考。     

大数据云存储下海量数据传输完整度控制技术

为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。