大数据挑战下的NoSQL系统研究

NoSQL技术作为大数据应用领域新的解决方案,在海量数据的获取、存储、管理和分析方面展现出令人瞩目的性能.本文首先总结了大数据的特征、影响和应用价值,提出了它对数据管理的要求;然后对NoSQL系统采用的独特技术和带来的显著优势进行了分析;用分类和统一的观点重点研究了各类NoSQL系统,在系统架构、数据模型、查询语言、扩展性及可用性等方面对它们进行了比较,以便根据给定的不同应用场景来选择和设计最合适的系统;最后展望了未来的研究前景.     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题, 提出了一种基于非关系型（NoSQL： Not only SQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表, 通过C#语言编写测试程序, 与SQL Server在地学大数据的存储、 查询等方面进行了性能对比。结果表明, 与传统关系型数据库相比, NoSQL数据库的增、 删和查询耗时明显降低, 尤其是针对海量的非结构化、 半结构化数据, 其性能优势更加明显。     

NoSQL的分析与研究

大数据的存储与管理已经不能够使用传统的关系型数据库,NoSQL应运而生,它针对关系型数据库不能解决的问题,有效地管理大数据,该文对NoSQL进行了详细的介绍,并对它的优点和缺点进行了详尽的分析与阐述.     

园区电力数据可视分析系统

将可视化分析技术应用于电力系统可以有效地解决电力系统发展带来的海量数据分析及显示等问题。文章介绍了数据可视化技术在电力系统中的研究和应用,针对电网企业数据和已有的分析手段,并结合园区电力系统分析需求提出一种支持用户交互式探索的可视分析系统框架;基于此提出了园区电力数据可视分析原型系统,支持在浏览器中或其他显示和交互设备上使用。案例分析表明,该系统可以全方面地展现园区内的供用电数据以及资源建设等信息,帮助供电部门综合多种电力数据进行分析。     

并行化的Apriori算法在海量医疗文档数据挖掘中的应用及优化?

针对海量医疗文档数据中巨大潜在价值难以有效挖掘的现状,构建了基于NoSQL和MapReduce的存储与挖掘系统MSPM.通过以键值对形式存储,使复杂异构的医疗文档数据归结为统一的且适于被经典Apriori算法利用的事务数据格式,并通过挖掘MapReduce过程化,一次性全局扫描和兴趣集规约计数等优化策略,有效解决了Apriori算法在医疗大数据应用中开销大、执行速度慢和有效性差的问题.     

云计算环境下煤矿应急管理海量数据存储技术

随着物联网、无线传感器网络等技术在煤矿应急管理信息化建设中的广泛应用,煤矿大量监测、控制及自动化等实时系统产生的流式数据会形成相当规模的数据集,对煤矿企业现有信息系统构架的海量数据存储及处理性能提出了更大的挑战。为了研究应对此挑战的海量数据存储技术,通过分析煤矿应急管理海量数据的来源及其特点,设计了云计算环境下基于NoSQL的煤矿应急管理海量数据存储方式,并对煤矿应急云平台进行了Hadoop基准测试,同时利用陕西黄陵矿业集团一号矿井某段周期内的瓦斯数据,对煤矿应急云平台和DBMS系统的处理性能进行对比。实验结果表明,基于Hadoop构建的煤矿应急云平台在海量数据存储与处理时均有良好的性能表现。     

面向时序大数据的数据库性能研究

在大数据背景下,物联网技术的广泛应用产生了大量的时序数据。如何合理选择最适合的数据库来存储时序大数据是一个重要的研究内容。然而现有的数据库性能对比研究没有考虑数据的具体应用场景,缺乏特定场景下的性能对比实验。为了在存储时序大数据时能够从不同存储结构的数据库中选择最适合当前场景的数据库,文章对关系型数据库、本地NoSQL数据库以及公有云NoSQL数据库在燃气大数据的应用场景下进行了定量定性的实验与分析。实验结果表明,相比于关系型数据库,NoSQL数据库更加适合存储时序大数据。然后,进一步提出了针对不同应用场景下时序大数据的数据库选型建议。     

基于RDF的海量语义数据管理研究

随着Web信息呈指数级增加,目前存储模式已难以适应大规模RDF数据高效存储的需求。本文通过对语义万维网结构以及RDF语义文件存储和查询技术的研究,分析了海量语义数据管理的研究领域和现状,提出了基于RDF的海量数据管理框架。该框架旨在实现对海量数据的管理,以解决RDF数据管理中存在存储设计难度大,查询处理复杂且效率低,查询结果排序困难的问题。     

基于NoSQL的海量出租车GPS数据Web服务研究

【目的】针对传统关系型数据库扩展性差、存取效率低等问题,提出一种基于非关系型数据库(NoSQL)的海量出租车GPS数据Web服务方案,满足海量空间数据高效存储管理与实时在线服务的需求。【方法】利用MongoDB地理空间索引实现基于位置的查询,基于Node.js技术提供Web service服务,采用Express MVC框架构建Web应用。【结果】与MySQL Spatial相比,MongoDB在区域查询方面具有较高的查询效率,数据量多时,其性能尤为显著。【结论】基于NoSQL的出租车GPS数据Web服务方案可以支持海量位置数据的实时查询与地图显示,具有一定的应用参考价值。     

《基于数据挖掘的短期负荷预测研究》

本文对电力负荷预测的研究主要运用了数据挖掘中的聚类分析。构架了一种基于CURE聚类算法的电力负荷预测模型,对短期电力负荷数据进行有效的预测。并通过海量数据存储,数据挖掘和决策信息的支持,可有效地克服数据有限性,不完整性及影响因素复杂性对预测结果的影响,发挥独特优势、实现经济价值。     

基于数据挖掘的智能化电力负荷预测

本文对电力负荷预测的研究主要运用了数据挖掘中的聚类分析法,建立了预测算法与预测模型相分离的通用算法库,实现了负荷预测的智能化.通过海量数据存储,数据挖掘和决策信息的支持,可有效地克服数据有限性、不完整性及影响因素复杂性对预测结果的影响,发挥独特优势,实现经济价值.     

大数据背景下的电力信息化智能管控平台设计

<正>以大数据为基础的电力信息化智能管控平台的设计目的是,全面提升电力信息服务平台的大数据流处理能力。电力信息化智能管控平台通过专用网络来有效连接区域电力运行设备,进而实现数据信息的接收、解析、存储以及指令的下发等。电力信息化智能管控平台是电网智能化时代电力系统发展的主要趋势。本文基于大数据背景对电力系统中的电力信息化智能管控平台展开设计。     

基于电子商务平台的NoSQL解决方案应用研究

电子商务和社交网络迅速兴起,在带来巨大商机的同时,也引起了非结构化的面向信息的数据大爆炸。盛行多年的关系数据库不再适用于这些繁杂的不受控数据。从09年开始,NoSQL运动在各大社交网络和新兴公司间展开。如何将NoSQL和电子商务平台融合在一起,从而取得经济价值,成为IT界目前最关注的议题。本文探究如何使用现有的技术和资源进行伸缩性和可维护性的管理和开发,为电子商务平台在NoSQL运动中获益提供新的思路,使网站在充分利用现有资源和技术的情况下充分发挥数据存储和检索的极限。     

NoSQL数据库技术在移动互联网中的应用

对于规模不断扩大的SNS类型网站,传统的关系型数据库已经无法高效处理日趋增多的移动终端用户对此类超大规模和高并发网站中数据访问与处理的海量需求.现提出一种使用新型NoSQL数据库代替传统关系型数据库来实现海量数据动态管理,并通过Web向移动互联网用户提供高效服务的系统.实验证明,NoSQL数据库技术在移动互联网应用中有着明显的优势与广阔的应用前景.     

大数据云存储下海量数据传输完整度控制技术

为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。     

浅析NoSQL数据库

NoSQL数据库打破了传统的关系模型,以一种模式自由的方式存储数据,提供了新型的访问接口,并克服了传统RDBMS的缺点。NoSQL数据库可部署在廉价的硬件之上,支持分布式存储,能透明地扩展节点。本文介绍了NoSQL数据库的基本特点与设计思想,列举了几种流行的NoSQL数据库产品,分析了其应用方向、优缺点及发展前景。     

基于ILM海量存储的应用研究

随着存储技术的发展,海量存储已经越来越普遍。如何管理并使用好这些海量信息,成为海量存储面临的一个新的问题。鉴于数据都有自己的生命周期,引入ILM(信息生命周期管理)的海量存储模式,试图找寻能够解决海量存储中降低成本,保持数据完整性,提高数据使用率的一种方式。     

基于云计算的数据存储技术研究

以云计算环境下大数据存储技术为研究对象,首先介绍了云计算环境下主要的两种典型的分布式存储系统,即Googk的GFS和Hadoop的HDFS;对其中的数据存储技术进行了专门分析,从可扩展性和延迟性（如何支持海量小文件的存储）、容错性（在数据丢失时进行数据恢复）和海量数据存储的实时性这3个方面对现有技术进行了评价.在此基础上,提出了分布式文件系统的系统架构.最后给出了研究展望.     

分布式环境下业务模型的数据存储及访问框架

构造业务模型以支持应用系统开发是基于模型驱动架构实现云服务系统快速开发及有效运维的重要途径。然而,云平台下的海量异构模型的统一管理并不容易。该文提出一个分布式环境下的业务模型数据存储访问框架,以支持业务建模、服务转换、服务配置、服务部署、服务监控等服务生命周期。将关系数据库及NoSQL数据库结合以存储和管理结构化数据;采用基于Hadoop构建的文件库以实现非结构化的业务模型管理,从而构造一个综合的数据管理模型,实现了业务模型统一存储和管理;并根据业务模型中的资源描述,生成相应RESTful服务供应用系统调用;构建一个基于云平台的业务模型库软件平台以开展应用验证。结果表明:该框架不仅对云服务应用系统提供了高效的数据存储访问方式,也降低了应用服务的开发及维护成本,具有较高工程价值。     

基于面向对象的大数据存储模型研究

随着大数据存储需求的不断扩大,网络存储技术面临如何存储并管理海量数据的问题.通过对现有各种大数据存储模型进行了对比分析,针对现有存储模型存储的局限性和大数据存储的特点,提出了一种基于数据特征的面向对象存储思想.采用虚拟类技术设计并实现了一种基于面向对象的大数据存储模型.在仿真环境中,对该模型的分类关键模块与非结构化数据存储性能进行了测试与分析,实验结果表明该模型分类模块误差较小,读写效率较高,而且随着数据的增大,非结构化存储性能保持稳定.