基于NoSQL的电力系统大数据管理

在大数据时代,针对大数据管理的需求,根据大数据的特点和支持大数据管理系统的特定性,电力系统也要在数据存储、数据访问、数据分析等方面进行相适应地管理,针对海量数据,采用NoSQL存储系统支持海量电力信息数据的存储和柔性管理.其中,介绍相关前沿研究和研究挑战,支持电力信息数据的体系结构,基于NoSQL的大数据管理,进而为电力系统未来发展趋势提供分析与预测.     

NoSQL的分析与研究

大数据的存储与管理已经不能够使用传统的关系型数据库,NoSQL应运而生,它针对关系型数据库不能解决的问题,有效地管理大数据,该文对NoSQL进行了详细的介绍,并对它的优点和缺点进行了详尽的分析与阐述.     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题, 提出了一种基于非关系型（NoSQL： Not only SQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表, 通过C#语言编写测试程序, 与SQL Server在地学大数据的存储、 查询等方面进行了性能对比。结果表明, 与传统关系型数据库相比, NoSQL数据库的增、 删和查询耗时明显降低, 尤其是针对海量的非结构化、 半结构化数据, 其性能优势更加明显。     

浅析NoSQL数据库

NoSQL数据库打破了传统的关系模型,以一种模式自由的方式存储数据,提供了新型的访问接口,并克服了传统RDBMS的缺点。NoSQL数据库可部署在廉价的硬件之上,支持分布式存储,能透明地扩展节点。本文介绍了NoSQL数据库的基本特点与设计思想,列举了几种流行的NoSQL数据库产品,分析了其应用方向、优缺点及发展前景。     

复杂属性环境下NoSQL分布式大数据挖掘方法研究

由于复杂属性环境下的大数据挖掘工作需要涉及到对大数据的分析、清理、转换和集成等一系列操作,导致以往提出的复杂属性环境下大数据挖掘方法无法同时拥有较强的准确性、稳定性和实用性,故提出复杂属性环境下NoSQL分布式大数据挖掘方法。所提方法利用NoSQL数据库的物理分散逻辑,在复杂属性环境下构建NoS QL数据库,给出挖掘条件,对数据库中大数据的特征、位置、方向和长度属性的关联性进行分布式挖掘,经由挖掘公式给出挖掘结果。利用挖掘聚类公式对大数据的特征、位置、方向和长度属性的关联性挖掘结果进行聚类,获取所提方法的最终挖掘结果。经实验分析可知,所提方法在挖掘工作中具有较强的准确性、稳定性和实用性。     

科学研究大数据挑战

现代科学研究的一个重要模式就是大科学项目,其特点是大科学装置和合作,并产生海量的科研数据.数据密集型的大科学项目对数据的采集、存储、分发和处理有着巨大的需求.本文以大科学项目为案例讨论了科研大数据在数据采集、处理、存储以及网络等方面的挑战,以及相应的应对方法.其中,国际上的高能物理实验每年产生数十拍字节(PB)的数据,这些数据需要妥善地记录和保存下来,并高效地分发到世界各地进行分析处理.高能物理学家基于网格技术合作建立了大数据处理的WLCG网格平台,该平台成功地支持了大型强子对撞机实验数据的处理和分析,同时也支持了其他大科学项目,取得很好的效果.另外,为了解决对数据的高效存储和访问,新的存储技术和网络技术,如软件定义网络和云存储等,被开发应用到科学大数据中.最后还介绍了云计算技术在科研大数据中的应用.     

大数据软件产品研发进展及挑战

大数据技术的蓬勃发展催生了丰富的大数据应用,当今各种大数据产品形成的复杂的生态系统。从数据的存储和分析两个角度概述了大数据产品的核心技术,结合权威评测机构的结果,分析了国内市场上大数据产品的现状。未来中国大数据产品研发在开源社区的参与度、复合型人才培养、产品细分和跨学科协同创新上还需进一步努力。     

面向时序大数据的数据库性能研究

在大数据背景下,物联网技术的广泛应用产生了大量的时序数据。如何合理选择最适合的数据库来存储时序大数据是一个重要的研究内容。然而现有的数据库性能对比研究没有考虑数据的具体应用场景,缺乏特定场景下的性能对比实验。为了在存储时序大数据时能够从不同存储结构的数据库中选择最适合当前场景的数据库,文章对关系型数据库、本地NoSQL数据库以及公有云NoSQL数据库在燃气大数据的应用场景下进行了定量定性的实验与分析。实验结果表明,相比于关系型数据库,NoSQL数据库更加适合存储时序大数据。然后,进一步提出了针对不同应用场景下时序大数据的数据库选型建议。     

应用NoSQL数据库解决方案的思考

自2009年起,NoSQL运动如火如荼的展开,吸引了许多数据库领域巨头加入新一轮数据库革命。互联网巨头们纷纷在No SQL产品的研发和应用中投入大量精力,诞生了许多应用NoSQL数据库的成功案例。这也激励更多人积极投入其研究与应用的潮流中。尽管有许多NoSQL的应用教程,但如何将NoSQL数据库与现有应用融合在一起,仍是架构师必需考虑的技术难题。     

基于电子商务平台的NoSQL解决方案应用研究

电子商务和社交网络迅速兴起,在带来巨大商机的同时,也引起了非结构化的面向信息的数据大爆炸。盛行多年的关系数据库不再适用于这些繁杂的不受控数据。从09年开始,NoSQL运动在各大社交网络和新兴公司间展开。如何将NoSQL和电子商务平台融合在一起,从而取得经济价值,成为IT界目前最关注的议题。本文探究如何使用现有的技术和资源进行伸缩性和可维护性的管理和开发,为电子商务平台在NoSQL运动中获益提供新的思路,使网站在充分利用现有资源和技术的情况下充分发挥数据存储和检索的极限。     

NoSQL数据库技术在移动互联网中的应用

对于规模不断扩大的SNS类型网站,传统的关系型数据库已经无法高效处理日趋增多的移动终端用户对此类超大规模和高并发网站中数据访问与处理的海量需求.现提出一种使用新型NoSQL数据库代替传统关系型数据库来实现海量数据动态管理,并通过Web向移动互联网用户提供高效服务的系统.实验证明,NoSQL数据库技术在移动互联网应用中有着明显的优势与广阔的应用前景.     

大数据云存储下海量数据传输完整度控制技术

为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。     

大数据背景下图书馆数字化发展探析

大数据的出现和发展,对包括图书馆行业在内的各行各业产生了巨大的影响.大数据在推进图书馆事业发展的同时,也给图书馆事业带来了根本性的变革. 阐述了大数据背景下图书馆工作流程和模式的构建,探讨了大数据背景下图书馆的发展对策.     

档案管理在大数据背景下面临的挑战及对策分析

随着时代的进步,云计算,物联网已经给IT产业带来了巨大变化,大数据的到来更是会产生颠覆性的大变革,大到国家治理方式,小到企业管理模式、业务、组织流程,乃至个人的生活都将被大数据深深地影响着。这就意味着大数据已经来临,那么作为举足轻重的档案管理也将深受大数据的影响,发生着与时俱进的变化。就目前来说档案管理中还面临这一系列的挑战,本文主要针对档案管理在大数据背景下面临的挑战及其对策进行分析。     

大数据时代科技期刊数字化研究

随着目前网络技术的深度应用,海量数据产生,“大数据”成为近期各界关注的焦点和热点。科技期刊数字化是期刊发展的大方向,如何适应大数据环境也成为了科技期刊界的焦点问题。在总结数字出版和大数据的特点上,分析了针对科技期刊大数据存储、处理、分析等一方面关键技术的研究。     

大数据时代行政职能的创新及挑战

随着云计算等新信息技术的广泛应用,互联网经济、移动互联、电子商务等新兴应用领域,数据量正以几何级数的速度增长,行政职能部门同样不可避免的面临着大数据。本文分析了未来政府职能的几个大数据主要来源,及相关特点,再结合行政职能部门服务及信息化建设现状,重点探讨了大数据将会给行政职能部门带来的哪些挑战与机遇,分析行政职能部门利用大数据能够解决的公共治理难题。