基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题, 提出了一种基于非关系型（NoSQL： Not only SQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表, 通过C#语言编写测试程序, 与SQL Server在地学大数据的存储、 查询等方面进行了性能对比。结果表明, 与传统关系型数据库相比, NoSQL数据库的增、 删和查询耗时明显降低, 尤其是针对海量的非结构化、 半结构化数据, 其性能优势更加明显。     

关系数据库中无模式数据存取实现方法

关系型数据库较好的满足了企业级管理面向事务处理的数据一致性要求,但目前越来越多的Web2.0应用使得大量强调高并发下高效存取的非结构化数据出现。对于处理关系型数据库与NoSQL模式的融合和扩展问题,该文提出了在传统关系型数据库数据存取过程中,将数据及存取命令重新解构,使数据存取分为模式和无模式两种方式分别进行处理的思想,从而解决了数据一致性和高效存取的矛盾。最后,在同一MySQL数据库中对相同数据分别进行模式和无模式环境下并发海量数据插入、查询等操作,测试结果证明了此方法的确有比关系型数据更高的存取效率。     

基于NoSQL的海量出租车GPS数据Web服务研究

【目的】针对传统关系型数据库扩展性差、存取效率低等问题,提出一种基于非关系型数据库(NoSQL)的海量出租车GPS数据Web服务方案,满足海量空间数据高效存储管理与实时在线服务的需求。【方法】利用MongoDB地理空间索引实现基于位置的查询,基于Node.js技术提供Web service服务,采用Express MVC框架构建Web应用。【结果】与MySQL Spatial相比,MongoDB在区域查询方面具有较高的查询效率,数据量多时,其性能尤为显著。【结论】基于NoSQL的出租车GPS数据Web服务方案可以支持海量位置数据的实时查询与地图显示,具有一定的应用参考价值。     

NoSQL的分析与研究

大数据的存储与管理已经不能够使用传统的关系型数据库,NoSQL应运而生,它针对关系型数据库不能解决的问题,有效地管理大数据,该文对NoSQL进行了详细的介绍,并对它的优点和缺点进行了详尽的分析与阐述.     

体育场馆空间信息云存储与服务技术研究

基于移动互联网的体育场馆管理与服务应用平台中需要海量的空间信息数据作为支撑.空间信息中包括海量的非关系型数据,传统的关系型数据库显然无法满足海量空间信息存储与服务的需要,而基于云计算的非关系型数据库与分布式文件系统却是有效的解决办法.针对体育场馆空间信息不同的数据形式,分别采用了不同的数据模型,同时为了提高数据的存储与服务性能,采用了集群技术.文章提出的体育场馆空间信息的存储与服务解决方案为体育场馆智能化管理与服务提供了有力的技术支撑.     

基于云计算的WAP日志处理和用户上网行为分析

在移动互联网迅猛发展的时代,电信运营商对用户上网日志等非结构化数据的处理、分析和挖掘变得尤为重要,传统的基于小型机和关系型数据库的数据处理系统已经无法满足海量非结构化数据的及时处理需求,相对传统做法,搭建X86集群、利用云计算技术对海量非结构化数据进行处理,具有高效、低成本、易扩展等方面的巨大优势。另外,用户上网日志中包含着大量的个性化信息,如何充分挖掘和分析这些信息,对电信运营商在移动互联时代实现精细化运营至关重要。该论文主要以用户WAP日志为例,详细阐述如何利用云计算技术处理海量的非结构化数据,进而去挖掘和分析用户上网行为。     

NOSQL和可扩展的SQL

随着互联网的发展,数据规模的不断扩大,对访问量,访问速度的越来越高的要求,NoSQL作为一种数据存储方式,得到越来越广泛的关注和应用,对传统的占据数据库市场主导地位近三十年的SQL数据库,也就是关系型数据库提出了极大的挑战。本文对现有的NoSQL数据存储技术的数据模型,技术发展和应用,以及SQL数据库发展的趋势和现状进行了综述,提出SQL和NoSQL在数据库市场中会根据系统的要求,主要是多版本并发控制,扩展性,一致性和速度要求等的不同而划分数据库市场。     

应用NoSQL数据库解决方案的思考

自2009年起,NoSQL运动如火如荼的展开,吸引了许多数据库领域巨头加入新一轮数据库革命。互联网巨头们纷纷在No SQL产品的研发和应用中投入大量精力,诞生了许多应用NoSQL数据库的成功案例。这也激励更多人积极投入其研究与应用的潮流中。尽管有许多NoSQL的应用教程,但如何将NoSQL数据库与现有应用融合在一起,仍是架构师必需考虑的技术难题。     

浅谈TRIP数据库系统的特点及应用

关系型数据库(RDBS)和文本数据库(TDBS)是目前应用最为广泛的数据库管理系统.前者适用于那些能用表格处理的或不太长的数据;后者擅长处理那些规格不一,结构不定、类型各异、长度参差的所谓非规范数据.TRIP就是专为处理这类非规范数据而研发的软件系统.更具体的说,TRIP是一种具有快速查找功能的信息档案管理系统,它因具有不限记录长短、不拘字段个数并能快速存取海量数据的特点,以及运行稳定、易于使用和能够存储各种类型数据等方面的优异功能,20多年前已享誉欧、美.但因时机等原因不像关系型数据库这类结构化的表格系统那样普及.它最适用于在互联网或内部网上管理、检索、出版像法律法规、技术档案、报刊杂志、办公文档、图书情报资料等文字数据,以及图片、语音、视像等多媒体数据.TRIP系统也同样擅长处理像数值(实数、虚数)、日期、时间等关系型数据库所擅长处理的规格化数据.     

面向时序大数据的数据库性能研究

在大数据背景下,物联网技术的广泛应用产生了大量的时序数据。如何合理选择最适合的数据库来存储时序大数据是一个重要的研究内容。然而现有的数据库性能对比研究没有考虑数据的具体应用场景,缺乏特定场景下的性能对比实验。为了在存储时序大数据时能够从不同存储结构的数据库中选择最适合当前场景的数据库,文章对关系型数据库、本地NoSQL数据库以及公有云NoSQL数据库在燃气大数据的应用场景下进行了定量定性的实验与分析。实验结果表明,相比于关系型数据库,NoSQL数据库更加适合存储时序大数据。然后,进一步提出了针对不同应用场景下时序大数据的数据库选型建议。     

浅析NoSQL数据库

NoSQL数据库打破了传统的关系模型,以一种模式自由的方式存储数据,提供了新型的访问接口,并克服了传统RDBMS的缺点。NoSQL数据库可部署在廉价的硬件之上,支持分布式存储,能透明地扩展节点。本文介绍了NoSQL数据库的基本特点与设计思想,列举了几种流行的NoSQL数据库产品,分析了其应用方向、优缺点及发展前景。     

基于BSON文档树的NoSQL数据库与关系数据库双向映射算法研究

分析了BSON文档的结构,通过比较类似结构的映射方法,给出了BSON文档树的概念和结构,并提出NoSQL数据库文档到关系数据库的映射策略,在此基础上建立了BSON文档模式和关系模式之间的双向映射模型,并给出了双向映射算法.     

基于XML的信息发布与检索模型

互联网应用广泛,Web上数据库信息发布和检索量迅速增加,而传统的数据模式不能满足Web的需求.为此,针对XML的优点,结合关系数据库的成熟技术,将XML数据模型映射到关系数据模型;此外,研究了存储策略及查询方式,提出了基于这种存储和查询方式下的Web信息发布和搜索模型.实践结果表明,该模型统一了存储和查询方式,实现了互联网上资源的统一,较好地解决了目前web检索结果准确性和相关性不高的问题.     

采用多叉树模型数据迁移算法的设计与实现

针对目前传统关系型数据库中的历史数据向非关系型数据库迁移的低效率问题,提出利用多叉树模型对历史数据存储模式进行重构.基于4种模式迁移规则对各表节点之间的关联关系进行分析,推导算法完成传统关系型数据库中存储模式和历史数据的自动化迁移.该算法不受源数据库存储模式的限制,具有一定的通用性.数据迁移实验表明:在查询性能上,基于多叉树的迁移算法比官方迁移工具Sqoop有较大的提高.     

基于Oracle和Arcsde分布式空间数据库的设计与建立

目的 针对当前以传统件形式管理、存储大数据量空间数据的不足．设计出空间数据库建设的总体方案和技术路线，使空间数据和属性数据统一存储在面向对象的关系型数据库(Oracle8i)中，以实现统一、高效的数据管理。方法 应用GIS技术、数据库技术和COM编程技术进行空间数据库设计与建设。结果 建立了空间基础地理信息数据示范库，现已试运行。结论 所设计的空间数据库总体框架结构合理，技术路线正确，可行性强。     

浅析XML文档到关系数据库中的映射

XML已经成为了互联网上数据表示和数据交换的标准格式。为了存储日益增多的XML数据,把XML文档存储到关系数据库是目前常用的有效手段。由于XML模式与关系数据库模式的异构性,XM文档存储到关系模式需要进行映射,在此结合实例介绍了XML文档与关系模式之间的映射方法,并对结果进行了分析。     

谈基于分布式数据库的查询优化处理算法

分布式数据库是数据库技术与网络技术相结合的产物，是数据库领域中一个重要的分支。随着传统的数据库技术日趋成熟，计算机网络技术的飞速发展和应用范围的扩大，以分布式为主要特征的数据库系统的研究受到人们的关注。研究了基于分布式数据库的查询优化处理算法，并在文章结尾谈到了关于SQL语句的优化。     

UML中的类模式在关系数据库中的映射及其实现

针对UML(统一建模语言)中的类模式向关系数据库数据模式的转换过程,提出了一整套分析方法,包括类图到表的映射策略以及类图之间的几种关系在关系数据库中的实现,从而将UML技术与关系数据库技术相结合,方便了数据库设计。