关系数据库中无模式数据存取实现方法

关系型数据库较好的满足了企业级管理面向事务处理的数据一致性要求,但目前越来越多的Web2.0应用使得大量强调高并发下高效存取的非结构化数据出现。对于处理关系型数据库与NoSQL模式的融合和扩展问题,该文提出了在传统关系型数据库数据存取过程中,将数据及存取命令重新解构,使数据存取分为模式和无模式两种方式分别进行处理的思想,从而解决了数据一致性和高效存取的矛盾。最后,在同一MySQL数据库中对相同数据分别进行模式和无模式环境下并发海量数据插入、查询等操作,测试结果证明了此方法的确有比关系型数据更高的存取效率。     

基于地质技术方法非结构化数据的文档检索研究

文章论述了地质调查技术方法非结构化数据在关系型数据库存储的基础上,进行文档检索技术与方案实现的研究,设计了一个针对多种格式文档进行处理的可扩展的应用服务框架,并在框架中实现对文档的全文和元数据的存储、索引和检索等服务。并对关系型数据库存储和检索非结构化数据的不足进行了分析,提出了以NoSQL数据库支撑地质调查技术方法非结构化数据存储检索的改进方向。     

基于NoSQL的海量出租车GPS数据Web服务研究

【目的】针对传统关系型数据库扩展性差、存取效率低等问题,提出一种基于非关系型数据库(NoSQL)的海量出租车GPS数据Web服务方案,满足海量空间数据高效存储管理与实时在线服务的需求。【方法】利用MongoDB地理空间索引实现基于位置的查询,基于Node.js技术提供Web service服务,采用Express MVC框架构建Web应用。【结果】与MySQL Spatial相比,MongoDB在区域查询方面具有较高的查询效率,数据量多时,其性能尤为显著。【结论】基于NoSQL的出租车GPS数据Web服务方案可以支持海量位置数据的实时查询与地图显示,具有一定的应用参考价值。     

NoSQL的分析与研究

大数据的存储与管理已经不能够使用传统的关系型数据库,NoSQL应运而生,它针对关系型数据库不能解决的问题,有效地管理大数据,该文对NoSQL进行了详细的介绍,并对它的优点和缺点进行了详尽的分析与阐述.     

基于数据库技术存在的问题提出改进措施

如今网络信息资源的激增,传统的关系型数据库管理系统在处理海量的非结构化和半结构化数据显得有些力不从心。例如查询效率上逐渐不能满足需求,而且建设和维护的成本高。介于此提出了一些技术上的改进措施,希望给数据库开发者提供参考。     

NOSQL和可扩展的SQL

随着互联网的发展,数据规模的不断扩大,对访问量,访问速度的越来越高的要求,NoSQL作为一种数据存储方式,得到越来越广泛的关注和应用,对传统的占据数据库市场主导地位近三十年的SQL数据库,也就是关系型数据库提出了极大的挑战。本文对现有的NoSQL数据存储技术的数据模型,技术发展和应用,以及SQL数据库发展的趋势和现状进行了综述,提出SQL和NoSQL在数据库市场中会根据系统的要求,主要是多版本并发控制,扩展性,一致性和速度要求等的不同而划分数据库市场。     

NoSQL数据库技术在移动互联网中的应用

对于规模不断扩大的SNS类型网站,传统的关系型数据库已经无法高效处理日趋增多的移动终端用户对此类超大规模和高并发网站中数据访问与处理的海量需求.现提出一种使用新型NoSQL数据库代替传统关系型数据库来实现海量数据动态管理,并通过Web向移动互联网用户提供高效服务的系统.实验证明,NoSQL数据库技术在移动互联网应用中有着明显的优势与广阔的应用前景.     

面向时序大数据的数据库性能研究

在大数据背景下,物联网技术的广泛应用产生了大量的时序数据。如何合理选择最适合的数据库来存储时序大数据是一个重要的研究内容。然而现有的数据库性能对比研究没有考虑数据的具体应用场景,缺乏特定场景下的性能对比实验。为了在存储时序大数据时能够从不同存储结构的数据库中选择最适合当前场景的数据库,文章对关系型数据库、本地NoSQL数据库以及公有云NoSQL数据库在燃气大数据的应用场景下进行了定量定性的实验与分析。实验结果表明,相比于关系型数据库,NoSQL数据库更加适合存储时序大数据。然后,进一步提出了针对不同应用场景下时序大数据的数据库选型建议。     

基于窗口函数和分布式集群的可视化学术搜索系统数据查询优化

针对在密集分析型查询请求和海量数据的应用场景下传统关系型数据库MySQL性能不佳问题,提出了基于窗口函数(Window Function)的分析型查询优化方法,以分区(Partitioning)方法代替传统的分组(Group by)操作,并提出了基于分布式集群(SQL-on-Hadoop:SparkSQL)计算引擎的海量数据查询优化方法,采用内存列存储优化技术和Spark分布式集群计算以提高查询性能.同时,以典型的分析型SQL查询实例验证了其有效性.结果表明,所提出的查询优化方法能够显著提高查询性能.与传统的关系型数据库MySQL相比,基于SparkSQL的查询优化方法的查询速度大幅提高,从而验证了其用于可视化学术搜索系统AceMap数据查询的正确性.     

体育场馆空间信息云存储与服务技术研究

基于移动互联网的体育场馆管理与服务应用平台中需要海量的空间信息数据作为支撑.空间信息中包括海量的非关系型数据,传统的关系型数据库显然无法满足海量空间信息存储与服务的需要,而基于云计算的非关系型数据库与分布式文件系统却是有效的解决办法.针对体育场馆空间信息不同的数据形式,分别采用了不同的数据模型,同时为了提高数据的存储与服务性能,采用了集群技术.文章提出的体育场馆空间信息的存储与服务解决方案为体育场馆智能化管理与服务提供了有力的技术支撑.     

浅析NoSQL数据库

NoSQL数据库打破了传统的关系模型,以一种模式自由的方式存储数据,提供了新型的访问接口,并克服了传统RDBMS的缺点。NoSQL数据库可部署在廉价的硬件之上,支持分布式存储,能透明地扩展节点。本文介绍了NoSQL数据库的基本特点与设计思想,列举了几种流行的NoSQL数据库产品,分析了其应用方向、优缺点及发展前景。     

基于面向对象的大数据存储模型研究

随着大数据存储需求的不断扩大,网络存储技术面临如何存储并管理海量数据的问题.通过对现有各种大数据存储模型进行了对比分析,针对现有存储模型存储的局限性和大数据存储的特点,提出了一种基于数据特征的面向对象存储思想.采用虚拟类技术设计并实现了一种基于面向对象的大数据存储模型.在仿真环境中,对该模型的分类关键模块与非结构化数据存储性能进行了测试与分析,实验结果表明该模型分类模块误差较小,读写效率较高,而且随着数据的增大,非结构化存储性能保持稳定.     

北京广播学院数字图书馆网络存储的选型研究

针对高校数字图书馆数据流量大,共享并发用户多的特点,叙述了目前应用于数字图书馆中的网络存储系统DAS、NAS和SAN,并对三类网络存储系统性能进行比较,提出了适合北京广播学院数字图书馆建设的网络存储解决方案.     

用Java开发基于Web的定制工作流

用Ｊａｖａ开发一个基于Ｗｅｂ和数据组织使用关系型数据库的工作流系统．与传统工作流系统进行了比较,最后对采用Ｊａｖａ开发大型应用给出了建议．     

倒排索引压缩及在RDBMS全文检索中的实现

提出了一种对倒排索引进行压缩的方法,在保证较高压缩率的前提下,对压缩后的数据提供了随机访问的能力.这种方法将压缩后的数据分为两部分,第一部分用来表示单词在子区间的出现次数,第二部分用来表示单词在子区间的具体出现位置,详细描述了检索过程,通过第一部分的信息可以直接对第二部分的任意位置进行解压缩,体现了其随机访问能力,并分析了压缩比和检索效率,讨论了该压缩方法在RDBMS全文检索中的实现,以及如何用表格形式对其进行存储,针对多关键字的检索对算法进行了优化.该实现方法一方面充分利用了数据系统的优点,获得了良好的动态性能,另一方面节省了倒排索引对空间的需求,并提高了检索效率.     

基于TEE的可信存储系统设计与实现

在对当前主流可信存储系统的分析和研究的基础上，设计并实现了符合GP标准，同时满足多种安全存储特性的可信存储系统(TSS). TSS不仅能对数据进行授权加密、保证数据的完整性和一致性，同时还提供了很多其他安全存储特性(如持久存储对象的原子操作).为了改善大数据读写性能，提出了一种在REE的内核空间中动态申请连续内存并通过通信管道将该连续物理内存映射到TEE中的方法.这种方法可以有效地减少TEE和REE之间的切换次数、内存申请次数及内存的拷贝负载.实验数据显示，与其他相关可信存储系统相比，TSS有8%到10%的性能提升.     

基于XML的OLAP技术研究

为了开发开放式OLAP服务系统,提出了对XML、关系数据库等异构数据源进行集成的技术和方法;同时为更好地表达用户的分析请求,提出了基于XML的概念建模技术,用于多维分析元数据的存储和统一表达。     

大数据存储技术在张衡一号卫星数据服务中的应用

随着张衡一号卫星监测数据的不断增加,目前的HDF5文件存储方式不仅在性能扩展性、读写并发性等方面凸显出劣势,而且无法实现对业务数据的精准时空查询,这给用户带来很大困扰。为解决对海量卫星数据的高效存储和读取,本文分析了HBase数据库和ElasticSearch搜索引擎的优缺点,提出了一种基于二者相结合的卫星大数据存储方案,并搭建了Hadoop架构的大数据试验平台,完成了对张衡一号卫星空间电场ULF频段数据的存储试验和对比测试。结果表明,该方案大大提高了对海量卫星观测数据的读写并发性能,达到当前文件存储方式的几十倍,并实现了对卫星数据的精准定位和快速查询,很好地满足了用户要求。     

空间数据在全关系数据库系统中的管理实现

通过分析Shapefile的格式,设计了在RDBMS上存储和管理空间数据的空间信息表的结构,既保留了所有的空间信息,又保证了空间数据和属性数据在修改时的一致性.实现了对空间数据完全基于关系数据库的可视化编辑,使将空间数据导入关系数据库的管理更有意义.