基于NoSQL的海量出租车GPS数据Web服务研究

【目的】针对传统关系型数据库扩展性差、存取效率低等问题,提出一种基于非关系型数据库(NoSQL)的海量出租车GPS数据Web服务方案,满足海量空间数据高效存储管理与实时在线服务的需求。【方法】利用MongoDB地理空间索引实现基于位置的查询,基于Node.js技术提供Web service服务,采用Express MVC框架构建Web应用。【结果】与MySQL Spatial相比,MongoDB在区域查询方面具有较高的查询效率,数据量多时,其性能尤为显著。【结论】基于NoSQL的出租车GPS数据Web服务方案可以支持海量位置数据的实时查询与地图显示,具有一定的应用参考价值。     

基于非易失性内存的LSM-tree存储系统优化

随着大数据时代的到来,金融行业产生的数据越来越多,对数据库的压力也越来越大. LevelDB是谷歌开发的一款基于LSM-tree架构的键值对数据库,有写入快和占用空间小的优点,被金融行业广泛应用.针对LSM-tree架构的写停顿、写放大、对读不友好等缺点,提出了一种基于非易失性内存和机器学习的L0层的设计方法,能够减缓甚至解决上述问题.实验结果表明,该设计能够实现较好的读写性能.     

支持时序数据聚合函数的索引

时序数据是工业新发展的关键,其中针对时序数据的聚合操作成为主要的应用场景之一。传统关系型数据库不足以支撑海量的时序数据,而现有的NoSQL数据库对时序数据的聚合操作显得低效耗时。该文提出了一种结合概要表和线段树思想的支持时序数据聚合操作的高效索引机制,并实现了基于这种索引机制的查询算法。该查询算法将概要表的思想引入NoSQL中,缩小了待查询数据集,并通过在概要表上建立概要森林的形式,将最坏情况下的待查询数据集进一步缩小为索引个数的lbn倍。此外,该算法通过计算直接定位出待查询的一系列索引数据,有效避免了一般树形结构的递归遍历操作,减少了大量的磁盘开销。最后,通过与一般索引机制的查询对比实验,验证了该索引机制的可用性和高效性。     

基于动态多级索引与双向链技术的时态数据模型

如何使用时间维来描述空间地理对象的时态性并将其引入到空间数据库中,是目前GIS研究领域的一个热点。本文通过对目前已经研究提出的时间新维型时空数据模型的分析比较,对基态的选择、空间数据采样时间间隔的确定以及数据处理的效率方面进行了进一步的探讨,提出了一种基于多级动态索引和双向链技术的一种改进模型,并在程序中予以了实现,证明了其可行性。     

面向大数据库正则表达式查询的有效算法

针对大数据库中正则表达式查询,提出了一种基于索引的有效算法。首先,构造索引。该索引结构在前缀树基础上加以改进,为每个节点创建二维数组存放该节点所辖子树各层的首次关键节点,并对每个节点附加关键节点指针以指向同层的下一关键节点。然后,通过所提出的索引结构进行查询。最后,分析了所提出算法的时间和空间复杂度,并进行了实验。实验结果证明:随着数据集的增加,其查询时间和输入/输出(I/O)时间增长速度较缓慢,说明其可扩展性较好,适合于大数据库中正则表达式查询。并且,随着查询字串的增加,查询时间与I/O时间均呈递减趋势,证明了该算法的效率和有效性。     

NoSQL数据库技术在移动互联网中的应用

对于规模不断扩大的SNS类型网站,传统的关系型数据库已经无法高效处理日趋增多的移动终端用户对此类超大规模和高并发网站中数据访问与处理的海量需求.现提出一种使用新型NoSQL数据库代替传统关系型数据库来实现海量数据动态管理,并通过Web向移动互联网用户提供高效服务的系统.实验证明,NoSQL数据库技术在移动互联网应用中有着明显的优势与广阔的应用前景.     

基于LSM Tree的分布式索引实现

近年来Log-Structured-Merge(LSM)Tree在NoSQL系统中得到了广泛地应用.主要是因为LSM Tree架构提出了延迟更新和批量写入的算法,将随机写转换为批量写,减少了磁盘臂的移动开销,从而大大地提升了数据库的写入性能.然而,读性能却也因此受到影响.LSM Tree和B Tree之间的本质区别使得NoSQL系统不适宜直接引用B Tree作为辅助索引结构.本文实现了LSM Tree下的一种分布式辅助索引结构,提出针对这种读写分离架构的索引批量加载策略,并对LSM Tree的查询计划树进行了缓冲优化,避免了重复的查询解析,使得索引读的性能得到了相应的提升.     

面向分布式存储的空间数据放置方法研究

目前,互联网中海量空间数据采用分布式存储,空间数据放置直接关系到数据访问效率.为了提高分布式存储中空间数据访问效率,提出了一种DHT-R数据放置策略,该策略将分布式哈希表（DHT）和R树相结合,按照分布式哈希表存储空间数据基本信息和索引地址,同时以R树型结构组织和存放空间数据,R树存储使得快速访问空间数据成为可能.实验发现,数据存取的可靠性较高,数据的吞吐时延也明显低于业界的阀值,DHT-R放置方法在大量访问压力下依然能良好的平衡和并发.     

R-树聚集在空间数据仓库中的应用

 空间数据库存储空间对象的相关信息,在很多实际应用中需要汇总空间数据,但这种汇总非常耗费时间而且计算代价很高.受非空间数据仓库的启发,可以建立空间数据仓库来加速空间OLAP操作.考虑星型模式且着重于空间维的概念分层,这种分层主要根据空间R-树索引来建立.提出了一个空间查询算法,并考虑了数据更新.     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题, 提出了一种基于非关系型（NoSQL： Not only SQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表, 通过C#语言编写测试程序, 与SQL Server在地学大数据的存储、 查询等方面进行了性能对比。结果表明, 与传统关系型数据库相比, NoSQL数据库的增、 删和查询耗时明显降低, 尤其是针对海量的非结构化、 半结构化数据, 其性能优势更加明显。     

对基于B-树系列的数据库索引算法的研究

用户对数据库最频繁的操作是进行数据查询。为了提高检索数据的能力,数据库引入了索引机制。索引是一个单独的、物理的数据库结构,它是某个数据库表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。B-树、B＋树是两种常见的数据库索引结构。本文研究基于B-树、B＋树的索引结构的算法,并分析比较各自的性能。     

一种高效的空间索引结构

为高效地处理空间数据，必须对数据库建立索引机制以快速存取数据。然而，由于空间数据的特殊性使得传统索引方法不能很好地适应空间数据的存取。介绍了一种目前较流行的索引结构－R树及其主要算法。在所研究的空间分析数据库系统SADBS中实现了R树索引。     

GIS空间数据查询优化技术研究

空间数据库是GIS(地理信息系统)的核心,空间数据查询是空间数据库的关键技术,其性能的高低决定着整个空间数据库的效率.查询效率一直是GIS系统的一个瓶颈,因此研究空间数据的查询优化技术具有重要的意义.重点对提高数据库查询性能的关键技术——空间数据索引技术、查询处理算法、空间数据访问技术进行了阐述.     

GIS空间数据库索引算法的研究与改进

空间数据库的索引技术是提高空间数据库存储效率、空间检索性能的关键技术.迄今人们已经提出了许多空间索引方法,其中网格空间索引数据结构是目前在GIS中被最为广泛采用的一种索引数据结构.网格索引中最大的难点在于确定网格划分的精细程度,网格划分的好坏将对索引数据量和检索效率产生直接影响.针对网格空间索引方法的特点和局限性,我们提出了对地理范围多次划分,划分矩形的长宽取值与空间实体对象直接关联的改进算法.改进后的算法可以减少划分过程中人为因素的影响,增强层次划分的稳定性,提高空间数据的访问效率.     

面向时序大数据的数据库性能研究

在大数据背景下,物联网技术的广泛应用产生了大量的时序数据。如何合理选择最适合的数据库来存储时序大数据是一个重要的研究内容。然而现有的数据库性能对比研究没有考虑数据的具体应用场景,缺乏特定场景下的性能对比实验。为了在存储时序大数据时能够从不同存储结构的数据库中选择最适合当前场景的数据库,文章对关系型数据库、本地NoSQL数据库以及公有云NoSQL数据库在燃气大数据的应用场景下进行了定量定性的实验与分析。实验结果表明,相比于关系型数据库,NoSQL数据库更加适合存储时序大数据。然后,进一步提出了针对不同应用场景下时序大数据的数据库选型建议。     

有效支持空间OLAP的空间数据仓库模型研究

为了实现各类空间联机分析,提供更加全面灵活的空间决策支持,提出了一个空间数据立方体与空间索引结构相互协作的空间数据仓库模型,并同时构建了一个与之协作的空间索引结构aR^ B_tree．aR^ B_tree基于R^ _tree和B_tree实现,存储了空间维及时间维的聚集信息和层次关系,可以有效支持区域聚集查询．对各种空间联机分析操作进行了分类,分析表明该模型充分利用了传统数据仓库成熟的建模和联机分析技术,结合了空间索引结构在空间层次结构上的灵活特性,可以有效地支持各类空间联机分析．最后比较了aR^ B_tree与其他索引结构在区域聚集查询方面的性能．实验结果证明,在区域聚集查询中aR^ B_tree的节点访问次数和查询执行时间均小于现有索引结构．     

一种基于XML的WebGIS多源异构数据集成方案

本文提出了一种基于XML的WebGIS多源异构数据集成方案,在该方案中,既可对不同数据源上载到空间数据库,也可将不同数据源进行模式映射和转换而存储为XML数据库.对于空间数据库,调用GIS应用服务器上的Web Service对其进行数据抽取并转换为XML格式;对于XML数据库,则直接通过封装了XML查询的Web Service进行数据抽取;最终使异构空间数据集成于XML这一文本格式.同时,还可通过对已定义的Web Service进行发布和注册实现本系统GIS数据库服务器上数据资源的共享,也可以通过搜索Internet上已发布和注册的相关Web Service,通过对其引用而实现异地数据的集成,由此实现空间数据之间的共享与互操作,实现多源异构的地理空间数据的有机集成.最后通过XSLT将XML转换为SVG实现地理空间数据的可视化.     

空间数据集成研究--以空间数据仓库的构建为例

随着空间数据复杂性的增加,现有的空间数据库和空间分析工具已经不能提供足够的决策支持,迫切需要建立大量具有历史数据,以及不同尺度的空间数据仓库．在建设空间数据仓库的过程中,数据集成是一个重要的环节,专门针对空问数据的集成更是一项艰巨的工作,本文在研究了现有的空间数据库,空间数据仓库以及空间数据集成的基础上,首先探讨了空间数据仓库模型的建立过程,然后系统提出了面向空间数据仓库数据模型的数据集成的两个主要的方面：不同数据源的空间数据的集成;不同尺度维上的空间数据的集成.     

不同维数下空间对象的反最近邻查询

反最近邻查询是在最近邻查询基础上提出的一种新的查询类型,是空间数据库的应用拓展,在不同维数下,根据不同的索引结构,反映出空间对象的反最近邻查询差异性较大,从不同索引结构的特性出发,分析了低维环境下基于R*-树的反最近邻查询优势,提出高维环境下一种新的基于SRdnn-树索引结构的空间对象反最近查询方法,优化了不同维数下空间对象的反最近查询性能,提高了查询效率.     

浅析NoSQL数据库

NoSQL数据库打破了传统的关系模型,以一种模式自由的方式存储数据,提供了新型的访问接口,并克服了传统RDBMS的缺点。NoSQL数据库可部署在廉价的硬件之上,支持分布式存储,能透明地扩展节点。本文介绍了NoSQL数据库的基本特点与设计思想,列举了几种流行的NoSQL数据库产品,分析了其应用方向、优缺点及发展前景。