主动式空间数据库实现方法综述

随着地理信息产业的飞速发展,地理空间大数据的存储和管理日益困难,要求空间数据库具备实时存储空间数据状态和主动处理空间数据的能力。主动式空间数据库除了具有传统空间数据库功能以外,还具备实时动态通知、空间数据自主分析等功能,这些主动服务功能可采用规则触发、结合空间决策系统、结合特种数据库技术等方式实现。首先对主动式空间数据库的国内外理论及应用现状进行了详细综述,将主动式空间数据库的实现方法进行了归类与对比分析,总结了主动式空间数据库在构建过程中存在问题,展望了主动式空间数据库的未来发展方向。     

基于HBase的分布式空间数据库技术

针对在大型地理信息系统(GIS)中, 需要对海量矢量据和栅格数据进行存储并对高并发的用户查询请求提供高效响应, 传统的设计方案难以满足需求的问题, 提出一种使用基于内存存储的分布式数据库HBase存储空间数据, 并设计基于GeoHash的分布式空间索引, 实现了矢量空间数据与栅格空间数据的分布式存储与快速查询. 实验表明, 该方法提升了海量空间数据的查询速度.     

数据瘦身系统建设方案探讨

数据瘦身系统建设的目标是为了解决电信运营商日益增长的历史数据造成系统性能下降,占用昂贵的存储空间资源的问题,并且为历史数据的统一存储和管控提供了有效的解决方案。通过瘦身系统抽取支撑系统数据库的数据并转存到非关系型数据库(HBase)中,用户可以通过瘦身系统提供的接口访问里面的历史数据,实现生产数据库数据清理和加速历史数据库的数据访问速度的目的。数据瘦身系统同时提供对历史数据的快速访问,通过对数据的存储优化和索引优化,对历史数据的访问将比未部署数据瘦身系统前得到较大的提升,改善用户的满意度。     

基于HDFS的分布式文件系统

在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一.     

基于Spark的移动用户行为轨迹大数据分析

为获取移动用户轨迹数据中的价值信息,利用Spark集群分布式处理用户行为轨迹的原始数据,对存入HBase分布式数据存储中的数据进行筛选、分析后存入Hive数据库中,Spark对数据库文件中的数据进行相关性卡方检验和K-Means聚类分析,得到用户出行方式的统计结果及在距离限制下出行方式选择的普遍规律.该过程为用户行为分析和预测提供可行的解决方案.     

支持数据动态更新的XML编码研究

提出一种支持数据动态更新的编码方案SDUE,该编码将结点位置信息进行分解,避免记录冗余信息,从而有效地节省了存储空间.此外,SDUE还能有效地支持数据更新.在查询方面,由于SDUE编码记录了结点路径信息,在路径查询中避免了结构连接操作,有效地提高了查询效率.实验结果表明,与其他编码相比,SDUE编码在空间存储利用率、结点更新效率和查询速度方面都有较明显的优势.     

一种分布式冗余的实时数据存储检索机制

为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方面进行设计和优化,在保证数据存取实时性的基础上实现了备份同步、一致性修复等核心功能,从而有效提高了实时数据库的海量数据存储与处理能力,为实时数据库向分布式存储、多重冗余备份、系统规模动态调整等方向的转变奠定了基础.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求.     

基于MapReduce和HBase的 海量网络数据处理

根据ERF数据的特点结合分布式框架Hadoop针对海量数据的计算优势,改进了网络数据的解析模式和数据存储模式,完成了ERF网络数据自动上传。根据XML文件解析多种类型的网络数据、HBase存储数据和HBase数据导入与数据查询的优化等一系列网络数据自动化处理工作。提出了一种新的MapReduce解析二进制数据的算法,该方案有效的解决了MapReduce读取和解析二进制数据的问题,在此基础上实现的海量网络数据处理系统,解析效率较高,数据库存储和查询数据的速度较快,系统自动化运行且稳定性强,有良好的应用前景。     

集群环境下个性化检索系统的研究与实现

在综合分析海量数据库检索系统应用及存储环境的基础上,提出了一个集群环境下的个性化检索系统模型,采用Oracle RAC技术实现数据库数据的并行处理,通过兴趣获取模块获得用户兴趣,实时动态追踪兴趣动向,实现个性化检索．在此基础上完成了某市基于超大型数据库的专利信息检索系统平台的设计与实现．     

以LVM为基础的小型企业数据存储应用研究

当今时代是一个数据存储空间需求倍增的时代,如何低成本实现并满足存储需求,是小企业必须面对的问题．在小企业通过运用信息化技术对数据存储进行分析,阐述数据存储空间的部署技术与空间的动态增容技术,以降低小企业信息技术维护成本．