基于地质技术方法非结构化数据的文档检索研究

文章论述了地质调查技术方法非结构化数据在关系型数据库存储的基础上,进行文档检索技术与方案实现的研究,设计了一个针对多种格式文档进行处理的可扩展的应用服务框架,并在框架中实现对文档的全文和元数据的存储、索引和检索等服务。并对关系型数据库存储和检索非结构化数据的不足进行了分析,提出了以NoSQL数据库支撑地质调查技术方法非结构化数据存储检索的改进方向。     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题, 提出了一种基于非关系型（NoSQL： Not only SQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表, 通过C#语言编写测试程序, 与SQL Server在地学大数据的存储、 查询等方面进行了性能对比。结果表明, 与传统关系型数据库相比, NoSQL数据库的增、 删和查询耗时明显降低, 尤其是针对海量的非结构化、 半结构化数据, 其性能优势更加明显。     

基于NoSQL的海量出租车GPS数据Web服务研究

【目的】针对传统关系型数据库扩展性差、存取效率低等问题,提出一种基于非关系型数据库(NoSQL)的海量出租车GPS数据Web服务方案,满足海量空间数据高效存储管理与实时在线服务的需求。【方法】利用MongoDB地理空间索引实现基于位置的查询,基于Node.js技术提供Web service服务,采用Express MVC框架构建Web应用。【结果】与MySQL Spatial相比,MongoDB在区域查询方面具有较高的查询效率,数据量多时,其性能尤为显著。【结论】基于NoSQL的出租车GPS数据Web服务方案可以支持海量位置数据的实时查询与地图显示,具有一定的应用参考价值。     

基于ArcGIS Geodatabase的浙江良渚古城遗址空间数据库的设计与实现

浙江良渚地区的考古研究工作已开展了八十余年,海量考古数据的存储与管理经历了从文件系统向传统关系型数据库再向空间数据库发展的过程.文件系统和传统关系型数据库在存储和管理考古数据上存在着一定的限制,尤其是不能够充分体现考古数据的空间关系,限制了考古空间分析工作的展开.而空间数据库不仅具有普通数据库存储和管理数据的性质,其特性更在于存储空间图形数据、属性数据并建立起二者之间的联系,从而能够将考古发现与其自身地理空间位置、环境紧密结合,为从空间层面进行区域性和综合性的考古分析提供技术支撑,实现向景观考古分析的迈进.基于ArcGIS Geodatabase设计并实现了良渚古城遗址空间数据库,完成了良渚古城数字化地图的矢量化,并综合考古发掘和研究成果,对不同空间实体进行了属性设计,使得各类已发掘的重要遗址、遗迹的空间位置及其文化背景和相互联系能够在地图上直观地表现出来.这一遗址空间数据库不仅实现了空间数据和属性数据的一体化存储、浏览、查询与管理等基础功能,还提供了考古专题地图的动态制作、考古遗址的空间分析等功能,为区域环境考古、景观考古等提供新的研究思路和有力支撑.     

面向TB量级海量空间信息的存储管理系统

本系统研究了原始空间数据的预处理;空间数据组织、存储、索引及管理;海量空间信息的快速漫游与查询检索;空间数据共享、交换及快速分发。研究并实现了海量空间信息存储无缝拼接技术,实现了空间元数据管理及分布,提出了基于海量存储设备的空间数据管理与共享技术,实现对多源数据的统一管理与相关应用。     

NoSQL数据库技术在移动互联网中的应用

对于规模不断扩大的SNS类型网站,传统的关系型数据库已经无法高效处理日趋增多的移动终端用户对此类超大规模和高并发网站中数据访问与处理的海量需求.现提出一种使用新型NoSQL数据库代替传统关系型数据库来实现海量数据动态管理,并通过Web向移动互联网用户提供高效服务的系统.实验证明,NoSQL数据库技术在移动互联网应用中有着明显的优势与广阔的应用前景.     

基于MongoDB的船舶数据库构建与数据批量迁移技术

基于目前最流行的一种非关系型数据库Mongo DB,对非关系型的船舶数据库构建进行深入研究,包括可行性分析、数据模型和地理索引等,为海量船舶数据管理提供了新思路,并以Spring Batch批处理框架为基础设计和实现了Oracle到Mongo DB的数据批量迁移程序,为关系型数据库到非关系型数据库的过渡提供了高效灵活且稳定的解决方案.     

基于窗口函数和分布式集群的可视化学术搜索系统数据查询优化

针对在密集分析型查询请求和海量数据的应用场景下传统关系型数据库MySQL性能不佳问题,提出了基于窗口函数(Window Function)的分析型查询优化方法,以分区(Partitioning)方法代替传统的分组(Group by)操作,并提出了基于分布式集群(SQL-on-Hadoop:SparkSQL)计算引擎的海量数据查询优化方法,采用内存列存储优化技术和Spark分布式集群计算以提高查询性能.同时,以典型的分析型SQL查询实例验证了其有效性.结果表明,所提出的查询优化方法能够显著提高查询性能.与传统的关系型数据库MySQL相比,基于SparkSQL的查询优化方法的查询速度大幅提高,从而验证了其用于可视化学术搜索系统AceMap数据查询的正确性.     

海量数据管理技术在桥梁结构监测中的应用

介绍了桥梁结构监测中海量数据管理的现状,提出大型数据存储技术在桥梁结构监测中的应用,着重论述了海量数据存储与管理系统的总体方案,提出了数据管理平台的总体架构,构建了一套架构先进、性能高效的海量数据存储与管理平台。基于数据库集群技术,通过ORACLE数据库平台,有效地实现了大数据的管理使用,为大型桥梁的状态评估和日后的状态预测、溯源提供数据依据。