基于MongoDB集群的遥感数据存储方法研究

应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,提出了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究.根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的高速内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型.最后针对文中存储方法提出了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储.     

云环境下MongoDB海量数据存储模型的研究

针对在大数据时代传输存储架构面临扩展性差、性能瓶颈等问题,提出云环境下基于Mon-goDB的海量数据存储模型。通过介绍MongoDB的文档模型、分片机制,并根据该特点设计基于副本集的集群模型,阐述了该模型的实现过程。通过测试证明性能良好,为大数据的存储提供借鉴经验。     

运用MongoDB的三维时序遥感影像存储及Web应用

为更好地存储和管理时序遥感影像数据,将传统tif等格式的时序遥感影像数据集转换为(x,y,t)三维的netCDF格式,并对其进行八叉树瓦片划分后存储于MongoDB中;同时,使用三维Morton码建立索引机制.为验证该存储和管理系统,设计基于Web覆盖服务(WCS)的时序遥感影像Web服务原型,并在其基础上结合Web覆盖处理服务(WCPS)和R语言对影像作进一步的分析和处理.实验表明:文中所设计的时序遥感影像存储模型在时序检索和获取方面具有较好的性能,并可支持WCPS,R语言等互操作计算的扩展.     

集群环境下遥感反演查找表快速构建与检索

针对遥感反演查找表构造时间过长的特点,基于MPI技术,构造"主从式"通讯程序对查找表构造进行并行化处理.利用SQL Server数据库对海量的查找表数据进行存储,并实现总体框架和多节点的快速检索算法.最后的性能分析表明:在集群环境下,新提出的查找表构造和检索算法能较大地提高大气反演算法的加速比.     

基于地质技术方法非结构化数据的文档检索研究

文章论述了地质调查技术方法非结构化数据在关系型数据库存储的基础上,进行文档检索技术与方案实现的研究,设计了一个针对多种格式文档进行处理的可扩展的应用服务框架,并在框架中实现对文档的全文和元数据的存储、索引和检索等服务。并对关系型数据库存储和检索非结构化数据的不足进行了分析,提出了以NoSQL数据库支撑地质调查技术方法非结构化数据存储检索的改进方向。     

基于HBase的车联网海量数据查询

针对如何高效存储并快速查询海量数据问题,提出一种基于分布式数据库HBase的车联网海量数据存储查询方案.首先对实测交通数据进行数据预处理,剔除劣质数据并对车辆定位信息做地图匹配;其次,针对车联网数据特征和查询应用场景设计HBase表结构,包括列族与行键设计,使数据得到合理的分布;最后,根据行键结构设计多种车联网交通信息的查询模式.实验表明,该行键方案在查询耗时上相比没有行键设计的方案具有明显优越性.     

用Fluent与MongoDB构建高效海量日志采集系统

由于传统方法不能满足海量日志存储的需求,对于海量日志的分析传统方法也出现了瓶颈问题,所以本文通过不同类型存储介质对海量日志读写性能实验,并与日志采集软件相结合提出了解决存储海量日志的一种方案:用Fluent(日志采集软件)与MongoDB来构建日志采集系统。实验表明:这种方式与传统存储方式相比,突破单机环境下日志存取的瓶颈,大幅度提高海量日志的存取速度,简化了日志分析与统计操作。在MongoDB集群环境下,高并发的读写满足了海量日志存取的需求,并且这种集群具有可扩展性和高可用性。     

集群环境下个性化检索系统的研究与实现

在综合分析海量数据库检索系统应用及存储环境的基础上,提出了一个集群环境下的个性化检索系统模型,采用Oracle RAC技术实现数据库数据的并行处理,通过兴趣获取模块获得用户兴趣,实时动态追踪兴趣动向,实现个性化检索．在此基础上完成了某市基于超大型数据库的专利信息检索系统平台的设计与实现．     

一种分布式冗余的实时数据存储检索机制

为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方面进行设计和优化,在保证数据存取实时性的基础上实现了备份同步、一致性修复等核心功能,从而有效提高了实时数据库的海量数据存储与处理能力,为实时数据库向分布式存储、多重冗余备份、系统规模动态调整等方向的转变奠定了基础.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求.     

基于ELKB日志管理系统的应用

针对现阶段云平台应用日志运维效率低的问题,研究一种基于ELKB架构的日志管理方案。该方案可实现对日志数据的高效采集和统一存储,并提供日志查询和可视化分析的功能。详细阐述日志的采集和存储方案,提出优化采集器Filebeat基础参数的方法,日志存储过程部署Elasticsearch集群模式,并总结Elasticsearch集群节点的性能提高方法,以此为基础搭建日志可视化管理系统。实验结果表明：参数优化后的Filebeat进行日志采集时,内存占用率与默认配置相比降低47%;Elasticsearch集群模式在进行关键字查询时的数据吞吐率高于单机服务器250req/s,且集群节点的段合并优化有效降低了日志的索引内存占用率,内存优化百分比介于11.9%和22.1%之间。可见日志管理系统部署方式灵活,有效提高了日志采集和检索效率,为云平台日志管理提供了可行的方案。     

基于Raft一致性协议的高可用性实现

随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供单集群和多集群两种部署模式.但多集群部署模式下的可用性较低,无法满足关键性应用的需求,包括:发生故障时不支持主备集群的自动切换;主备集群之间无法保证日志的强同步.针对上述问题,本文分析了传统数据库的高可用方案,针对OceanBase架构的特点,结合了Raft算法的思想,设计并实现了基于时间戳的分布式选举模块、自动化的集群切换模块和基于QUORUM策略的日志强同步模块.经实验验证,以上模块的实现能够提高系统整体的可用性.     

林业资源数据集群的快速索引设计

设计一种快速索引以管理分布存储的林业资源数据, 通过大量独立数据节点共同负载数据请求, 减少数据访问过程的互斥, 实现了空间与属性数据的分布式存储并行访问. 实验结果表明, 基于目前的应用服务器集群, 应用该快速索引方法, 能以较低的改进成本提高整个数据集群的快速统计和更新能力.     

无线传感器网络的HBase数据存储模型性能分析

基于HBase数据存储结构的特点,设计了一个有效的实时存储模型,实时的数据流在集群数据库中存储速度更快,满足了用户对数据存储性能的多种需求.使用可拓学原语整合存储在HBase数据库中的异构数据集,存储管理目录研究双层分布式存储架构,提高了存储和访问的效率.研究了在存储空间不够或者集群文本系统的存储空间太大的情况下,HBase数据库集群如何动态地更新或优化数据库空间.仿真结果表明,简单的动态更新HBase数据库集群有助于优化数据库空间使用.     

基于分片聚合编码的云存储策略的研究

针对HDFS采用的完全复制存储方案会占据较多的存储空间,且对数据的恶意窃取和攻击缺少防御措施,提出了基于分片聚合编码的HDFS数据存储策略,其中采用STAR码对数据进行编码处理,产生编码数据片,然后通过聚合操作将每个数据段中位置相同的数据片聚合组成一个存储数据块,实现了HDFS文件的存储.模拟实验表明基于分片聚合编码的文件存储策略相比原HDFS存储方案在数据分布方面更安全有效.     

基于分片聚合编码的云存储策略的研究

针对HDFS采用的完全复制存储方案会占据较多的存储空间,且对数据的恶意窃取和攻击缺少防御措施,提出了基于分片聚合编码的HDFS数据存储策略,其中采用STAR码对数据进行编码处理,产生编码数据片,然后通过聚合操作将每个数据段中位置相同的数据片聚合组成一个存储数据块,实现了HDFS文件的存储.模拟实验表明基于分片聚合编码的文件存储策略相比原HDFS存储方案在数据分布方面更安全有效.     

云服务器中基于同态加密的关键词检索方案

针对云服务器中海量密文文件的存储与检索需求,基于错误学习(learning with errors,LWE)问题以及近似最大公约数(approximate greatest common divisor,AGCD)问题设计一种新型同态加密方案,并通过建立加密关键词索引提出了新的检索方案.安全性分析与实验测试表明,方案可有效保护用户数据在存储与检索阶段的隐私,与传统的密文检索方案相比,具有较高的检索效率及准确性.     

纯XML数据库存储性能的研究

针对XML数据存储在文件系统、Native XML数据库和XML-enabled数据库中性能的差异,基于3种XML数据存储方式的基本原理,提出了以查询响应时间为性能指标,以XMark为基准测试工具的性能评价方法.设计并完成了文件系统和Xindice系统的对比实验,并根据实验结果明确了不同应用系统适用的XML存储方式.     

异构Redis集群大规模评论数据存储负载均衡设计

大规模评论数据的存储与查询性能对构建于其上的各类应用的快速响应具有重要影响.同时,异构计算环境中各计算节点性能呈现差异,如何充分开采各节点的计算和存储性能,优化大规模评论数据的存储与查询性能,是一个关键挑战.基于Redis集群的数据管理优势,首先提出了一种同构环境下基于卡槽存储平衡的大规模评论数据存储模型;然后论证了卡槽数目与节点查询效率的关系,以"负载与访问性能相平衡"的原则分配卡槽,进一步设计了异构环境下的集群节点负载计算和存储分配方法,充分开采了异构Redis集群中不同节点的性能.实验结果表明,提出的存储模型具有很好的存储平衡效果,提升了集群的整体查询效率.     

基于STAR码的HDFS失效数据恢复研究

针对数据失效、丢失等存储问题,提出了基于STAR码对HDFS中的丢失数据进行恢复,在文件读取过程中,通过对读取失败的数据块所在组的其他可用数据块采用分片、解码和聚合操作,对本组读取失败的数据块进行恢复.给出了基于STAR码与分片聚合编码的数据存储方案,采用了分片聚合解码的数据恢复策略对数据进行恢复,实现了分片聚合解码的数据块动态恢复和数据块持久性恢复.     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题, 提出了一种基于非关系型（NoSQL： Not only SQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表, 通过C#语言编写测试程序, 与SQL Server在地学大数据的存储、 查询等方面进行了性能对比。结果表明, 与传统关系型数据库相比, NoSQL数据库的增、 删和查询耗时明显降低, 尤其是针对海量的非结构化、 半结构化数据, 其性能优势更加明显。