基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

基于HBase的车联网海量数据查询

针对如何高效存储并快速查询海量数据问题,提出一种基于分布式数据库HBase的车联网海量数据存储查询方案.首先对实测交通数据进行数据预处理,剔除劣质数据并对车辆定位信息做地图匹配;其次,针对车联网数据特征和查询应用场景设计HBase表结构,包括列族与行键设计,使数据得到合理的分布;最后,根据行键结构设计多种车联网交通信息的查询模式.实验表明,该行键方案在查询耗时上相比没有行键设计的方案具有明显优越性.     

基于Oracle和Arcsde分布式空间数据库的设计与建立

目的 针对当前以传统件形式管理、存储大数据量空间数据的不足．设计出空间数据库建设的总体方案和技术路线，使空间数据和属性数据统一存储在面向对象的关系型数据库(Oracle8i)中，以实现统一、高效的数据管理。方法 应用GIS技术、数据库技术和COM编程技术进行空间数据库设计与建设。结果 建立了空间基础地理信息数据示范库，现已试运行。结论 所设计的空间数据库总体框架结构合理，技术路线正确，可行性强。     

分布式多空间数据库复杂时态数据提取技术

传统方法实现过程复杂、历史复杂时态数据的片面性,导致其无法全面地描述时态数据;且相似性计算无法准确匹配具有动态性与复杂性的时态数据,造成提取精度低。为此,提出一种新的分布式多空间数据库复杂时态数据提取技术。设计动态RBF神经网络,对分布式多空间数据库中未知动态进行识别和建模;通过建模结果完成对复杂时态数据的描述。依据加权关联规则与时态关联规则对支持度和置信度的定义,获取T-FS-tree加权时态关联规则中支持度和置信度。将复杂时态数据描述序列、最小支持度、最小置信度作为输入,将加权时态关联规则作为输出,建立T-FS-tree加权时态关联规则挖掘算法。按照向量计算获取加权时态频繁1项集以及频繁2项集,依据获取的加权时态频繁项集建立初始频繁项集树;依据初始频繁项集树获取全部时态频繁项集;通过获取的频繁项集产生加权时态关联规则。从所有关联规则中选择优先度高的规则,构建的复杂时态数据提取器,实现复杂时态数据提取。实验结果表明,所提方法复杂性低,提取结果更加全面、可靠,有很高的准确性。     

海量空间信息的分布式运算

阐述了在三维数字城市系统中，由于三维资料的显示速度主要依赖于数据调度和逻辑运算的速度，海量数据的调度和频繁的逻辑运算使得单机系统不堪重负，因此通过分布式计算可以在多台计算机上平衡计算负载，也可以把程序放在最适合运行它的计算机上．该分布式运算系统基于COM 中间件技术，运用VC6．0／VC7．1和Oracle9i开发环境，借助于ATL动态模板库、IDL接口定义语言，实现了在三维数字城市系统中海量空间信息的分布式调度和分布式运算．     

可扩展分布式关系型云数据库方案

为满足云数据库高并发、高可扩展和高可用性的需求,在分析各种关系型和NOSQL数据库的基础上,借鉴关系型数据的便捷性与NOSQL的可扩展性,提出了一种可扩展性的关系型云数据库方案.该方案提出了全新的系统架构、数据库读写流程、数据合并流程、数据模型和数据结构与存储,并对其系统架构理论存在瓶颈进行分析.最后对数据一致性、可用性和线上运行性能进行分析,结果表明此方案可行.     

分布式空间数据库中有效数据频繁项实时检测研究

当前数据频繁项检测方法往往具有数据存储结构复杂、维护困难和复杂度高的弊端;针对这种情况,提出一种新的分布式空间数据库中有效数据频繁项实时检测方法。对事物数据进行分配,建立全局VFP树,将最近窗口中全部项集添加至全局VFP树,通过临时表对项集信息进行保存,利用遍历全局树实时检测有效数据的频繁项。通过滑动窗口的初始化阶段与滑动阶段对最旧一批项集临时表进行处理,实现维护。实验结果表明,所提方法能够有效实现分布式空间数据库中有效数据频繁项的实时检测;和其他方法相比,复杂度低、检测可靠性高。     

基于MapReduce和HBase的 海量网络数据处理

根据ERF数据的特点结合分布式框架Hadoop针对海量数据的计算优势,改进了网络数据的解析模式和数据存储模式,完成了ERF网络数据自动上传。根据XML文件解析多种类型的网络数据、HBase存储数据和HBase数据导入与数据查询的优化等一系列网络数据自动化处理工作。提出了一种新的MapReduce解析二进制数据的算法,该方案有效的解决了MapReduce读取和解析二进制数据的问题,在此基础上实现的海量网络数据处理系统,解析效率较高,数据库存储和查询数据的速度较快,系统自动化运行且稳定性强,有良好的应用前景。     

基于Hadoop云平台的空间属性数据挖掘技术研究

为了提升数据挖掘效率,为众多空间数据应用领域提供数据支撑,提出基于Hadoop云平台的空间属性数据挖掘技术：利用分布式编程模型MapReduce和Hadoop分布式文件系统构建Hadoop云平台,在云平台中实现分布式计算、数据挖掘、业务响应以及用户交互;其中数据挖掘层利用归一化变换将空间数据与属性数据调整为正态分布并统一量纲后,采用快速独立成分分析算法去噪处理变换后数据;依据贝叶斯分类理论以及极大后验和似然假设构建朴素贝叶斯分类器,将去噪处理后的数据作为分类器输入,完成空间属性数据挖掘。试验结果表明该技术应用在农业生产中,可以增加经济效益,数据经去噪后峰值信噪比与结构相似性较高,可有效挖掘城市空间属性数据,且具有较高数据挖掘速度。     

基于空间数据库的数据挖掘技术

探讨扩展传统数据挖掘方法如分类、关联规则、聚类等到空间数据库的方法，着重对空间数据库系统实现技术及空间数据挖掘系统等进行比较分析，提出了一种空间数据挖掘系统的实现模式。     

基于分布式数据库的综合系统管理的实现

为解决多子系统中系统管理复杂和安全性差的问题 ,开发了基于分布式数据库的综合系统管理系统 ,通过用户管理、字典表和参数维护 ,以数据备份和恢复的集中管理等手段 ,减轻了分布式数据库中系统管理员和业务端用户的工作量 ,提高了系统的安全性 .以分布式决策支持系统的综合系统管理为实例说明其实现过程     

基于三层构架的空间数据库分布式体系结构

空间数据库的分布式体系结构一直是理论研究的热点和工程实践必须面对的问题.提出了基于三层构架的空间数据库分布式体系结构:本地空间数据模型层、统一的空间元数据模型层和统一的全局空间数据模型层,并把这种体系结构用于广东省水资源规划信息管理系统,用于管理分布式的水资源规划信息.     

基于sFlow的分布式网络流量分析系统

设计一种分布式流量分析系统, 该系统利用分布式计算方法处理大量的sFlow采集信息, 避免了传统sFlow收集器在处理大量数据时成为系统瓶颈的问题.     

基于SOA和GIS的石油潜力数据库系统

针对地学应用中地质数据的集成与共享的问题,提出一种高可伸缩、灵活性强的基于SOA(Service-Oriented Architecture) 和ArcGIS Server的地学数据集成与应用集成的方法,并给出了应用Oracle 11g的面向对象和空间特性设计的石油矿产资源潜力数据模型,构建了以Web服务为基础组件的基于SOA的系统体系结构。系统采用C＃语言,基于ArcGIS Engine和ArcGIS Server开发了C／S（Client/Server）和B／S（Browser/Server）两种客户端,将石油与其他矿种的数据访问、应用计算等功能松耦合地集中于一处,协同工作,以完成客户请求。运用结果表明,系统达到了预期目标,且可与其他系统有机集成。     

浅析分布式数据库的数据存储

分布式数据库的数据存储包括数据分片和数据分配两个部分,他们是设计分布式数据库重要环节。了解数据分片与分配的目的、原则以及方法,分析数据分布的透明性和分片与分配之间的关系有利于研究人员的深入探索。     

铁路空间数据库的构建

铁路空间数据库是铁路地理信息系统(RGIS)的基础.本文在分析了铁路信息化的发展、目前空间数据库建设以及研究的情况后,根据铁路各业务部门对空间数据的需求和使用情况,提出了空间数据库的构成.并在此基础上,进一步探讨了空间数据库的建设和维护等问题,为铁路空间数据库的建设提供了思路.     

分布式数据库系统设计讨论

通过对比,指出了节点自主性、分布透明性和数据重复性是分布式数据库系统设计的主要特点,讨论了分布式数据库系统的三种主要类型和适用范围,结合“石油勘探开发数据库系统”的设计实例讨论了分布式数据库系统设计中的分段和分配问题,指出了对数据流向和数据用途的调查对分段和分配设计的意义。     

基于实例的分布式数据库中的数据分配方法研究

在分布式数据库设计中数据分配的问题对整个系统的改进数据的可用性、提高DDB的效率和可靠性有很大影响，本文主要通过实例讨论数据分配的原则，分别对非冗余分配、冗余分配、静态启发式分配等数据分配方法采用量化的方法来进行研究，并对动态分配也做了一些比较分配，在研究过程中，把分布式检索和更新处理问题结合起来考虑，以获得减少通信代价、减少检索代价及更新代价的最优解决方案，从而明确得出全局关系划分后的逻辑片段应该置放的最佳场地。