分布式空间数据库中有效数据频繁项实时检测

当前数据频繁项检测方法往往具有数据存储结构复杂、维护困难和复杂度高的弊端;针对这种情况,提出一种新的分布式空间数据库中有效数据频繁项实时检测方法。对事物数据进行分配,建立全局VFP树,将最近窗口中全部项集添加至全局VFP树,通过临时表对项集信息进行保存,利用遍历全局树实时检测有效数据的频繁项。通过滑动窗口的初始化阶段与滑动阶段对最旧一批项集临时表进行处理,实现维护。实验结果表明,所提方法能够有效实现分布式空间数据库中有效数据频繁项的实时检测;和其他方法相比,复杂度低、检测可靠性高。     

流数据频繁项算法研究

流数据频繁项挖掘是一项重要的研究课题,是其他流数据挖掘任务的基础。Lossy counting 算法是第一个近似的流数据频繁项挖掘的算法,并且具有空间和时间的高效性。详细分析该算法,尤其是它不能回答关于时间的查询的不足后,对其进行改进,提出了一个在多时间粒度上挖掘流数据频繁项的设想,加入时间维度。改进后的算法在时间倾斜窗口保存与合并频繁项,可以应用于各种对时间敏感的流数据查询和挖掘应用中。     

分布式多空间数据库复杂时态数据提取技术

传统方法实现过程复杂、历史复杂时态数据的片面性,导致其无法全面地描述时态数据;且相似性计算无法准确匹配具有动态性与复杂性的时态数据,造成提取精度低。为此,提出一种新的分布式多空间数据库复杂时态数据提取技术。设计动态RBF神经网络,对分布式多空间数据库中未知动态进行识别和建模;通过建模结果完成对复杂时态数据的描述。依据加权关联规则与时态关联规则对支持度和置信度的定义,获取T-FS-tree加权时态关联规则中支持度和置信度。将复杂时态数据描述序列、最小支持度、最小置信度作为输入,将加权时态关联规则作为输出,建立T-FS-tree加权时态关联规则挖掘算法。按照向量计算获取加权时态频繁1项集以及频繁2项集,依据获取的加权时态频繁项集建立初始频繁项集树;依据初始频繁项集树获取全部时态频繁项集;通过获取的频繁项集产生加权时态关联规则。从所有关联规则中选择优先度高的规则,构建的复杂时态数据提取器,实现复杂时态数据提取。实验结果表明,所提方法复杂性低,提取结果更加全面、可靠,有很高的准确性。     

主动实时数据库的数据管理研究

讨论主动实时数据库系统中数据和事务的特征及其对数据与日志的安置，日志记录和数据库的影响，进而给出了一个合理的数据与日志的安置策略。     

基于HBase的分布式空间数据库技术

针对在大型地理信息系统(GIS)中, 需要对海量矢量据和栅格数据进行存储并对高并发的用户查询请求提供高效响应, 传统的设计方案难以满足需求的问题, 提出一种使用基于内存存储的分布式数据库HBase存储空间数据, 并设计基于GeoHash的分布式空间索引, 实现了矢量空间数据与栅格空间数据的分布式存储与快速查询. 实验表明, 该方法提升了海量空间数据的查询速度.     

分布式实时事务一阶段实时提交

给出了分布式实时事务一致性实时提交协议的形式化定义和一致性实时提交协议的正确性准则;在此基础上,提出了适合于分布式实时事务的一致性实时提交协议———一阶段实时提交协议(1PRCP),1PRCP通过参与者与协调者的一次消息交换,在一个阶段完成分布式实时事务的提交活动.结合超时恢复协议,1PRCP能避免由于站点故障或网络通信链路故障而导致的阻塞.研究结果证明了1PRCP的正确性和优越性.     

主动实时数据库的数据管理研究

讨论主动实时数据库（ＡＲＴＤＢ）系统中数据和事务的特征及其对数据与日志的安置、日志记录和数据库恢复的影响，进而给出了一个合理的数据与日志的安置策略     

大型文本数据库中分布式数据去重备份方法研究

数据去重可删除备份过程中的冗余数据,节约存储资源与与网络带宽,是目前数据存储领域研究的重点问题。针对传统方法去重率和吞吐量低的问题,提出一种新的大型文本数据库中分布式数据去重备份方法。介绍了大型文本数据库中分布式数据去重方法基本思想,通过文件管理部分对数据片组中的扶贫数据进行查询和统计,给出数据片组路由策略,分析了数据预取过程。通过最终权值完成对数据块的排列,以恢复时间与恢复成本达到最小化为目的设计适应度函数。通过改进遗传方法对大型文本数据库中分布式扶贫数据进行备份。实验结果表明,所提方法有很高的去重率和吞吐量,且成本低,恢复速度快。     

一种分布式实时内存数据库的系统故障恢复模式

提出了一种适合分布式实时内存数据库的、基于日志的故障恢复模式.在该恢复模式中,日志记录被存储在非易失高速存储设备中,非易失日志存储区依据事务类型被分成四个不同的日志分区,不同类型事务的日志被存储在不同的日志分区;采用了执行频率动态可调的模糊检验点模式,在检验点执行过程中,一些无用的日志记录被删除;故障发生后,系统重启、恢复时,分区重装策略被采用;恢复算法结合相关恢复协议,确保了全局事务故障的原子性.实验显示,该故障恢复模式明显地改进了系统性能,提高了实时事务满足截止期的比率.     

基于实时数据库的分布式城市交通监控系统设计

采用实时数据库技术、分布式技术、PC and Sun Workstation结构和Visual C 6.0,设计了基于Windows平台的实时城市交通监控系统,监测系统则由一个交通监控中心和若干分中心组成.该系统的监控子系统由事件自动检测系统、通讯设备、报警系统、指示装置和实时数据库组成,事件自动检测系统由实时交通信息的采集单元和检测交通事件算法组成.监控系统有效地减少网络开销,增加系统的实时性,提高事件自动探测的工作效率.     

基于不确定数据的频繁项查询算法

频繁项的查询是一项非常重要的技术,但在新兴的不确定数据领域却是一项新的研究课题.基于不确定数据,提出了一种新的频繁项定义,并提出了两条过滤规则,可以有效地减少检测数据的数量.最后提出高效的频繁项查询算法UFI,该算法通过找到概率求解中的递推规律,极大提高了单点检测效率.实验结果显示:提出的方法可以有效地减少候选集,降低...     

浅析分布式数据库的数据存储

分布式数据库的数据存储包括数据分片和数据分配两个部分,他们是设计分布式数据库重要环节。了解数据分片与分配的目的、原则以及方法,分析数据分布的透明性和分片与分配之间的关系有利于研究人员的深入探索。     

支持主动实时事务的内存数据库技术

采用灵活而高效的数据存储管理机制是实现内存数据库管理系统的关键，提出一种适合内存数据库的“影子内存”组织方法，并给出具体的内存空间的组织管理，存储结构和存取策略。     

面向分布式存储的空间数据放置方法研究

目前,互联网中海量空间数据采用分布式存储,空间数据放置直接关系到数据访问效率.为了提高分布式存储中空间数据访问效率,提出了一种DHT-R数据放置策略,该策略将分布式哈希表（DHT）和R树相结合,按照分布式哈希表存储空间数据基本信息和索引地址,同时以R树型结构组织和存放空间数据,R树存储使得快速访问空间数据成为可能.实验发现,数据存取的可靠性较高,数据的吞吐时延也明显低于业界的阀值,DHT-R放置方法在大量访问压力下依然能良好的平衡和并发.     

基于实例的分布式数据库中的数据分配方法研究

在分布式数据库设计中数据分配的问题对整个系统的改进数据的可用性、提高DDB的效率和可靠性有很大影响，本文主要通过实例讨论数据分配的原则，分别对非冗余分配、冗余分配、静态启发式分配等数据分配方法采用量化的方法来进行研究，并对动态分配也做了一些比较分配，在研究过程中，把分布式检索和更新处理问题结合起来考虑，以获得减少通信代价、减少检索代价及更新代价的最优解决方案，从而明确得出全局关系划分后的逻辑片段应该置放的最佳场地。     

分布式全局频繁项目集的快速挖掘方法

针对传统的分布式全局频繁项目集挖掘算法存在大量的候选项目集，且求全局频繁项目集的网络通信代价过高等问题，提出了一种分布式数据库的全局频繁项目集快速挖掘算法（FDMA）．该算法改进了频繁模式树（FP-树）的结构，将双向FP-树改为单向，每个节点只保留指向父结点的指针，减少了指针数，由此可节省1／3的树空间；同时通过传送用3个很小的数组表示的被约束子树，在此挖掘全局频繁项目集的过程中不再生成大量候选项目集或条件FP-树，从而减小了网络通信量，提高了挖掘效率．实验表明，所提算法的挖掘速度比传统的分布式数据库数据挖掘算法至少提高了1倍之多，随着数据库规模的增大，它的扩展性将更好．     

支持海量数据的分布式数据库架构设计与验证

结合电信行业实际业务需求,利用数据库代理,设计出了能够提供强一致性、高可用性并支持弹性水平扩展能力的分布式数据库架构.验证结果表明,对于分布式数据库采用数据库代理可满足高可用性与弹性水平扩展的设计要求,实际部署中,双Master部署模式性能体现较佳,读写分离的部署模式、读写操作部署在一台设备性能下降明显,说明数据库代理可以实现高可用性的分布式数据库架构,各类部署架构中影响性能的是磁盘I/O.     

基于多层概要结构的数据流的频繁项集发现算法

利用一类基于异或运算的两两相互独立的哈希函数族,实现了对多层结构流数据进行"概括"的概要数据结构.应用该多层概要数据结构,实现了面向数据流的多层频繁项集的动态近似查找算法.实验结果表明,该算法以亚线性的时间和空间消耗,在统计意义上达到了几乎100%的查找和估计精确度.