数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

数据流上基于遗传算法的并行查询优化技术

传统数据库中存储的是相对静态的记录集,这些记录没有预先定义的时间概念,除非时间属性被显示地加上去.虽然这个模型能够较好地表示商业数据库和个人信息存储库,然而它对快速变化的数据流进行在线分析的支持存在很多限制.因此,需要对已有技术进行扩展研究,构建出新的管理系统来管理数据流.数据流的高速性和无限性以及计算机资源的有限性使得提高数据处理速度成为数据流管理系统(DSMS)的关键;本文主要讨论了DSMS的核心技术———查询优化;着重研究了在shared-nothing机群并行系统中,通过并行查询处理技术来提高数据流处理速度的新方法.     

数据流持续查询系统的窗口语义研究

在需要处理数据流的应用系统中，数据流的达是持续的、无界的，传统对静态数据库进行分块查询处理的方式已不再适应这种数据流的无穷性．本文针对数据流持续查询应用的不同场合，提出在查询中使用滑动窗口、带符号的数据流及断言窗口机制，使传统的查询处理加上这些机制后能适应数据流的查询处理，     

SCBA:基于演变的规则知识库的数据流分类模型

近年来,数据流作为一种特殊的数据形态,广泛出现于金融、互联网、科学研究等各个领域,引起了数据挖掘界极大的兴趣。其数据量无穷,数据概念随时间变化,对问题要求快速响应等特点给研究工作带来了极大的挑战。该文聚焦于数据流分类问题,提出了一种基于演变的规则知识库的数据流分类模型:SCBA(streamclass ification based on assoc iation ru les)。该模型随着数据流的到达,从动态维护的规则知识库中挑选适应当前数据概念的规则,构建单个分类器。与目前流行的数据流分类模型相比,SCBA具有如下特点:与层次结构的决策树相比,分类器的更新更为灵活并易于实现;与倾向“平均”的组合分类器相比,单个的分类器有利于规避“小模式问题”,并能加快对数据流概念变化的调整速度和对应用的响应速度。     

数据流窗口查询语义的局限性及改进方法

在数据流处理系统普遍使用滑动窗口查询模型来解决数据流的持续查询问题.对一些特殊的查询类型,在使用滑动窗口查询时无法完全达到查询要求,通过引入条件窗口对滑动窗口模型进行更一般化的扩展和改进,可以解决滑动窗口语义在处理这一类型查询中的局限性.     

一种数据流上基于截止期的多查询过载预测模型

为保证数据流上查询处理的实时性要求,定义了截止期作为连续查询的实时性约束,提出了一种数据流上基于截止期的多查询过载预测模型.模型预测的过载点给出了能够保证数据流系统内所有查询满足各自截止期的临界情况.在多查询环境下,通过找到某一查询作为截止期瓶颈,使得该查询处理结束后剩余查询的处理能力正好大于系统的输入流速,从而计算出过载点.仿真实验结果证明,该模型预测出的过载点能够保证所有查询满足各自的截止期,并且预测算法具有良好的准确性和计算复杂性.     

临床医疗设备数据处理的数据流模型

在临床重症病人的连续观测中,医疗设备及其上的传感器会产生数量庞大的流式数据,传统的数据库管理方式无法适应这一不确定性强、实时处理要求高的数据流.本文提出一个适合医疗设备数据处理的数据流模型,并分析其系统结构、查询计划、查询语言以及网络适应性.     

多核处理器下SKLOIS多级安全数据库查询方法研究

针对传统方法存在多核处理器下SKLOIS多级安全数据库查询不准确的问题,提出一种新的多核处理器下SKLOIS多级安全数据库查询方法。用一个加权有向图对多核处理器下SKLOIS多级安全数据流图进行描述。为数据流图中所有结点分配一个内核。依据数据流图中规定的执行顺序执行给定查询语句,完成查询语句的并行执行。查询语句通过LBT树模型获取,通过定义三种多核处理器下的SKLOIS多级安全数据库查询类型获取LBT搜索空间大小的上界和下界。搜索整个查询执行计划空间,获取一个具有最小开销的LBT查询树,给出LBT方法的查询代码。实验结果表明,所提方法具有很高的查询响应速度,且针对更新数据具有快速适应能力。     

基于粒计算的商业数据流概念漂移特征选择

商业数据流具有动态性、漂移性等特性,概念漂移特征选择是数据流挖掘的重要工作之一.本文从数据流的特点和概念漂移特性出发,提出了数据流的概念形式化分析流程和基于粒计算构建数据流的概念形式化描述模型;商业数据流的概念漂移实际上取决于其概念外延的变化,文中使用包括外延偶合度和内涵偶合度在内的概念偶合度来描述概念间的相似性;经过粒化的数据流由概念格来表示,进而通过概念格对的松弛偶合度来分析数据流特征;结合概念偶合分析和数据流变化特征,阐述了一种基于数据流概念格对的松弛匹配偶合度算法,并据此分析概念格对来选择数据流的漂移特征.通过实例验证、评价了特征选择,证明其有效性.     

一种基于混沌理论的数据流连续聚集查询预测算法

为了有效地预测聚集查询的未来聚集值,提出了一种基于混沌理论的数据流连续聚集查询预测未来聚集值算法——CSPA算法.数据流看作是以数据到达时间为序的一个时间序列,借鉴传统时间序列分析技术探讨了连续聚集查询的未来聚集值预测问题,但由于数据流序列与传统时间序列在时间间隔和数据集的处理上存在很大差别,于是采用流滑动窗口技术加以处理.其次,针对目前数据流聚集查询预测领域已有的一些研究结果都未考虑流数据内在的复杂非线性动力学特征对预测的影响问题,该算法又利用了混沌理论中的局域预测思想解决了这一不足.实验结果表明,利用该算法进行预测具有很好的准确性.