数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

面向网络数据流的持续查询

有别于传统的存储型数据静态查询,构造了一种对网络数据流进行持续查询的模型．该模型提供了映射和转化机制,兼容了数据流“时序”概念和传统数据库中的“关系”概念。     

数据流窗口查询语义的局限性及改进方法

在数据流处理系统普遍使用滑动窗口查询模型来解决数据流的持续查询问题.对一些特殊的查询类型,在使用滑动窗口查询时无法完全达到查询要求,通过引入条件窗口对滑动窗口模型进行更一般化的扩展和改进,可以解决滑动窗口语义在处理这一类型查询中的局限性.     

数据流上的轮廓查询算法

采用滑动窗口技术对数据流进行近似,提出了两种数据流上的轮廓查询方法:CCS算法和PCS算法.CCS算法能够实时反映数据的变化,内存空间的利用率也较高.PCS算法则适合周期性更新的应用环境,有利于节约CPU资源.实验结果证明所采用的算法是有效的.     

面向社交数据流连续查询的基准评测

社交数据流上的连续查询处理具有广泛的应用,但其处理技术仍不成熟.本文对社交数据流上的连续查询问题进行建模,定义数据特征、负载类型与分布,以及性能测度.在此基础上,提出一个面向该问题的基准评测.该工作对社交数据流处理应用的系统选型、相关查询处理技术性能比较具有重要意义.     

一种基于混沌理论的数据流连续聚集查询预测算法

为了有效地预测聚集查询的未来聚集值,提出了一种基于混沌理论的数据流连续聚集查询预测未来聚集值算法——CSPA算法.数据流看作是以数据到达时间为序的一个时间序列,借鉴传统时间序列分析技术探讨了连续聚集查询的未来聚集值预测问题,但由于数据流序列与传统时间序列在时间间隔和数据集的处理上存在很大差别,于是采用流滑动窗口技术加以处理.其次,针对目前数据流聚集查询预测领域已有的一些研究结果都未考虑流数据内在的复杂非线性动力学特征对预测的影响问题,该算法又利用了混沌理论中的局域预测思想解决了这一不足.实验结果表明,利用该算法进行预测具有很好的准确性.     

数据流上并行查询优化技术

主要讨论了DSMS的核心技术--查询优化;并讨论在高速数据流上的查询优化技术.着重致力于在shared-noohing网络并行环境下,探讨适合流的新型查询处理技术.     

一种基于变窗口的数据流连续查询方法

目前对数据流连续查询的研究工作大部分基于滑动窗口,窗口大小固定不变.本文从内存资源有限性与查询结果精确性角度出发,采用可变窗口技术,在缓存中加入窗口控制器,当数据到达缓存时,根据用户提出查询具体问题和数据流速情况,窗口分配算子对其进行窗口大小的划分.使得在内存资源有限的情况下,通过动态改变滑动窗口大小,充分利用系统资源,降低内存使用率的同时,使连续查询的查询结果都在允许的误差范围内,此方法经过验证是可行的.     

数据流系统中的查询处理机制

近年来,一种数据密集型的应用得到了广泛的关注。在这种应用中,数据不再来自于存储在永久介质上的数据库,而是以大量的、连续的、快速的、随时间变化的、无边界的数据流的形式到达。本文论述了当前数据流的产生背景、研究现状并且针对数据流应用中的种种特征,对数据流中的查询处理机制进行了深入讨论,包括查询分类、查询的特点及数据流系统中查询的处理方法。     

数据流持续查询系统的窗口语义研究

在需要处理数据流的应用系统中，数据流的达是持续的、无界的，传统对静态数据库进行分块查询处理的方式已不再适应这种数据流的无穷性．本文针对数据流持续查询应用的不同场合，提出在查询中使用滑动窗口、带符号的数据流及断言窗口机制，使传统的查询处理加上这些机制后能适应数据流的查询处理，     

大数据环境下的不确定数据流在线分类算法

在大数据环境下,由于隐私保护、数据丢失等原因,数据普遍存在不确定性;数据流系统中数据不断地到达系统,只扫描一遍且不能一次性全部获得;所以要构建一个增量分类模型来处理不确定数据流分类.本文基于VFDT算法提出了WBVFDTu算法,该算法在学习和分类阶段都可快速而有效地分析不确定信息.在学习期间,采用Hoeffding分解定理构造决策树模型;在分类期间,在决策树的叶子节点利用加权贝叶斯分类算法提高模型的分类准确率和算法的执行效率.最终证明该算法能够非常快速地学习不确定数据流,提高分类的准确率.     

基于粒子群优化算法的交通数据流聚类分析

针对交通数据流聚类分析过程中生成顺序的不确定性,提出了采用基于网格和密度的D-Stream算法对交通数据流进行聚类分析,并将粒子群优化算法引入聚类过程,从而对数据流聚类分析方法进行了改进,使数据聚类能够根据本身的密度极大值有序生成,增强了用户对聚类过程的控制能力.通过昆明市实测交通数据流进行聚类分析,得到了能够反映交通状况不同特征的聚类结果和动态的控制策略,并对交通数据流的相关研究工作提供决策支持.     

巨量数据流实时处理的新方法

在处理资源有限的情况下,传统的DBMS系统不能实时有效地处理和查询连续的和数量巨大的数据流,而DSMS作为解决此类问题的新方法得到广泛的研究。DBMS通过引入新算子和新的查询模型,提高了数据处理和查询的效率。首先介绍了DSMS的概念,分析了DSMS系统的原理与结构,然后对具有代表性的DSMS实例进行了介绍和比较。     

基于LBS的连续查询位置隐私保护模型的动态规划算法

针对现有的算法大多都是静态位置隐私保护的,如果将静态算法应用于动态的连续查询中,会导致位置隐私泄露,提出了一种基于连续查询的动态规划改进算法,旨在保护用户的位置隐私,仿真实验结果证明:该算法在匿名处理时间、匿名成功率和轨迹扭曲度等方面优于现有算法.     

基于ASWT的流数据弹性跳变检测算法

在迁移小波树的基础上提出了带放大器的迁移小波树(ASWT)结构,并基于该结构设计出了一个能够在线性时间内检测出弹性窗口中感兴趣的聚集的流数据弹性跳变检测算法.该算法不仅能够监测单调聚集(COUNT、SUM、MAX和MIN)跳变,也适应非单调聚集(AVG)跳变检测.输入数据流不受限制,可以是正数流、负数流或者正负数交错流.实验使用上海证券交易所的实时贸易数据监测交易高峰期和股票价格的涨停期,结果表明本算法是较高效的.     

数据流系统中链式调度算法的改进

在数据流处理系统中,数据到达的突发性要求调度策略具有适应性.链式调度算法在最小化内存使用量方面起到较好的作用,但使输出延迟增大,降低了数据流处理系统的吞吐量.对数据流系统中链式调度算法进行了改进,采用链式调度与先进先出调度相结合的方式,在满足降低系统存储需求的同时能保持较低的输出延迟.     

基于时间衰减的分布式数据流聚类算法

为了发现分布式数据流环境下的微簇,针对数据流的遗忘特性,提出一种基于时间衰减的数据流聚类算法.根据衰减模型增量式的处理局部站点,将局部模型发送给中心站点.中心站点对局部站点的微簇进行合并,生成全局聚类模型.通过真实数据和仿真数据的实验表明,该算法能够得到较好的聚类质量,并且有较好的伸缩性.