基于直方图的数据流降载策略研究

提出了基于直方图的降载策略,能很好地减缓在过载发生时系统性能的下降.降载的目标在于删除过载数据的同时尽可能地保持数据流的特征.为了处理大量被延迟的数据,构建了一种塔形矩阵的数据存储结构,利用其对过载数据分桶,每桶提取一个代表数据并删除该桶中其余数据,将每个桶的代表数据组成新的数据流参与查询操作.实验结果表明:这种降载方法能有效减少系统负担,生成的新数据流参与数据流查询后所得查询结果错误率较低,其性能优于其他已有算法.     

数据流滑动窗口上的一种多聚集查询共享策略

基于如何提高多个聚集查询的查询效率,提出了一种共享链树结构的多查询聚集计算共享策略.利用每个滑动窗口逻辑地将链树划分成若干子树,它们各自根节点中的聚集值恰好就是每个查询对应的结果值.数据流上多个查询可以在同一棵链树上并发执行,避免了每个查询的重复建树.同时,利用链树本身可降低无用的重复比较的性质,使得多个查询在同一棵链树上只需进行少量更新比较就可求得每个查询的新聚集值.实验证明,多个查询共用同一链树结构,可以最大程度地共享资源,减小内存使用量,因此大大提高了数据流上的查询处理效率,加大了数据流上的任务吞吐量,改善了系统性能.     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

数据流处理系统的负载控制策略研究

在高速网络数据流查询处理系统中,数据到达可能是突发性的,对数据流的实时查询处理要能适应数据流的特性和网络的波动环境,应用闭环控制理论进行系统负载控制,充分利用系统资源,在系统过载时降低存储需求,提高适应性和精确度.     

一种基于混沌理论的数据流连续聚集查询预测算法

为了有效地预测聚集查询的未来聚集值,提出了一种基于混沌理论的数据流连续聚集查询预测未来聚集值算法——CSPA算法.数据流看作是以数据到达时间为序的一个时间序列,借鉴传统时间序列分析技术探讨了连续聚集查询的未来聚集值预测问题,但由于数据流序列与传统时间序列在时间间隔和数据集的处理上存在很大差别,于是采用流滑动窗口技术加以处理.其次,针对目前数据流聚集查询预测领域已有的一些研究结果都未考虑流数据内在的复杂非线性动力学特征对预测的影响问题,该算法又利用了混沌理论中的局域预测思想解决了这一不足.实验结果表明,利用该算法进行预测具有很好的准确性.     

基于PLA的多数据流自适应分段算法

提出了一种基于点对线性近似的多数据流自适应分段算法,即快速点对线性近似的时序流(QPLAS)算法,它能够实时地对多数据流进行分段.采用一次扫描和滑动窗口工作机制,其主要思想是增量计算方法,能够在O(1)的时间复杂度内连续计算每个段的近似错误.为了同时处理多个数据流分段,将所有数据流当前未完成的段索引到一个B+树索引当中.这样,QPLAS仅占用少量内存即可高效处理多个数据流的分段.实验结果表明QPLAS比传统方法快1～2个数量级.     

面向社交数据流连续查询的基准评测

社交数据流上的连续查询处理具有广泛的应用,但其处理技术仍不成熟.本文对社交数据流上的连续查询问题进行建模,定义数据特征、负载类型与分布,以及性能测度.在此基础上,提出一个面向该问题的基准评测.该工作对社交数据流处理应用的系统选型、相关查询处理技术性能比较具有重要意义.     

一种嵌入式系统自适应调度算法研究

在优先级调度策略的基础上,引入自适应调度策略来降低调度错失率,采用任务分组的方法,通过判断函数动态地选择调度策略,利用可达截止期优先来降低任务错失率,保证了全局优先级高的任务的调度成功率.理论分析和仿真实验表明,在非过载的情况下,该算法可以达到与可达截止期优先策略相当的调度性能;在过载的情况下,相比截止期优先和固定优先级算法具有更好的调度性能,能够有效地保证关键实时任务的成功调度.     

传感器数据流上模糊预测系统的研究

为了利用基站(Sink)上现有的数据来及时地响应用户的查询,采用数据流上的金字塔时间模型来维护传感器数据流上不同时刻的聚集值,并利用这些聚集值生成模糊预测系统,通过该预测系统做出的预测来近似及时地响应用户的查询,在Sink上采用预测的方法,传感器新感知的数据可以不必立即向Sink传输,可以节省传感器网络结点的能量。     

嵌入式系统动态策略任务调度算法

针对嵌入式实时系统任务调度问题,讨论综合截止期和关键度两种特征参数的任务调度策略。引入动态策略的概念,采用任务分组优先级分段的方式,通过判断函数的判断动态选择调度策略,利用可达截止期优先降低任务错失率,关键保证重要任务的调度成功率,提出一种动态截止期-关键度调度算法。理论分析和仿真实验表明,在非过载的情况下该算法可以达到与可达截止期优先相当的调度性能;在过载的情况下,相比截止期优先和固定优先级算法具有更好的调度性能,能够有效地保证关键实时任务的成功调度。     

复合滑动窗口连接算法

滑动窗口是对数据流进行连续查询处理、得出近似查询结果的一种常用的数据采样技术．连续查询处理的执行方式有2类：一类是立即执行方式；一类是周期执行方式、在已有的研究工作中，基于滑动窗口的连接算法都是适用于立即执行的连续查询．提出了适用于周期执行的连续查询的复合滑动窗口连接算法，即CSWSNLJ算法和CSWSNHJ算法．理论分析和试验结果表明CSWSNHJ算法具有较好的性能．     

一种无线传感器网络中基于缓冲区管理的查询处理方法

对于大型无线传感器网络中要求同时支持大量的周期查询和ad hoc查询的软实时应用,提出了一种查询处理方法.设计网络存储结构,为查询处理设置合适的执行区域使其形成查询处理缓冲区,缓冲区内的节点映射了远程节点数据,并使查询和数据在缓冲区汇聚,及时得到处理.基于排队论建立缓冲区中查询任务管理模型,设计其优化策略,得到缓冲区的合适宽度和位置,并基于此设计查询处理算法.实验结果表明,该方法可以降低查询错失率并节约能量.     

面向高速网络的数据流处理模型研究

高速网络中实时大容量数据流处理的需求，显现出传统基于静态数据集的数据库管理系统的不足．本文从数据流的特性出发，分析了数据流处理的设计要求，给出数据流处理模型和方法。     

A solution of spatial query processing and query optimization for spatial databases

Recently, attention has been focused on spatial query language which is used to query spatial databases. A design of spatial query language has been presented in this paper by extending the standard relational database query language SQL. It recognizes the significantly different requirements of spatial data handling and overcomes the inherent problems of the application of conventional database query languages. This design is based on an extended spatial data model, including the spatial data types and the spatial operators on them. The processing and optimization of spatial queries have also been discussed in this design. In the end, an implementation of this design is given in a spatial query subsystem.     

A solution of spatial query processing and query optimization for spatial databases

Recently, attention has been focused on spatial query language which is used to query spatial databases. A design of spatial query language has been presented in this paper by extending the standard relational database query language SQL. It recognizes the significantly different requirements of spatial data handling and overcomes the inherent problems of the application of conventional database query languages. This design is based on an extended spatial data model, including the spatial data types and the spatial operators on them. The processing and optimization of spatial queries have also been discussed in this design. In the end, an implementation of this design is given in a spatial query subsystem.     

遗传算法优化分布式数据库查询

分布式关系数据库最优化查询是一个组合最优化问题。这篇论文从初始到潜在研究了遗传算法用于优化分布式查询。遗传算法使用树结构编制交叉和变异操作相结合的数据模型。最优化查询是一个必须实时执行的任务,一个要求在开始搜索时很好的执行的技术,而且也要避免早收敛现象。遗传算法的局部搜索阶段来传送实时性能的要求,减少查询过程的费用。     

阈值上限一定时超大规模数据库的查询方法研究

在确定查询阈值上限时,当前数据库查询方法只能使用查询树的一条路径,并行性能较差;在对超大规模数据进行查询时,具有查询时间长、响应不及时的弊端。为此,提出一种新的阈值上限一定时超大规模数据库的查询方法,通过RSA算法对超大规模数据库进行加密和解密处理,依据多叉树的定义构造多叉索引树,在此基础上计算各代表数据点与查询点之间的距离;在阈值上限一定时,利用多个从节点机并行处理后,使用主节点机汇集结果,运用后续子树递归处理,直至获取查询结果。实验结果表明,所提方法不仅具有很高的查询效率,而且CPU使用率很高。     

基于混合处理模型的乱序数据流分布式聚合查询处理技术

为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用户给定的结果质量,限制自适应地优化流处理模块所用的缓冲区大小,从而尽可能降低流处理的查询处理延迟;另一方面基于备份于分布式数据存储系统的历史流数据,并以批处理的方式实现对极其晚到流元组的查询处理,从而保障聚合查询结果的最终正确性。基于真实的乱序数据流数据集对该技术进行测试分析表明:该技术在平均查询处理时延、查询结果精度和系统可扩展性方面,比目前最好的基于缓存的乱序数据流处理技术均具有显著优势。     

数据流管理与挖掘研究

20世纪末,为适应网络监控、商业交易管理和分析等应用的要求,数据流技术应运而生;该文回顾了近年来国内外在该领域的研究进展,总结了数据流的特点、模型及其算法,对数据流管理和挖掘的关键技术进行了分析,并进一步提出了数据流技术研究的方向。