QPAAS：一种在线多数据流自适应分段算法

数据流分段是数据流处理技术的基本任务，然而，它在多数据流环境下并不是一个小问题。该文提出了一个高效算法（即QPAAS算法），它能实时处理多个数据流分段。该算法利用了PAA技术中的增量计算特性，能快速处理单个数据流分段。为了处理多个数据流，它索引所有数据流的当前分段到一颗B^＋树中，这样算法即可实时分段多个数据流。在真实的数据流上的多个实验表明，QPAAS算法有效而高效，仅具有线性时间和空间复杂度。而且，它比传统的PAA分段算法快几个数量级。     

基于基因表达式编程的多数据流分类并行算法

针对传统决策树分类算法在多数据流分类的正确率和处理速度存在的不足,提出了一种基于基因表达式编程(GEP)的多数据流分类并行算法,以提高多数据流分类的正确率和处理速度.根据GEP在数据分类上的优势,运用GEP原理和数据流段中分类目标相似属性合并构造多数据流分类算法,并对多数据流分类算法进行并行设计与分析,在多核PC上进行对比实验.实验结果表明:该串行与并行分类算法均优于传统算法,且在多样本上具有较好的加速比.     

跟踪局部相关数据流的高效模型

提出了一种针对数据流局部模式的斜率时长距离函数(SDD).能自动适应局部模式长度的变化且方便增量计算.建立了一种监视数据流局部相关模型(MLCDS),该模型基于点对线性近似(PLA)和提出的网格结构技术,大大减少了计算成本.实验结果表明MLCDS模型在成千上万的数据流环境下具有很高的效率,相对线性扫描方法在性能上提高了几个数量级,且保持了很高的精度.     

基于GEP的多数据流预测算法

针对传统的基于线性回归预测建模方法只能适应简单的预测建模和只能预测未来窗口平均值的不足,提出了基于基因表达式编程(gene expression programming,GEP)的多数据流预测方法。在多数据流环境中使用滑动窗口对多数据流的划分方法,给出了多数据流环境中的数据流名称的定义,揭示了这些数据流之间存在的映射关系;进而提出了对多数据流进行预处理的方法,并建立了基于GEP的多数据流的自适应预测模型。使用真实数据进行实验,验证了算法的有效性。     

不确定数据流上的离群点检测处理

提出了一种快速不确定数据流上的离群点检测算法. 采用分层次划分思想给出了适用于流式数据的索引构建方法,并为索引结构中的叶子结点增加了部分存储信息,使得在数据更新时新流入的数据点可以利用中间结果信息直接完成批量过滤,降低计算成本. 通过分析离群概率值求解的递推规律,给出了一种全新的离群概率值求解方案,该方案可以最大可能地避免全近邻集合的迭代计算,减少了大量的非离群点计算代价,从而加快处理速度. 实验结果表明,快速不确定数据流上的离群点检测算法能够有效地提高检测效率.     

基于采样点曲面重构的拓扑算法的研究

针对带噪声点的点云数据提出了一种曲面重构的新算法,称为TSR Topological Surface Reconstructor(拓扑曲面重构算法).这种算法避免了在很多重构算法中一般使用的如单元格标记以及距离函数近似的大量计算.定义在Delaunay四面体拓扑元素中的一个离散的Morse函数可以计算一个算法所使用的离散的梯度域,决定哪些面属于多面近似.离散Morse理论为该种方法提供了基础,它为算法提供了一个拓扑框架来导出一个曲面的分段线性近似.最后提供了一些重构的结果,并把TSR的性能与其它某些点集重构算法进行了比较.     

基于近似等深柱状图的数据流并行聚集算法

针对数据流并行聚集问题,提出了一种不同于关系数据和时间序列数据处理的并行聚集方法.为解决已经划分出的数据流元组无法再现的特点,提出能够感知数据流变化的采样算法对数据流采样.利用近似等深柱状图技术描述采样数据的分布特征,平均分配数据流量.使用时间聚集森林结构计算时间窗聚集.通过验证采样个数对并行聚集的影响,数据分布对近似划分向量算法性能的影响,测试数据流量与并行聚集加速比的关系,证明本算法能够高效地计算数据流聚集查询.     

一种数据流上基于截止期的多查询过载预测模型

为保证数据流上查询处理的实时性要求,定义了截止期作为连续查询的实时性约束,提出了一种数据流上基于截止期的多查询过载预测模型.模型预测的过载点给出了能够保证数据流系统内所有查询满足各自截止期的临界情况.在多查询环境下,通过找到某一查询作为截止期瓶颈,使得该查询处理结束后剩余查询的处理能力正好大于系统的输入流速,从而计算出过载点.仿真实验结果证明,该模型预测出的过载点能够保证所有查询满足各自的截止期,并且预测算法具有良好的准确性和计算复杂性.     

基于滑动窗口的含负项高效用模式挖掘方法

现有的面向数据流的高效用模式挖掘方法局限性之一在于假定数据都带有正的效用值,且在挖掘过程中使用效用列表会消耗大量的时间和内存.为了解决以上问题,首次提出在数据流中挖掘含负项的高效用模式挖掘算法,在算法中设计了一种新颖的列表索引结构(list index structure,LIS),LIS包括数据段和索引段,依据索引段...     

基于统计的自适应窗数据流离群点检测算法

使用滑动窗口的统计方法进行数据流离群点检测,是一种有效的在低纬度下进行离群点查找的方法,但是该法无法处理数据密度不均匀的数据流.据此提出一种自适应的基于统计的数据流动态检测算法.首先利用局部数据欧式空间中距离的数学期望和方差找到一个合适的k阶邻域,然后对这个k阶邻域内数据点的欧式距离和进行基于统计的离群点检测,实现自动适应数据流中稀疏段和稠密段的密度变化.理论和实验结果均表明,该算法可以有效地解决数据流离群点检测问题.