复合滑动窗口连接算法

滑动窗口是对数据流进行连续查询处理、得出近似查询结果的一种常用的数据采样技术．连续查询处理的执行方式有2类：一类是立即执行方式；一类是周期执行方式、在已有的研究工作中，基于滑动窗口的连接算法都是适用于立即执行的连续查询．提出了适用于周期执行的连续查询的复合滑动窗口连接算法，即CSWSNLJ算法和CSWSNHJ算法．理论分析和试验结果表明CSWSNHJ算法具有较好的性能．     

基于滑动窗口的动态数据流聚类算法研究

数据流聚类算法是当前数据流研究领域里的重要分支,而滑动窗口是数据流中一种关注近期数据的近似方法,提出一种采用滑动窗口处理数据的优化算法SWStream.算法采用双层架构思想,在线阶段利用滑动窗口树存储概要结构,动态调整窗口大小.而在离线阶段对上一阶段的结果进行宏聚类,得到最后的结果.实验验证本算法有更高的处理效率,也相对节约内存.     

滑动窗口内动态数据流聚类算法研究

滑动窗口是数据流中一种关注近期数据的近似方法,提出一种采用滑动窗口处理数据的优化算法SWStream。在线阶段利用滑动窗口树存储概要结构,动态调整窗口大小。优化后的算法能及时淘汰过期元组,同时对新到达的元组不断进行实时处理,可以获得更准确的分析结果。而在离线阶段对上一阶段的结果进行宏聚类,得到最后的结果。与聚类算法CluStream相比,此算法处理数据的效率更高,也相对节约内存。     

数据流窗口查询语义的局限性及改进方法

在数据流处理系统普遍使用滑动窗口查询模型来解决数据流的持续查询问题.对一些特殊的查询类型,在使用滑动窗口查询时无法完全达到查询要求,通过引入条件窗口对滑动窗口模型进行更一般化的扩展和改进,可以解决滑动窗口语义在处理这一类型查询中的局限性.     

数据流上的轮廓查询算法

采用滑动窗口技术对数据流进行近似,提出了两种数据流上的轮廓查询方法:CCS算法和PCS算法.CCS算法能够实时反映数据的变化,内存空间的利用率也较高.PCS算法则适合周期性更新的应用环境,有利于节约CPU资源.实验结果证明所采用的算法是有效的.     

数据流滑动窗口连接的自适应降载策略

连接操作是一种应用广泛的查询类型,在对DSMS进行降载时,必须考虑连接查询的降载问题.针对滑动窗口连接查询,构建一种基于不同等级基本窗口的滑动窗口内部结构.采用部分连接的方式实现CPU过载情况下的降载,采用基于基本窗口重要性的语义丢弃方式实现内存不足情况下的降载.实验结果表明所采用的算法有效.     

面向高速乱序流的top-k连续查询方法

提出一种面向高速乱序流的top-k连续查询方法.使用基于缓存的方法等待迟到元组,但不对缓冲区内数据进行排序,通过统计运行信息实现缓存时长自适应,然后使用改造的MinTopk算法计算当前窗口的top-k结果集.实验结果表明,该方法在高速乱序流上实现了高效的top-k查询,在保证用户允许的最小正确率的情况下计算出最小缓存时...     

基于滑动窗口中包排序的网络隐写方法

针对TCP传输控制协议的网络隐写方法存在着受限于网络环境、隐藏容量低等问题,提出了基于滑动窗口中包排序的网络隐写方法.利用TCP协议中发送方可根据网络环境构造滑动窗口大小和TCP可靠传输的特点,通过滑动窗口数值的奇偶性和滑动窗口中包的顺序隐藏秘密消息.与其他方法相比,在不增加其他资源开销的情况下,发送方在发送秘密消息时...     

基于时间窗口权值的数据流分类算法

针对不同时间段的数据流对当前数据流分类影响程度不同,在滑动窗口技术基础上提出了时间窗口权值的频繁模式(TWWFP)分类算法.首先,对滑动窗口中的每个基本窗口赋予一个与时间有关的窗口权值;然后,采用TWWFP-Tree结构存储当前滑动窗口中每个基本窗口中的频繁数据属性,实时更新TWWFP-Tree结构;最后,检测相邻3个滑动窗口中权值属性的平均分类误差,发现突变后及时减少下一个滑动窗口的长度可适应数据流的变化.实验证明该分类算法比没有时间窗口权值分类算法的精确度最大提高3%.     

时间滑动窗口上数据流极值聚集的空间优化

传统的数据流极值聚集方法在极端情形下为获得连续的精确解,会因维护大量候选项而导致巨大的内存开销,为此文中提出了一种时间滑动窗口上内存有界的极值聚集方法.在候选项数量达到指定阈值时,该方法随机抽样新到达窗口的数据,使得内存维护有限数量的候选项,连续返回极值近似解.设计了一种空间有界的摘要数据结构REx-link,可以在有界的内存中基于随机抽样进行维护,实现时间滑动窗口上的数据流极值聚集.从理论上证明了随机算法的出错概率存在上界,并通过仿真实验分析了算法的返回结果与精确解的近似程度.分析表明,计算精度和空间开销的折中是实际应用可接受的.     

一种基于滑动窗口的一趟数据流聚类算法

在海量的动态数据流中发现有价值的知识,是数据挖掘技术研究的重要问题.研究数据流聚类,根据数据流的特点,提出了一种基于滑动窗口的一趟数据流挖掘的算法,对原有的一趟数据流聚类算法进行了改进,增强了一趟数据流聚类算法的扩展性,改进了数据流聚类的质量.     

滑动窗口下数据流完全加权最大频繁项集挖掘

针对当前关于数据流加权最大频繁项集WMFI(weighted maximal frequent itemsets)的研究无法有效地处理频繁阈值和加权频繁阈值不一致情况下WMFI的挖掘问题,提出了完全加权最大频繁项集FWM FI(full w eighted maximal frequent itemsets)的概念.为了减少naive算法在处理滑动窗口下完全加权最大频繁项集挖掘时存在的冗余运算,提出了FWMFI-SW(FWMFI mining based on sliding window over data stream)算法.所提出的算法通过基于频繁约束条件的优化策略减少了naive算法中M ax W优化策略的无效调用次数;采用编辑距离比率作为WMFP-SW-tree的重构判别函数,可以有效减少该树的重构次数.实验结果表明FWMFI-SW算法是有效的,且比naive算法更有时间优势.     

一种基于可变滑动窗口的数据流分段聚类算法

数据流的应用越来越广泛,数据流挖掘成为数据挖掘的重点研究方向之一。在分析各种数据流聚类算法的基础上,提出了一种基于可变滑动窗口的数据流分段聚类算法。算法以时间序列数据流模式表示技术为参考,以去除噪音和压缩数据为目的,实现了数据流的特征提取和概要存储。实验表明,算法具有低时空复杂度、自适应等特点。     

基于GEP的多数据流预测算法

针对传统的基于线性回归预测建模方法只能适应简单的预测建模和只能预测未来窗口平均值的不足,提出了基于基因表达式编程(gene expression programming,GEP)的多数据流预测方法。在多数据流环境中使用滑动窗口对多数据流的划分方法,给出了多数据流环境中的数据流名称的定义,揭示了这些数据流之间存在的映射关系;进而提出了对多数据流进行预处理的方法,并建立了基于GEP的多数据流的自适应预测模型。使用真实数据进行实验,验证了算法的有效性。     

数据流挖掘技术

简要概述了数据流挖掘技术,探讨了数据流的特点.数据流的概念漂移现象,给数据流上的数据挖掘带来很大困难.由于计算机的内存有限,数据窗口技术只针对最近的数据,而最近的数据常常导致数据挖掘系统中的分类器过配,文中介绍了解决这一问题的方法,并讨论了数据流挖掘技术的应用.     

基于时间滑动窗口的自适应加权随机抽样算法

为了构建传感器网络流数据的概要数据,给出了一种基于时间滑动窗口的自适应加权随机抽样算法:AWRS/BTSW算法.算法根据流数据的到达时间和变化情况,赋予流数据一定的键值,根据流数据的键值并结合skipping因子生成概要数据.在深海平台监测系统中,流数据变化不确定,算法可以根据数据的变化情况动态调整抽样方式,在数据变化不稳定的情况下,生成概要数据的准确性高;在数据变化稳定的情况下,生成概要数据的效率高.     

抗阻塞干扰的低速率语音编码传输算法

为满足在跳频信道上的语音传输需求,研究了一种抗阻塞干扰的"滑动窗"语音传输算法。将传输码流均匀地分成若干片段,用定长的"滑动窗"在码流上滑动并截取其中的一段连续片段作为某跳频点的数据。接收端比较连续若干跳的重叠部分,判断并恢复出"坏跳"数据。对每个片段进行差错控制保护,通过"联合最大后验概率译码"的方法抵抗更高误码率的影响。测试表明:在有阻塞干扰的跳频信道上,"滑动窗"算法的分段信噪比平均高出传统的连续可变斜率增量调制算法20dB。