基于近似等深柱状图的数据流并行聚集算法

针对数据流并行聚集问题,提出了一种不同于关系数据和时间序列数据处理的并行聚集方法.为解决已经划分出的数据流元组无法再现的特点,提出能够感知数据流变化的采样算法对数据流采样.利用近似等深柱状图技术描述采样数据的分布特征,平均分配数据流量.使用时间聚集森林结构计算时间窗聚集.通过验证采样个数对并行聚集的影响,数据分布对近似划分向量算法性能的影响,测试数据流量与并行聚集加速比的关系,证明本算法能够高效地计算数据流聚集查询.     

移动环境中的位置依赖连续轮廓查询

针对移动环境中查询点快速移动时连续、高效输出给定搜索区域数据轮廓的问题,提出一种位置依赖连续轮廓查询算法(LDCS).该算法结合数据流技术,首先使用R树快速更新查询数据,然后利用两次连续计算时搜索区域的重叠性构造被动数据流,并对新增和失效数据分别进行处理,从而连续输出轮廓.由于充分利用了已有结果,LDCS的计算量较传统算法有大幅下降.实验结果表明,LDCS特别适合计算频度要求较高的场合,与基于网格索引的算法相比,时间效率随着数据集规模的增大显著提升.     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

数据流管理系统关键技术研究

传统数据库系统用于需要持久稳固的数据存储和复杂查询的应用,然而近几年许多的应用证明这种数据模式和查询范例是不适合的,如传感器数据位置跟踪、工厂装配线管理、金融证券管理、Internet流量监控、Web使用日志、电话呼叫记录、和事务日志的在线分析等,在这些应用背景中信息按照数据值序列的形式自然产生,都需要及时地处理大规模的潜在快速的异步的数据流.本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况;分析了连续查询处理的新需求和挑战;重点研究包括数据模式,系统结构,连续查询语言,调度方法,相关算法和查询评价等关键技术.     

传感器数据流上模糊预测系统的研究

为了利用基站(Sink)上现有的数据来及时地响应用户的查询,采用数据流上的金字塔时间模型来维护传感器数据流上不同时刻的聚集值,并利用这些聚集值生成模糊预测系统,通过该预测系统做出的预测来近似及时地响应用户的查询,在Sink上采用预测的方法,传感器新感知的数据可以不必立即向Sink传输,可以节省传感器网络结点的能量。     

基于混合处理模型的乱序数据流分布式聚合查询处理技术

为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用户给定的结果质量,限制自适应地优化流处理模块所用的缓冲区大小,从而尽可能降低流处理的查询处理延迟;另一方面基于备份于分布式数据存储系统的历史流数据,并以批处理的方式实现对极其晚到流元组的查询处理,从而保障聚合查询结果的最终正确性。基于真实的乱序数据流数据集对该技术进行测试分析表明:该技术在平均查询处理时延、查询结果精度和系统可扩展性方面,比目前最好的基于缓存的乱序数据流处理技术均具有显著优势。     

一种数据流上基于截止期的多查询过载预测模型

为保证数据流上查询处理的实时性要求,定义了截止期作为连续查询的实时性约束,提出了一种数据流上基于截止期的多查询过载预测模型.模型预测的过载点给出了能够保证数据流系统内所有查询满足各自截止期的临界情况.在多查询环境下,通过找到某一查询作为截止期瓶颈,使得该查询处理结束后剩余查询的处理能力正好大于系统的输入流速,从而计算出过载点.仿真实验结果证明,该模型预测出的过载点能够保证所有查询满足各自的截止期,并且预测算法具有良好的准确性和计算复杂性.     

舰船运动姿态极短期预报算法研究

舰船运动姿态数据流的极短期实时预报可以帮助决策者在决策过程中更好地分析问题、评价和制定方案,具有很好的参考价值,故着重对该部分进行研究。考虑到六自由度运动中横摇的影响,故主要针对舰船横摇运动姿态数据流序列具有混沌属性并且连续量大的特点,结合数据流挖掘理论框架,提出了一种基于小波变换的递推最小二乘(recursive least square,RLS)的Volterra核估计算法,用于对监测系统中采集到的连续的横摇运动姿态数据流进行实时预报研究。该方法首先对姿态数据流概要结构进行获取,然后利用小波阈值降噪,最后将降噪处理的数据利用RLS的Volterra核估计算法进行实时预报。通过在舰船横摇运动姿态预报的实践验证表明,该算法可很好地解决运动姿态数据流在线自适应预报问题。     

基于数据流的时间条件占优查询

传统的偏好推理使用权衡增强的条件偏好网络（Tradeoff-Enhanced Conditional Preference Networks,TCP-nets）进行用户的偏好推理，不仅能高效地表示对元组的定性偏好关系并优化用户偏好结果，还能描述每个属性之间的偏好关系，其主要聚焦于关系元组中的单个属性的偏好.但把对条件偏好查询的技术推广到数据流的条件提取却是一个挑战，面临的技术困难主要是对数据流中序列的提取，对提取的序列进行占优查找等.首先，针对偏好数据流，提出一种时间条件查询语言Stream Pref来处理数据流；其次，在Stream Pref中加入时间索引来推理和规范数据流提取序列的时间条件偏好，提出提取对象序列算法、占优对象及占优序列查找算法和数据流序列间占优对比的算法；最后，在数据集上分析验证提出的算法的有效性.实验结果证明，提出的算法与min Top-k,Partition和Incpartition算法相比，得到的结果更准确.     

混沌特性时间序列线性变换理论方法及其应用

通过对时间序列的相空间的重构,用G-算法、Wolf算法证明了混沌时间序列经过线性变换后其关联维数、Lyapunov指数以及Kolmogorov熵大小不变,从而得出了线性变换后混沌时间序列的混沌特性保持不变的结论.同时将这一理论和热力学中的相似实验相结合,验证了实验模型系统进入混沌则实际系统必也能够在相应时刻进入混沌状态.该结论被成功应用到对汽包水位晃荡幅值的测量当中,验证了汽包水位的晃荡幅值具有混沌特性,并成功地对该时间序列进行了预测.     

复合滑动窗口连接算法

滑动窗口是对数据流进行连续查询处理、得出近似查询结果的一种常用的数据采样技术．连续查询处理的执行方式有2类：一类是立即执行方式；一类是周期执行方式、在已有的研究工作中，基于滑动窗口的连接算法都是适用于立即执行的连续查询．提出了适用于周期执行的连续查询的复合滑动窗口连接算法，即CSWSNLJ算法和CSWSNHJ算法．理论分析和试验结果表明CSWSNHJ算法具有较好的性能．     

一种基于可变滑动窗口的数据流分段聚类算法

数据流的应用越来越广泛,数据流挖掘成为数据挖掘的重点研究方向之一。在分析各种数据流聚类算法的基础上,提出了一种基于可变滑动窗口的数据流分段聚类算法。算法以时间序列数据流模式表示技术为参考,以去除噪音和压缩数据为目的,实现了数据流的特征提取和概要存储。实验表明,算法具有低时空复杂度、自适应等特点。     

基于混沌理论和MEA-BPNN模型的快速路短时交通流预测

为提高短时交通流预测的精度,在分析北京市二环路实测交通流数据时空特性和混沌性的基础上,利用混沌理论方法对交通流量时间序列进行相空间重构,并基于思维进化算法提出一种改进的BP神经网络模型,将重构的时间序列数据作为模型输入进行交通流预测。结果表明,基于该模型的预测结果与基于传统BPNN模型的预测结果相比,均方根误差、平均绝对误差和平均绝对百分误差分别下降31.11%、20.71%和37.28%,证明了模型具有更精确的预测能力。     

基于二次分解与LSTM的金融时间序列预测算法研究

现有结合特征提取与预测模型的方法不能准确把握金融时间序列的混沌性与交互性,导致预测精度不高。针对此问题,提出一种基于二次分解与长短期记忆(long short term memory, LSTM)网络的金融时间序列预测算法。使用变分模态分解方法与集成经验模态分解方法依次解析金融时间序列数据,得到能表达数据混沌性特征的模态;将模态信息输入到融合有因子分解机(factorization machine, FM)的长短期记忆网络模型中,融合获取到的长记忆性特征与交互性特征,进而预测最终的结果;选取沪深300指数的历史数据作为实验数据集,通过多组对比实验验证算法的有效性。实验结果表明,提出的算法可以有效提升模型的预测能力,同时表达金融时间序列的混沌性、长记忆性、交互性。     

在线数据流的连续限制查询算法

提出并实现一个基于持续限制查询的在线系统,使其能在网络日志数据流中,当满足一定条件的事件时自动发出警告;而条件是根据用户需要而设定的,用来侦测可能严重破坏网站正常运作的行为.分析并评测时间索引算法、无时间索引算法、紧过期时间算法、紧过期时间无索引算法、多查询并行算法5种算法的性能,结果表明,单个查询时,无时间索引算法是最好的选择;而在多个查询时,多查询并行算法是最佳的算法.     

基于路径频率树的XML流数据剪切分片技术

与传统数据库对XML数据的处理不同,对XML流数据的处理不仅受实时性的约束,还受存储空间的限制.在Hole-Filler模型的基础上,首先利用XML的查询统计信息,定义了路径频率树,提出了基于兄弟关系的XML流数据剪切分片策略及其算法.在此基础上,提出了基于父子关系的XML流数据剪切分片策略及算法.这两个基于路径频率树的剪切算法有效地提高了XML片段的利用率,增强了XML片段的内聚性.实验结果表明,基于路径频率树的XML剪切算法在剪切时间、查询时间、空间消耗等方面都表现出较好的性能.     

基于改进黑洞算法优化ESN的网络流量短期预测

网络流量数据序列具有混沌特性.相空间重构后,采用一种改进黑洞算法优化回声状态网络的非线性模型对网络流量进行预测.改进黑洞算法是在现有工作的基础上提出一种新的新解生成机制,可以提高算法的收敛速度和精度;相比于遗传算法、和声搜索算法等其他优化算法,所提出的改进黑洞算法不依赖自身相关参数的准确设定;将其应用于回声状态网络4个重要参数的优化选取,使得预测模型具有较好的预测稳定性.通过Mackey-Glass混沌时间序列和网络流量公共数据集的仿真实验,结果表明所提出的方法具有较好的预测性能.     

基于CPSO和SVM的混沌时间序列预测

提出了一种改进的支持向量机（SVM）混沌时间序列预测精度的方法。对于模型参数估计,引入混沌粒子群优化算法（CPSO）实现全局寻优,利用支持向量回归实现非线性系统的建模和预测。对Mackey-Glass混沌时间序列进行了预测实验的结果表明,本文方法能对Mackey-Glass混沌时间序列进行准确预测。     

风电场风速时间序列的复杂动力学特性分析

利用混沌理论对风电场风速数据进行了相空间重构,首先由C-C方法计算出嵌入维数和延迟时间,然后采用G-P算法计算出吸引子关联维数,最后用小数据量改进算法得出风速时间序列的最大Lyapunov指数,由计算结果发现风电场风速时间序列具有混沌特性,为利用混沌预测方法进一步提高风速预测精度提供参考.