数据流处理技术

处理潜在无限的连续数据流的应用日益流行，传统数据库对快速变化的数据流进行在线分析的支持存在很多限制，需要对已存在的技术进行广泛的扩展研究，构建新的系统管理数据流．本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况；分析了连续查询处理的新需求和挑战及数据流系统新颖之处．并提出在数据流研究方面的一些新看法。     

数据流持续查询系统的窗口语义研究

在需要处理数据流的应用系统中，数据流的达是持续的、无界的，传统对静态数据库进行分块查询处理的方式已不再适应这种数据流的无穷性．本文针对数据流持续查询应用的不同场合，提出在查询中使用滑动窗口、带符号的数据流及断言窗口机制，使传统的查询处理加上这些机制后能适应数据流的查询处理，     

数据流挖掘研究

数据流挖掘技术是数据挖掘领域的新研究方向之一。本文介绍了数据流基本特点以及数据流模型的基础上,对流行的数据流处理技术和现有数据流挖掘算法进行了总结,并进一步提出了数据流挖掘技术的研究方向和前景。     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

QPAAS：一种在线多数据流自适应分段算法

数据流分段是数据流处理技术的基本任务，然而，它在多数据流环境下并不是一个小问题。该文提出了一个高效算法（即QPAAS算法），它能实时处理多个数据流分段。该算法利用了PAA技术中的增量计算特性，能快速处理单个数据流分段。为了处理多个数据流，它索引所有数据流的当前分段到一颗B^＋树中，这样算法即可实时分段多个数据流。在真实的数据流上的多个实验表明，QPAAS算法有效而高效，仅具有线性时间和空间复杂度。而且，它比传统的PAA分段算法快几个数量级。     

将向量处理引入数据流计算机

数据流计算机解决了多机系统存储器延时和同步２个不易解决的基本问题，可以充分利用程序的各级并行成分．这种计算机在算术运算等方面性能优越，但在结构数据（如向量）处理方面开销大、效率低．将向量处理技术引入数据流计算机，能有效地解决这个问题．通过在类似Ｍａｎｃｈｅｓｔｅｒ的数据流计算机上增加向量处理功能，并进行了矩阵乘运算的模拟．结果表明，增加向量处理后，矩阵乘运算的效率比近几年提出的Ｍｏｎｓｏｏｎ和Ｅｐｓｉｌｏｎ等数据流计算机提高一倍，甚至２倍以上．     

数据流处理系统的负载控制策略研究

在高速网络数据流查询处理系统中,数据到达可能是突发性的,对数据流的实时查询处理要能适应数据流的特性和网络的波动环境,应用闭环控制理论进行系统负载控制,充分利用系统资源,在系统过载时降低存储需求,提高适应性和精确度.     

数据流上基于属性最优分类的熵判定树构造方法

讨论了基于最优属性分类的熵构造判定树数据流挖掘算法,阐明算法中如何处理分枝属性、选取最优属性以及数据清理及剪枝等关键环节,可及时快速的对数据流进行及时有效的处理,此方法可满足数据流聚类的应用要求。     

基于数据流表达式的程序数据流分析算法

以形式化的方法论述了程序数据流分析的基本原理，给出了数据流表达式的概念。并在此概念的基础上，给出了一个找出程序数据流异常的数据流分析算法。本算法通用性强，运用本算法不难开发出相应的程序测试辅助工具，具有一定的实用价值     

数据流管理与挖掘研究

20世纪末,为适应网络监控、商业交易管理和分析等应用的要求,数据流技术应运而生;该文回顾了近年来国内外在该领域的研究进展,总结了数据流的特点、模型及其算法,对数据流管理和挖掘的关键技术进行了分析,并进一步提出了数据流技术研究的方向。     

面向流数据的实时处理及服务化系统

流数据的处理需求复杂多变,业务人员要进行相应的算法定制,不仅需要相关的编程知识,更要应对繁琐的处理流程和冗长的开发周期。为解决上述问题,文中设计并实现了基于流程建模的流数据处理及服务化系统,提供了对于多源流数据的实时接入,流数据服务化以及流数据处理服务化的能力。该系统将流数据处理过程封装为服务提供给用户,允许用户拖拽组合流数据处理和服务化模块、配置相关参数,定义流数据处理及服务化的过程,快速又自然地实现流数据处理及服务化的任务,将处理结果经由服务路由实时推送到其他应用系统,满足不同的业务需求。案例分析表明,与传统的流数据处理系统相比,本系统具有高效、灵活、可配置等特点,在实用性、可用性和伸缩性方面都更有优势。     

基于密度的数据流聚类算法

为了提高数据流的聚类质量与效率,提出了一种基于密度的数据流聚类算法,该算法采用双层聚类框架,对于历史数据的遗忘问题采用了消逝策略和粒度调整策略,消逝策略能够处理噪声,节约内存;粒度调整策略检测当前的内存消耗,提高了聚类质量。基于标准数据集和仿真数据集的实验表明,此算法是可行有效的,适合处理和分析大规模的快速数据流。     

QJoin：质量驱动的乱序数据流连接处理技术

数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难。本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术(QJoin)。QJoin采用缓冲存储技术和对称连接策略,实现并确保对流元组进行即时分析处理,从而降低了流元组处理的平均等待时间。同时,基于质量驱动的理念,根据临近阶段连接处理过程中收集统计的数据,自适应地调整和优化内存缓存区的大小,从而在满足用户结果质量要求的前提下,降低系统内部历史数据的内存缓存量,尽可能保证迟到元组的连接处理完整性。真实数据集上的实验结果表明,与传统的数据流乱序处理技术MP-K-slack相比,QJoin在满足用户结果质量要求的前提下,确保能够即时地分析处理数据流的流元组,显著降低系统的内存开销。     

一种基于拓扑特征的数据流调度策略

 流式处理器针对数据并行的应用,提供多个简单的处理单元及它们之间的高带宽通道,通过高计算密度掩盖传输延迟,支持高速的数据传输和处理,与通用处理器相比,性能达到了数倍乃至数百倍的提升。在流式处理器的研究中,数据流的调度是个比较重要的问题。本文提出了一种基于拓扑特征的数据流调度策略,该策略包含平分策略和选择策略两种,其中平分策略用于体系结构中固有负载较少的情况,选择策略在固有负载较多时利用拓扑权重来辅助平分策略完成数据流任务的调度。建立了该策略的性能模型,在考虑节点间传输时间的情况下进行讨论,对数据流调度策略的选择提出建议。     

基于Web数据流挖掘的增值服务平台设计

根据web数据流的动态性、连续性和实效性的特点,分析和挖掘不同类型的数据,成立样本库,将分类后的数据用相应的流算法进行处理,构建web数据流挖掘系统,分用户、挖掘、数据三层,在挖掘层实现数据处理,然后应用到网站中,实现网站的增值服务.     

分布式流处理系统中基于位置感知的操作共享优化算法

针对流数据规模大、 基本数据处理操作有重叠等特点, 提出一种基于位置感知的操作共享优化算法. 假设操作预先分配了计算节点资源, 在保证流处理实时性和动态性的基础上, 利用多个流数据作业间拓扑结构和操作功能的相似性, 基于DAG图匹配方法建立操作共享备选集; 以输出带宽为约束条件, 建立一个操作共享收益优化
问题模型, 解决了流处理过程中传统操作共享方法对集群的输出带宽影响考虑不充分的问题. 仿真实验结果表明, 该方法较原有算法更充分地考虑了计算节点制约因素, 并提高了共享收益, 从而可有效地节省系统计算资源.     

XML数据流小枝匹配算法

针对XML数据流可能具有复杂的递归层次结构,提出一种XML数据流小枝匹配算法TwigPM.通过获取查询节点的结构关系,进行有效的剪枝操作,减少了处理时间和数据所占用的内存空间.实验结果表明,算法具有高效性.     

支持大规模流数据处理的在线MapReduce数据传输机制

针对流数据规模参差不齐、 流量动态变化且突发性较强的特点, 提出一种可伸缩的动态MapReduce计算模型, 支持大规模动/静态数据在线处理. 基于Event推送方式, 利用Netty底层异步通信方式等技术, 建立在线MapReduce数据传输机制, 进一步实现其原型程序, 解决了大规模分布式计算程序的快速在线传输和数据分发等问
题, 支持流数据动态分发机制, 为动态MapReduce模型提供支撑. 与HadoopOnline系统的传统Socket管道传送方式相比, 该方法能有效提高作业之间数据的传送效率, 从而提高大规模流数据处理的实时性.