数据流管理与挖掘研究

20世纪末,为适应网络监控、商业交易管理和分析等应用的要求,数据流技术应运而生;该文回顾了近年来国内外在该领域的研究进展,总结了数据流的特点、模型及其算法,对数据流管理和挖掘的关键技术进行了分析,并进一步提出了数据流技术研究的方向。     

数据流处理技术

处理潜在无限的连续数据流的应用日益流行，传统数据库对快速变化的数据流进行在线分析的支持存在很多限制，需要对已存在的技术进行广泛的扩展研究，构建新的系统管理数据流．本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况；分析了连续查询处理的新需求和挑战及数据流系统新颖之处．并提出在数据流研究方面的一些新看法。     

巨量数据流实时处理的新方法

在处理资源有限的情况下,传统的DBMS系统不能实时有效地处理和查询连续的和数量巨大的数据流,而DSMS作为解决此类问题的新方法得到广泛的研究。DBMS通过引入新算子和新的查询模型,提高了数据处理和查询的效率。首先介绍了DSMS的概念,分析了DSMS系统的原理与结构,然后对具有代表性的DSMS实例进行了介绍和比较。     

限定路径的数据流分析方法

介绍一种限定路径的数据流分析方法,该方法可使数据流分析效率得到明显的提高,并使分析结果更准确。     

数据流挖掘研究

数据流挖掘技术是数据挖掘领域的新研究方向之一。本文介绍了数据流基本特点以及数据流模型的基础上,对流行的数据流处理技术和现有数据流挖掘算法进行了总结,并进一步提出了数据流挖掘技术的研究方向和前景。     

利用静态数据流和动态数据流分析故障

本文阐述了如何利用静态数据流和动态数据流分析故障。     

一种基于可变滑动窗口的数据流分段聚类算法

数据流的应用越来越广泛,数据流挖掘成为数据挖掘的重点研究方向之一。在分析各种数据流聚类算法的基础上,提出了一种基于可变滑动窗口的数据流分段聚类算法。算法以时间序列数据流模式表示技术为参考,以去除噪音和压缩数据为目的,实现了数据流的特征提取和概要存储。实验表明,算法具有低时空复杂度、自适应等特点。     

基于数据流的频繁项集数据挖掘算法研究

以Apriori算法为例介绍并分析了挖掘最大频繁项集的过程。针对数据流的特点,对数据流中频繁模式挖掘问题进行了研究,提出了一种基于数据流频繁项集挖掘的新的EC算法。     

面向高速网络的数据流处理模型研究

高速网络中实时大容量数据流处理的需求，显现出传统基于静态数据集的数据库管理系统的不足．本文从数据流的特性出发，分析了数据流处理的设计要求，给出数据流处理模型和方法。     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

RealMon: 处理低质量SNMP数据流的实时监测系统

提出了一个新颖的数据流监测系统RealMon的设计和实现。该系统能够在大量的网络流量数据中通过分析不同数据流之间的关联关系及时地检测出数据异常。通过应用数据流挖掘算法,该系统能够对电信骨干网络的SNMP流量数据进行监测。同时为了解决所采集SNMP数据中存在着的大量数据质量问题,该系统集成了数据流清洗算法,该算法能够实时处理SNMP数据来提高所采集数据的质量。在模拟环境中的测试表明,该系统能够在SNMP数据流上同时对数千条链路进行有效监测。     

基于随机平衡采样的不平衡数据流分类研究

数据流广泛应用于现实世界的多个领域,但是不平衡数据流的存在严重影响了传统数据流分类器的性能.针对不平衡数据流问题,提出了随机平衡采样算法(RBS)处理数据流的不平衡问题,并以RBS算法为基础提出了随机平衡采样数据流集成算法(RBSSEA)旨在解决不平衡数据流的分类问题.最后,分别采用合成和真实数据集对RBSSEA算法进行验证,实验结果证明RBSSEA算法在解决不平衡数据流分类问题具有一定的优势.     

基于Web数据流挖掘的增值服务平台设计

根据web数据流的动态性、连续性和实效性的特点,分析和挖掘不同类型的数据,成立样本库,将分类后的数据用相应的流算法进行处理,构建web数据流挖掘系统,分用户、挖掘、数据三层,在挖掘层实现数据处理,然后应用到网站中,实现网站的增值服务.     

数据流挖掘技术

简要概述了数据流挖掘技术，探讨了数据流的特点．数据流的概念漂移现象，给数据流上的数据挖掘带来很大困难．由于计算机的内存有限，数据窗口技术只针对最近的数据，而最近的数据常常导致数据挖掘系统中的分类器过配，文中介绍了解决这一问题的方法，并讨论了数据流挖掘技术的应用．     

股票数据流的相关性计算方法

相关性分析在股票投资、监测、预测中起着非常重要的作用．为定量计算各股票间的相关性,文中提出了一种股票数据流的相关性计算方法,它基于高效的单遍数据集扫描算法,能在有限的内存空间中计算出各股票间的相关性．与传统的计算方法相比,不管是在空间复杂度还是在时间复杂度上,所提出的方法都只需付出更小的代价．实验证明,这种相关性计算方法在同步股票报价中是有效的．     

基于密度的数据流聚类算法

为了提高数据流的聚类质量与效率,提出了一种基于密度的数据流聚类算法,该算法采用双层聚类框架,对于历史数据的遗忘问题采用了消逝策略和粒度调整策略,消逝策略能够处理噪声,节约内存;粒度调整策略检测当前的内存消耗,提高了聚类质量。基于标准数据集和仿真数据集的实验表明,此算法是可行有效的,适合处理和分析大规模的快速数据流。