数据流管理与挖掘研究

20世纪末,为适应网络监控、商业交易管理和分析等应用的要求,数据流技术应运而生;该文回顾了近年来国内外在该领域的研究进展,总结了数据流的特点、模型及其算法,对数据流管理和挖掘的关键技术进行了分析,并进一步提出了数据流技术研究的方向。     

数据流挖掘技术研究

随着数据流系统、传感网络和移动设备的广泛传播,数据流中的数据分析与挖掘技术应运而生。对数据流挖掘算法进行分析和总结,指出数据流分析与挖掘技术存在的缺陷及进一步的研究方向。     

一种基于可变滑动窗口的数据流分段聚类算法

数据流的应用越来越广泛,数据流挖掘成为数据挖掘的重点研究方向之一。在分析各种数据流聚类算法的基础上,提出了一种基于可变滑动窗口的数据流分段聚类算法。算法以时间序列数据流模式表示技术为参考,以去除噪音和压缩数据为目的,实现了数据流的特征提取和概要存储。实验表明,算法具有低时空复杂度、自适应等特点。     

基于数据流异常挖掘的入侵检测系统设计

通过对入侵检测和数据流异常挖掘技术的研究,把数据流异常挖掘应用到入侵检测,成为目前入侵检测新的有效方法和研究热点.对基于数据流异常挖掘的入侵检测系统模型进行了设计,并对数据流异常挖掘算法进行了设计和实现,通过实验分析,取得了较好的效果.     

数据流分类研究综述

数据流挖掘技术近年来正成为数据挖掘领域的研究热点,并有着广泛的应用前景。数据流具有数据持续到达、到达速度快、数据规模巨大等特点,因此需要新颖的算法来解决这些问题。而数据流分类技术更是当前的研究热点。本文综述了当前国际上关于数据流挖掘分类算法的研究现状,并进行分析,最后对数据流挖掘分类技术当前所面临的问题和发展趋势进行了总结和展望。     

基于数据流的频繁项集数据挖掘算法研究

以Apriori算法为例介绍并分析了挖掘最大频繁项集的过程。针对数据流的特点,对数据流中频繁模式挖掘问题进行了研究,提出了一种基于数据流频繁项集挖掘的新的EC算法。     

数据流挖掘技术

简要概述了数据流挖掘技术，探讨了数据流的特点．数据流的概念漂移现象，给数据流上的数据挖掘带来很大困难．由于计算机的内存有限，数据窗口技术只针对最近的数据，而最近的数据常常导致数据挖掘系统中的分类器过配，文中介绍了解决这一问题的方法，并讨论了数据流挖掘技术的应用．     

面向android手机平台的网络恶意数据流挖掘研究

由于android手机平台网络中数据流众多,以往研究出的面向android手机平台网络恶意数据流挖掘方法,均无法对网络恶意数据流进行高效、准确挖掘。故提出一种挖掘效率和挖掘准确性均较高的android手机平台网络恶意数据流挖掘方法。网络恶意数据流通常均有自动收发行为,所提方法利用概率分类法和邻近值法对android手机平台网络数据流进行预分类,使具有自动收发行为的网络数据流优先进行网络恶意数据流挖掘,提高挖掘效率和挖掘准确性。该挖掘方法将网络数据流划分成多段行为向量,对具有自动收发行为的网络数据流和不具有自动收发行为的网络数据流采取不同精度的挖掘操作,输出网络恶意数据流,存储网络非恶意数据流,供下次挖掘使用。经实验验证可知,所研究的方法挖掘效率高、挖掘准确性高。     

数据流挖掘技术

简要概述了数据流挖掘技术,探讨了数据流的特点.数据流的概念漂移现象,给数据流上的数据挖掘带来很大困难.由于计算机的内存有限,数据窗口技术只针对最近的数据,而最近的数据常常导致数据挖掘系统中的分类器过配,文中介绍了解决这一问题的方法,并讨论了数据流挖掘技术的应用.     

数据流挖掘算法在网络安全中的应用研究

入侵检测技术是网络安全中的核心技术,把数据流中频繁项集的挖掘应用于入侵检测系统中正常和异常数据分析已是当前网络安全中的一个重要发展方向.流入网络流中的数据高速并且无限到达,所以利用传统多遍扫描数据库的挖掘技术来构建入侵检测模型已受到局限.针对频繁模式多维的特点,提出了一种新型数据结构SW.Tree,并给出了一种高效的挖掘网络访问数据流的挖掘算法,把这种算法应用于网络入侵检测模型中频繁模式的挖掘,取得了较好的成效.     

基于多分类器集成的数据流分类方法

概念漂移给数据流挖掘工作带来了很大阻碍.经典的SEA算法通过动态裁剪集成分类器的方式有效地捕获到概念漂移.其裁剪集成分类器的策略是直接删除掉一个权值最低的基础分类器,这意味着算法抛弃了一个已经学习了的概念,当该概念再出现时还需再学习,导致算法效率的降低.现提出了一种能够提取旧概念的算法(ECRRC),并给出了存储和提取概念的具体方法.面对概念的重复出现,ECRRC不用再学习就能够完成数据流分类.实验结果表明,ECRRC能够提高数据流分类效率.     

面向科技管理的流数据聚类算法研究

介绍了科学管理流数据的流数据管理系统及根据BIRCH算法中聚类特征的概念,利用簇特征设计与实现了一种新的动态流数据聚类算法。这种新算法改善了基于滑动窗口流数据聚类的有效性以及空间和时间复杂度问题。理论分析和实验结果证明该算法能够有效地处理滑动窗口流数据集,使聚类算法具有良好的可扩展性。     

基于ArcView的流域河网特征自动提取

在流域水资源管理GIS系统中,常需要进行流域河网水系和流域河网特征的提取,它是水文建模所必需的基础数据。目前常用ArcGIS来完成建模与提取。由于ArcGIS系统庞大复杂。本文提出利用ArcView及其扩展模块Spatial Analyst和水文分析模块Hydrology来完成流域水系其河流网络特征的提取方法,并进行了实验,成功地提取了湘江流域河网水系和流域特征。     

一种采用函数迭代运算的数据流挖掘方法

针对数据流的特点,提出利用函数迭代运算的方法来提取数据流中的频繁项集的挖掘方法.整个挖掘过程只需扫描数据流一次,不产生频繁候选集.算法的时间复杂度是比较低的.实验仿真结果也验证了该挖掘方法是有效的和可行的.     

数据挖掘技术及应用工具研究

基于国内外的最新研究成果对数据挖掘技术的工具和方法论进行了综述,提供了数据挖掘方法的基本流程,对目前比较成熟的挖掘工具进行了介绍和应用性能上的比较分析．并对数据挖掘技术的应用进行了积极的评价．最后讨论了数据挖掘系统的发展趋势和研究方向。     

基于数据流频繁模式挖掘的入侵检测模型

计算机网络入侵通常具有高频度特性,因此,识别是否正常访问,对数据流中重复元素的挖掘,给出频度指标,是一种重要的依据.提出一种基于数据流频繁模式的改进型AFP算法,该算法采用滑动窗口树技术,单遍扫描数据流及时捕获网络上的最新模式信息,并将该算法应用在入侵检测模型中正常数据和异常数据的在线挖掘.解决了有限存储和无限数据流的矛盾.实验结果表明,该模型有较高的报警率和较低的误报率.     

数据挖掘技术浅析

本文主要概述了数据挖掘理论知识。首先从数据挖掘与知识发现的交叉关系角度讨论了数据挖掘的概念;然后,在对数据挖掘功能作了简单介绍的基础上,分析了基于统计学、基于机器学习、基于数据仓库和基于神经网络的四类数据挖掘方法的基本原理、特点。最后,给出了比较和评价挖掘方法的参考标准。