FP-Tree算法规则挖掘的研究与应用

对FP-T ree算法的规则挖掘以及阈值设定与规则获取的关系进行了研究.选取高校医疗系统中存储的大学生体检数据,并对这些原始数据进行过滤、转换等加工处理,得到便于进行规则挖掘的事务数据库.将事务数据库中的数据用FP-T ree算法进行处理,得到数据之间的关联关系,从而对应获取大学生群体中常见慢性病之间的关联关系.在FP...     

基于FP-Tree的多级关联规则挖掘算法

关于多级关联规则挖掘方面的研究到目前为止还非常有限,尤其是在减少所需存储空间、产生有效规则、缩短计算时间方面还有很多工作要做。基于FP-Tree的算法在以上方面被证实有其非常大的优势。故本文提出了一种基于FP-Tree的多级关联规则挖掘算法,并采用简化前缀树的方法优化算法性能。     

基于FP-Tree的最大频繁项目集更新挖掘算法

发现最大频繁项目集是多种数据挖掘应用中的重要问题．在应用中用户需要调整最小支持度,以发现更有用的最大频繁项目集．为此提出了一种最大频繁项目集更新算法(UMFPA),该算法通过对频繁模式树(FP-Tree)中的频繁项目头表(H Table)增加两个域,从而将减少在数据库不变而最小支持度变化的情况下的更新挖掘最大频繁项目集的费用．实验结果表明,算法在进行最大频繁项目集更新挖掘时具有很好的性能．     

基于数据流的序列模式挖掘算法

为了实现对数据流的序列模式挖掘,提出了基于数据流的序列模式挖掘算法MFSDS-1和MFSDS-2,它们均通过调整入选度的大小来调整保存信息的粒度.算法MFSDS-2利用分层存储结构,不仅能更好地保存序列信息,而且可以通过与全局序列模式的对比得到当前活动的一些异常序列模式.实验结果表明,基于分层存储的算法MFSDS-2的效率比算法MSFDS-1高.     

基于数据流的序列模式挖掘算法

为了实现对数据流的序列模式挖掘，提出了基于数据流的序列模式挖掘算法MFSDS-1和MFSDS-2，它们均通过调整入选度的大小来调整保存信息的粒度．算法MFSDS-2利用分层存储结构，不仅能更好地保存序列信息，而且可以通过与全局序列模式的对比得到当前活动的一些异常序列模式．实验结果表明，基于分层存储的算法MFSDS-2的效率比算法MSFDS-1高．     

基于优化的FP-Tree的频繁闭合项集挖掘算法

在经典的频繁闭合项集挖掘算法中,如Closet与Closet＋,当条件模式数据库很庞大时,频繁项集的数目将会急剧增长,算法的效率会逐步恶化,并且算法挖掘结果的有效性也随着大量冗余模式的产生而下降．本文首先针对传统的FP-tree的算法,给出了一种改进的FP—tree算法,然后在新算法的基础上,提出新的频繁闭合项集挖掘算法,该算法只需把FP-Tree中所有由叶子结点到根结点的路径遍历一遍,就可以得到各项的所有子条件模式基,避免了传统FP-tree算法在同一条路径上向前回溯比较的繁琐．实验表明优化后的算法避免了资源的耗费,减少了频繁闭合项集挖掘的运算开销,大大提高了数据挖掘的效率．     

一种数据流异常并行挖掘算法

研究了一种面向入侵检测的数据流异常并行挖掘算法,通过对数据流的信息统计和比较,可以得到数据流的异常信息,结合入侵检测特征库,可以判断是否是入侵信息。     

数据流聚类挖掘算法优化研究

在大数据时代,概念漂移检测技术用于解决数据流的动态性问题,还存在不足之处.为此,该文基于概念漂移检测算法对大数据下数据流聚类挖掘算法进行优化,提出了改进的FKNN模型算法,解决了算法中的需要专家及运算效率比较低下以及采样密度必须足够大或者说维度比较低的难题.     

基于决策树的数据流挖掘算法的研究

由于数据流的快速流动性以及计算机内存的限制，因此要设计好的数据流挖掘算法是很困难的事。近几年来，对数据流进行数据挖掘的算法相继被提出。本文主要阐述分类算法中基于决策树的各种数据流挖掘算法，包括传统的增量式的决策树分类、基于Hoeffding tree的VFDT、可调整的VFDT（即CVFDT）以及使用整合技术的决策树分类算法，通过分析比较，总结了各种算法的主要特征，为国内研究者提供借鉴。     

基于MapReduce的数据流频繁项集挖掘算法

针对传统数据流频繁项集计算中效率低、内存消耗大等问题,本文采用并行计算的思想设计了一种基于MapReduce的数据流频繁项集挖掘算法,首先,对进行数据分块压缩和传输,其次,将数据频繁项的计算分布在负载均衡的数据节点,可以有效保证数据的执行效率.最后通过一次调度处理合并各个节点产生的频繁项集并进行合并.理论分析和实验对比结果均表明,该算法对于并行处理数据流频繁项集的统计问题是有效可行的.     

滑动窗口下数据流完全加权最大频繁项集挖掘

针对当前关于数据流加权最大频繁项集WMFI(weighted maximal frequent itemsets)的研究无法有效地处理频繁阈值和加权频繁阈值不一致情况下WMFI的挖掘问题,提出了完全加权最大频繁项集FWM FI(full w eighted maximal frequent itemsets)的概念.为了减少naive算法在处理滑动窗口下完全加权最大频繁项集挖掘时存在的冗余运算,提出了FWMFI-SW(FWMFI mining based on sliding window over data stream)算法.所提出的算法通过基于频繁约束条件的优化策略减少了naive算法中M ax W优化策略的无效调用次数;采用编辑距离比率作为WMFP-SW-tree的重构判别函数,可以有效减少该树的重构次数.实验结果表明FWMFI-SW算法是有效的,且比naive算法更有时间优势.     

数据流挖掘研究

数据流挖掘技术是数据挖掘领域的新研究方向之一。本文介绍了数据流基本特点以及数据流模型的基础上,对流行的数据流处理技术和现有数据流挖掘算法进行了总结,并进一步提出了数据流挖掘技术的研究方向和前景。     

数据流挖掘技术

简要概述了数据流挖掘技术,探讨了数据流的特点.数据流的概念漂移现象,给数据流上的数据挖掘带来很大困难.由于计算机的内存有限,数据窗口技术只针对最近的数据,而最近的数据常常导致数据挖掘系统中的分类器过配,文中介绍了解决这一问题的方法,并讨论了数据流挖掘技术的应用.     

数据流挖掘技术

简要概述了数据流挖掘技术，探讨了数据流的特点．数据流的概念漂移现象，给数据流上的数据挖掘带来很大困难．由于计算机的内存有限，数据窗口技术只针对最近的数据，而最近的数据常常导致数据挖掘系统中的分类器过配，文中介绍了解决这一问题的方法，并讨论了数据流挖掘技术的应用．     

数据流挖掘算法在网络安全中的应用研究

入侵检测技术是网络安全中的核心技术,把数据流中频繁项集的挖掘应用于入侵检测系统中正常和异常数据分析已是当前网络安全中的一个重要发展方向.流入网络流中的数据高速并且无限到达,所以利用传统多遍扫描数据库的挖掘技术来构建入侵检测模型已受到局限.针对频繁模式多维的特点,提出了一种新型数据结构SW.Tree,并给出了一种高效的挖掘网络访问数据流的挖掘算法,把这种算法应用于网络入侵检测模型中频繁模式的挖掘,取得了较好的成效.     

分布式多维数据流频繁模式挖掘算法设计

针对在对分布式、多维数据流频繁模式挖掘算法研究时,没有删除多维数据流中的非频繁项集,存在平均处理时间长的问题,提出分布式多维数据流频繁模式挖掘算法。该方法根据人工神经网络特点,建立了人工神经网络模型,并对多维数据流训练,以达到提升挖掘效率的目的;并基于训练结果构造数据流频繁模式信息树,即频繁模式树(FR-tree:Frequent Pattern tree)。由于FR-tree中存在较多过期的多维数据流,所以需要对FR-tree剪枝,并删除非频繁项集,从而加快频繁模式计算速度,并采用分布式挖掘算法对全局FR-tree挖掘,从中取得多维数据流的频繁项集完全集,实现分布式多维数据流频繁模式的挖掘。通过对该方法的平均处理时间测试,验证了该方法的实用性。     

数据流时间窗口中闭频繁项集的在线挖掘

在数据流闭频繁项集挖掘过程中,常忽略历史模式对挖掘结果的影响,并采用一种结构来标记闭频繁项集的类型,导致算法的效率不高.为此提出一种挖掘数据流时间窗口中闭频繁项集的方法NEWT-moment.该方法能在单遍扫描数据流事务的条件下完整地记录模式信息.同时,NEWT-moment提出的剪枝方法能很好地降低滑动窗口树F-tr...     

基于前缀树的数据流频繁模式挖掘算法

针对数据流的无限性和流动性特点,提出了一种基于前缀树的数据流频繁模式挖掘算法(Prefix-stream).该算法将对数倾斜时间窗口划分为若干个子窗口,以子窗口为单位,利用提出的数据结构Prefix-tree进行挖掘,在整个数据流的频繁模式挖掘中,使得频繁模式挖掘和更新能在Prefix-tree中同时进行.该算法应用对数倾斜时间窗口逐步降低历史事务的权重,从而区分最近事务与历史事务.实验结果表明Prefix-stream具有较高的效率与较好的可扩展性.     

数据流挖掘技术研究

随着数据流系统、传感网络和移动设备的广泛传播,数据流中的数据分析与挖掘技术应运而生。对数据流挖掘算法进行分析和总结,指出数据流分析与挖掘技术存在的缺陷及进一步的研究方向。     

基于PSO的加权关联规则挖掘算法

简要描述了加权关联规则问题及离散粒子群优化算法,提出了一种基于粒子群优化(PSO)算法的加权关联规则挖掘算法(PSO-WMAR).实验证明,本算法运行时间更省,产生的规则数更少且更有效.该算法具有以下特点:1)把关联规则挖掘的两个阶段结合在一起,无须先挖掘出全部频繁项目集然后再提取规则;2)只需要扫描一次数据库;3)把兴趣度引入适合度函数之中,挖掘出的规则数量更少、更有效;4)求加权频繁项目集无须查找所有候选加权频繁项目集,或者求频繁项目集的高序子集或非频繁项目集的低序超集.