基于概念格的数据流频繁项集挖掘

提出一个数据流环境下的基于概念格和滑动窗口的频繁项集挖掘算法DSFMCL。算法在滑动窗口内分批挖掘新流入的基本窗口频繁概念后,生成概念格的Hasse图。引入最小支持度ζ和误差因子ε对非频繁概念节点进行剪枝操作。Hasse图中各节点包含频繁项集及其支持度信息。随着新基本窗口的Hasse图的生成与滑动窗口进行概念格纵向合并,最终通过对全部Hasse图节点的扫描可以输出所有频繁项集。实验结果表明,该算法具有良好的性能。     

基于数据流的频繁项集数据挖掘算法研究

以Apriori算法为例介绍并分析了挖掘最大频繁项集的过程。针对数据流的特点,对数据流中频繁模式挖掘问题进行了研究,提出了一种基于数据流频繁项集挖掘的新的EC算法。     

分布式多维数据流频繁模式挖掘算法设计

针对在对分布式、多维数据流频繁模式挖掘算法研究时,没有删除多维数据流中的非频繁项集,存在平均处理时间长的问题,提出分布式多维数据流频繁模式挖掘算法。该方法根据人工神经网络特点,建立了人工神经网络模型,并对多维数据流训练,以达到提升挖掘效率的目的;并基于训练结果构造数据流频繁模式信息树,即频繁模式树(FR-tree:Frequent Pattern tree)。由于FR-tree中存在较多过期的多维数据流,所以需要对FR-tree剪枝,并删除非频繁项集,从而加快频繁模式计算速度,并采用分布式挖掘算法对全局FR-tree挖掘,从中取得多维数据流的频繁项集完全集,实现分布式多维数据流频繁模式的挖掘。通过对该方法的平均处理时间测试,验证了该方法的实用性。     

加权关联规则算法的并行化研究

加权关联规则MINWAL(O)算法有效解决了数据库中各项目的重要程度不同的问题,但在生成加权频繁项集需要多次扫描数据库,遇到大规模数据算法效率很低问题。该文提出一种改进的MINWAL(O)算法,将事务数据库扫描后转化成布尔矩阵,然后对布尔矩阵进行分块,再由多个节点并行计算,并使用多叉树结构存储局部加权频繁项集,最后汇总得出加权频繁项集。该算法与MINWAL(O)相比,减少了数据库扫描次数,提高了算法时间效率。     

数据流时间窗口中闭频繁项集的在线挖掘

在数据流闭频繁项集挖掘过程中,常忽略历史模式对挖掘结果的影响,并采用一种结构来标记闭频繁项集的类型,导致算法的效率不高.为此提出一种挖掘数据流时间窗口中闭频繁项集的方法NEWT-moment.该方法能在单遍扫描数据流事务的条件下完整地记录模式信息.同时,NEWT-moment提出的剪枝方法能很好地降低滑动窗口树F-tr...     

一种关联规则挖掘技术的矩阵交集算法

针对关联规则在公安系统应用中存在的缺陷,提出了改进其效率的优化算法--矩阵交集方法和加权的思想.该算法通过构造有效的数据矩阵并且通过对数据矩阵的有效裁剪,达到查找频繁项集的目的,打破了Apriori算法由低到高逐层查找频繁项集的局限,极大地提高了产生最大频繁项集的效率,解决了重大刑事案件中的犯罪嫌疑人的筛选问题.     

最大频繁项集挖掘中搜索空间的剪枝策略

最大频繁项集挖掘可以广泛应用在多种重要的Web挖掘工作中.为了有效地削减搜索空间,提出了一种新的最大频繁项集挖掘中的搜索空间剪枝策略.这种策略基于深度优先遍历词典序子集枚举树,利用树中子节点与父节点扩展集中相同项的扩展支持度相等的特性,对搜索空间进行剪枝.应用该策略,对MAFIA算法进行改进优化.实验结果表明,该剪枝策略可以有效削减搜索空间,尤其在稀疏但包含长频繁项集的数据集上,搜索空间削减掉2/3,算法的时间效率比原MAFIA算法提高3～5倍.     

数据流频繁闭项集挖掘研究

频繁项集挖掘是关联规则挖掘算法的核心,数据流的实时、无限及不可逆性给传统数据挖掘方法带来很大挑战.频繁闭项集挖掘为频繁项集挖掘提供了完整且低冗余的结果,是近年来数据流频繁项集挖掘研究的热点之一.介绍了数据流频繁闭项集挖掘的相关概念,并从搜索空间的遍历策略、误差结果控制方式等方面对数据流频繁闭项集挖掘算法进行了分析比较.     

挖掘不确定数据的最大频繁项集

针对不确定数据频繁项集挖掘效率低和准确度不高的问题,提出了一种基于改进的频繁模式树(FPtree)和遗传算法(GA)挖掘不确定数据概率频繁项集的方法,即UFPGA(基于频繁模式树和遗传的挖掘算法).该算法根据不确定数据的构成特征,改进频繁模式树方法挖掘不确定数据频繁项集,采用缩小变异空间和增加育种算子的遗传算法搜索最大频繁项集,收缩了搜索范围,提高了挖掘效率.实验结果表明:该方法在时间复杂度方面有很好的优越性,对大规模的不确定数据挖掘提供了一种有效的技术手段.     

基于空间划分的频繁模式挖掘算法

对关联规则挖掘问题建立了完全格描述并给出了问题规模下限,提出了一种基于搜索空间划分的项集频度计算模型.在对FP-树进行改造的基础上提出基于划分思想的频繁项集挖掘算法UPM,算法的项集频度计算和非频繁项目裁剪都基于空间划分的思想.性能实验表明,与FP-Growth算法相比,UPM算法的时空效率有较大提高.     

流数据频繁项算法研究

流数据频繁项挖掘是一项重要的研究课题,是其他流数据挖掘任务的基础。Lossy counting 算法是第一个近似的流数据频繁项挖掘的算法,并且具有空间和时间的高效性。详细分析该算法,尤其是它不能回答关于时间的查询的不足后,对其进行改进,提出了一个在多时间粒度上挖掘流数据频繁项的设想,加入时间维度。改进后的算法在时间倾斜窗口保存与合并频繁项,可以应用于各种对时间敏感的流数据查询和挖掘应用中。     

一种基于FP-tree挖掘最大频繁模式的改进算法

提出一种最大频繁模式挖掘的改进算法(FP-Imax),该算法引入一种与FP-tree类似的结构MFI-tree来存储所有的最大频繁项目集,并采用有效的子集检查方法进行优化,降低了算法的时空开销,提高了挖掘效率。实验表明,与FP-Max相比该算法的挖掘速度快两2—3倍。     

挖掘关联规则Apriori算法的一种改进

本研究在对Apriori算法分析的基础上,提出了改进的Apriori算法。改进后的算法采用矩阵表示数据库,减少了扫描事物数据库的次数;利用向量运算来实现频繁项集的计数,同时及时地去掉不必要的数据,减少了数据运算,从而提高了算法的运行效率。     

基于线程并行计算的Apriori算法

针对数据挖掘中经典的Apriori算法在计算频繁项目集时需消耗大量的时间缺点,文中利用多线程并行计算的特点,提出了基于线程并行计算的Apriori算法,该算法是将统计候选项目个数的任务交给多线程来执行,从而达到减少Apriori算法的运行时间。通过实验数据分析,该算法对减少Apriori算法的运行时间有很大的提高。     

一种新的基于幂集的数据挖掘算法

Apriori算法是经典的关联规则挖掘算法,主要缺点是可能产生大量的候选集和需要多次扫描数据库.从幂集运算的角度提出了一种新的关联规则挖掘算法P_DM算法,实现了只需要扫描一次数据库就产生所有频繁集.实验证明这种算法在中小规模数据挖掘上效率优于Apriori算法.     

关联规则挖掘技术在冠心病诊断中的应用

针对传统的关联规则算法挖掘效率低且产生的频繁项集庞大的缺陷,提出一种改进的基于直接频繁闭超项集理论的关联规则挖掘算法。该算法针对候选频繁闭项集具有快速检测闭合性和缩减查找范围的优势,有效地提高了挖掘效率。在冠心病诊断中的应用结果表明,该算法可有效地挖掘冠心病诊疗规则。     

一种改进的Eclat算法

提出一种改进的Eclat算法.该算法在垂直数据表示方式上执行广度优先搜索和交叉计数.新算法充分利用了垂直数据表示和交叉计数的高效优势,以及Apriori算法的剪枝策略,减少了计数的候选项集的数量.实验结果表明,改进的Eclat算法的运行速度较Eclat算法有了明显的提高.     

基于矩阵的频繁项集挖掘算法

在所有频繁项集挖掘算法中,Apriori算法一直是一个经典的算法,但是该算法存在的最大缺陷是要进行多次的数据库扫描并且在挖掘过程中产生大量的候选频繁项集,因此效率很低.提出了利用基于矩阵的方法挖掘频繁项集,很好地避免了这个缺陷.     

关联规则挖掘的一个高效预处理算法

利用视图机制对原始数据进行预处理,把符合条件的数据和有用的属性放入视图中.根据一维(L1)和二维(L2)中的频繁数据项集对数据库中的属性进行过滤,以达到减少数据属性的目的,从而压缩数据库中的数据,为提高关联规则挖掘算法的性能打下基础.     

快速挖掘频繁模糊项集

针对模糊频繁集的挖掘问题,提出一种有效的算法FMF.该算法采用FFP-树结构,将与模糊项目相关的事务的序号保存在树结点中.算法通过直接找到所有包含模糊项集的全部事务来计算该项集的支持度,不必扫描整个数据库,提高了模糊频繁项集挖掘的速度.