一种基于FP-tree的最大频繁项目集挖掘算法

挖掘最大频繁项目集是许多数据挖掘中的关键问题．为克服早期基于Apriori的最大频繁项目集算法中的缺点,相继有多种挖掘最大频繁项目集方法被提出．其中对基于FP-tree的最大频繁项目集挖掘算法比较多,但对FP-tree中的结点的频度计数关注的很少．通过对FP-tree结构进行了仔细分析后,在FP-tree中结点的频度计数和集合理论的基础上,提出了一种新的最大频繁项目集挖掘算法USDMFIA(using set to discover maximum frequent itemsets algorithm)．通过分析比较,显示此算法是有效的．     

分布式数据库的关联规则更新算法

提出一种分布式数据库的频繁项目集更新算法.该算法主要考虑分布式数据库记录总数不变,增加新项目集后的频繁项目集更新情况.算法排除原数据库已挖掘的频繁项目集,减少了各站点候选频繁项目集数目,同时减少了各站点之间传送的频繁项目集数目,减少网络流量,提高了频繁项目集挖掘的效率.通过理论分析,该算法比FDM算法效率高,并通过实例和实验证明了算法的有效性和可行性.     

频繁闭项目集更新算法

挖掘频繁闭项目集是数据挖掘领域中的一个重要研究方向,人们已提出了许多用于高效地发现大规模数据库中频繁闭项目集的算法,但对其更新维护问题的研究却比较少.在分析了频繁闭项目集更新算法关键技术的基础上,提出一种快速的增量式频繁闭项目集更新算法FUFCIA(fastupdating frquent closed itemsets algorithm),该算法将充分利用先前挖掘过程中所产生的信息来节省发现新的频繁闭项目集的时间开销,降低了候选频繁闭项目集的规模,减少了扫描数据库的次数.最后对该算法进行分析和讨论,并进行试验验证,试验结果表明算法FUFCIA是有效的.     

基于迭代事务集与交集剪枝的最大频繁项集挖掘算法

挖掘最大频繁项目集是多种数据挖掘应用中的关键问题,如果采用Apriori类的候选项目集生成一检验方法,则候选项目集生成的代价通常很高.为寻求避免生成大量候选项集或生成频繁模式树的挖掘算法,提出一种从事务项集交集求最大频繁项集的迭代算法DIIP(Datasets Iteration and Intersection Pruning Algorithm),通过不断缩减事务集数据量和尽可能早地对项目集进行修剪实现最大频繁项集的挖掘,该算法有别于已有的最大频繁项集经典算法,实验表明该算法有效可行.     

基于FP-tree挖掘密集型数据最大频繁模式算法

Fp-growth算法是当前挖掘频繁项目集算法中速度最快,应用最广,并且不需要候选集的一种挖掘关联规则的算法.但是,Fp-growth算法也存在着算法结构复杂和空间利用率低等缺点.在FP-tree结构的基础上提出了密集型数据最大频繁模式挖掘算法FP-DMax.算法FP-DMax只需要2次扫描数据库,在挖掘过程中不产生候选项集,大大提高了算法的时空效率.实验表明,算法FP-DMax在挖掘密集型数据最大频繁模式方面是高效的.     

基于准频繁项目集的关联规则挖掘

为减少关联规则挖掘中数据库扫描次数,提出了一种基于准频繁项目集的关联规则挖掘算法———SupposedFrequent,同时给出了候选频繁项目集的产生函数———BGen.最后通过实验证明:在给定最好的准频繁项目集的条件下,只需扫描数据库两次就能产生全部的频繁项目集。     

关联规则最大频繁项目集的快速发现算法

提出一种快速发现最大频繁项目集的算法, 该算法对集 合枚举树进行改进, 结合自底向上与自顶向下的搜索策略, 利用非频繁项目集对候选最大频 繁项目集进行剪枝和降维, 减少了不必要候选最大频繁项目集的数量, 显著提高了发现的效 率.     

基于改进频繁模式树的最大频繁项目集更新挖掘算法

在挖掘最大频繁项目集的过程中,通过改变最小支持度阈值可以挖掘更有用的最大频繁项目集,为此提出了一种最大频繁项目集更新挖掘算法UAMMFI(Updating Algorithm for Mining Maximal Frequent Itemsets)。算法基于改进后的频繁模式树结构,在更新挖掘过程中,不需产生候选项目集和条件模式树,并且充分利用先前已挖掘的最大频繁项目集中包含的信息,快速更新挖掘出最小支持度阈值变化后的最大频繁项目集。实验结果表明,算法能够高效更新挖掘最大频繁项目集。     

基于FP-tree的最大频繁项集挖掘算法

现有的最大频繁项集挖掘算法在支持度阈值较大情况下已达到较高性能,但在支持度阈值较小时,由于候选项集的快速增长,其性能往往不理想。文章提出了一种基于频繁模式树(FP-tree)存储结构的最大频繁项集挖掘算法——DMFIF算法,将FP-tree各分枝作为初始候选项集,并按维数和支持度递减排序,结合子集剪枝策略,自顶向下搜索挖掘最大频繁项集。实验结果表明,该算法在低支持度阈值下稠密数据集中挖掘长模式具有较好性能。     

分布式全局频繁项目集的快速挖掘方法

针对传统的分布式全局频繁项目集挖掘算法存在大量的候选项目集，且求全局频繁项目集的网络通信代价过高等问题，提出了一种分布式数据库的全局频繁项目集快速挖掘算法（FDMA）．该算法改进了频繁模式树（FP-树）的结构，将双向FP-树改为单向，每个节点只保留指向父结点的指针，减少了指针数，由此可节省1／3的树空间；同时通过传送用3个很小的数组表示的被约束子树，在此挖掘全局频繁项目集的过程中不再生成大量候选项目集或条件FP-树，从而减小了网络通信量，提高了挖掘效率．实验表明，所提算法的挖掘速度比传统的分布式数据库数据挖掘算法至少提高了1倍之多，随着数据库规模的增大，它的扩展性将更好．     

基于优化的FP-Tree的频繁闭合项集挖掘算法

在经典的频繁闭合项集挖掘算法中,如Closet与Closet＋,当条件模式数据库很庞大时,频繁项集的数目将会急剧增长,算法的效率会逐步恶化,并且算法挖掘结果的有效性也随着大量冗余模式的产生而下降．本文首先针对传统的FP-tree的算法,给出了一种改进的FP—tree算法,然后在新算法的基础上,提出新的频繁闭合项集挖掘算法,该算法只需把FP-Tree中所有由叶子结点到根结点的路径遍历一遍,就可以得到各项的所有子条件模式基,避免了传统FP-tree算法在同一条路径上向前回溯比较的繁琐．实验表明优化后的算法避免了资源的耗费,减少了频繁闭合项集挖掘的运算开销,大大提高了数据挖掘的效率．     

一种挖掘大型数据库的关联规则新算法

关联规则挖掘算法FP-Growth在挖掘大型数据库时,占用内存大、运行速度慢或根本无法构造基于内存的FP-tree。针对这些问题,文章提出一种适合于挖掘较大型数据库的新的关联规则挖掘算法DFP-Growth,新算法将数据库分解,然后对分解得到的各个数据库子集用FP-Growth算法进行约束频繁项集挖掘,以满足大型数据库挖掘的需求。     

分布式数据库关联规则更新算法

提出了一种分布式关联规则增量更新算法（IUAAR），它可对数据库发生变化的情况进行归类．该算法主要采用改进了的FP树结构，通过传送被约束子树来挖掘全局频繁项目集，并充分利用快速分布式挖掘算法建立的各局部FP树，只对新增加了的全局频繁项目修改相应的改进FP树，挖掘其对应的被约束子树，同时利用已挖掘的全局频繁项目集对原全局频繁项目对应的被约束子树进行有效修剪．实验结果表明，该算法的运算速度比快速分布式挖掘算法提高了1倍，在最坏的情况下，对各局部数据库也仅需要扫描一遍，从而可提高数据库的维护效率．     

基于改进FP-树挖掘最大频繁模式

由于挖掘密集型数据的频繁模式完全集非常困难 ,因而改进了传统的FP -树结构并提出了一种基于改进FP -树的最大频繁模式挖掘算法IFP -MAX ;通过引入后缀子树的概念 ,在挖掘过程中不用生成最大频繁模式候选集 ,大大提高了算法的时空效率。实验表明 ,IFP -MAX的挖掘速度比Miafia和GenMax快得多     

快速挖掘最大频繁项目集的新算法

针对关联规则下最大频繁项目集的特性,提出了一种快速挖掘最大频繁项目集的新算法MMFI(miningmaximumfrequentitemsets)。该算法摆脱了传统的经典算法Apriori及其变种情况下的自底向上的搜索策略,利用集合枚举树(set enumerationtree)的变形结构采取了自顶向下的新的搜索方式,并通过其独特的启发式判断策略、候选项目集的生成策略等,大大减少侯选项目集的生成,从而降低了CPU搜索时间,提高了挖掘效率。     

一种基于MapReduce的关联规则挖掘算法

本文从减少I/O时间的角度出发,结合云计算Hadoop平台的Map Reduce模型,提出了一种基于Map Reduce的关联规则挖掘算法.算法采用幂集计算候选项集,采用Map Reduce模型在多个节点上并行找出所有频繁项集,只需要扫描事务数据库1次.实验结果表明：在事务的平均项长较小的情况下,算法具有很好的加速比和数据规模增长性.     

一种采用函数迭代运算的数据流挖掘方法

针对数据流的特点,提出利用函数迭代运算的方法来提取数据流中的频繁项集的挖掘方法.整个挖掘过程只需扫描数据流一次,不产生频繁候选集.算法的时间复杂度是比较低的.实验仿真结果也验证了该挖掘方法是有效的和可行的.     

一种基于节点交换的FP-tree构造算法

基于FP树的FP-Growth关联规则挖掘算法,不需要产生候选项集,是当前频繁项集挖掘算法中应用最为广泛的算法之一.针对该算法在对大型的数据库挖掘的时候,存在运行速度慢,占用资源多的问题,文中发现算法中FP树和条件FP树的构建是最占资源的阶段.为此,提出了一种基于改进的FP树的构造算法.该算法一方面通过节点交换的方式压缩树的规模,提高挖掘的效率;另一方面,利用节点支持度计数的差值作为阈值以限定节点交换的条件,避免了由于交换过于频繁,造成不必要的系统开销,并把这种基于节点交换FP树构造算法称为TFP树算法.经过实验验证和性能分析,结果表明新算法有效,执行时间少,效率高.