基于事务型滑动窗口的数据流中高效用项集挖掘算法

由于能反映用户的偏好,可以弥补传统频繁项集挖掘仅由支持度来衡量项集重要性的不足,高效用项集正在成为当前数据挖掘研究的热点.为使高效用项集挖掘更好地适应数据流环境,提出了一种基于事务型滑动窗口的数据流中高效用项集挖掘算法MHUIDS.首先在二进制向量的基础上,提出了高事务加权效用项集树(HTWUI-树)的结构.进而分别给出了事务型滑动窗口初始化与滑动的算法描述.最后,提出了高效用项集的剪枝策略与挖掘算法.实验结果表明,MHUIDS算法具有较高的挖掘效率及较低的存储开销.     

一种垂直结构的高效用项集挖掘算法

挖掘高效用项集已成为关联分析中的热点问题之一.多数高效用项集挖掘算法需要产生大量的候选项集,影响了算法性能.HUI-Miner是一个不需要产生候选项集就能发现事务数据库中所有高效用项集的算法.但其需要产生大量效用列表,不仅消耗了过多的存储空间,而且影响了算法的运行性能.针对此问题,提出一个新的数据结构,称为项集列表,用于存储事务和项的效用信息.提出3种剪枝策略,减少项集列表的数量,通过扫描一次事务数据库完成所有项集列表的构建.提出算法MHUI,直接从项集列表中挖掘所有的高效用项集而不产生任何候选项集.在3个不同的稀疏数据集上和最新的算法进行对比实验证明,MHUI算法的运行时间和内存消耗优于其他算法.     

基于索引效用的Top-k高效用项集挖掘方法

已有的Top-k高效用项集挖掘为了保持向下封闭性,利用项集的事务效用代替其真实效用,使得项集效用被估计得过大,导致剪枝效果不好,挖掘效率较低.针对这一问题,提出了索引效用的概念,在此基础上建立两级索引,并进行索引剪枝,增强了挖掘中剪枝的效果,提高了Top-k高效用项集挖掘的效率;此外,通过建立效用矩阵,支持对项集效用的快速计算,进一步提高了挖掘效率.不同类型数据集上的实验验证了所提出的Top-k高效用项集挖掘方法的有效性和高效性.     

基因表达数据的频繁闭合模式挖掘新算法

基因表达数据集与传统事务数据集相比呈现出新的特征,由于其项目数远远大于事务数,使得大量现有的基于项目枚举的频繁闭合模式挖掘算法不再适用.为此提出一种频繁闭合模式挖掘新算法TPclose,使用TP-树(tidset-prefix tree)保存项目的事务集信息.该算法将频繁闭合模式挖掘问题转换成频繁闭合事务集挖掘问题,采取自顶向下分而治之的事务搜索策略,并组合了高效的修剪技术和有效的优化技术.实验表明,TPclose算法普遍快于自底向上事务搜索算法RERⅡ,最高达2个数量级以上.     

基于改进频繁模式树的最大频繁项目集更新挖掘算法

在挖掘最大频繁项目集的过程中,通过改变最小支持度阈值可以挖掘更有用的最大频繁项目集,为此提出了一种最大频繁项目集更新挖掘算法UAMMFI(Updating Algorithm for Mining Maximal Frequent Itemsets)。算法基于改进后的频繁模式树结构,在更新挖掘过程中,不需产生候选项目集和条件模式树,并且充分利用先前已挖掘的最大频繁项目集中包含的信息,快速更新挖掘出最小支持度阈值变化后的最大频繁项目集。实验结果表明,算法能够高效更新挖掘最大频繁项目集。     

一种约束最大频繁项目集快速挖掘算法研究

发现约束最大频繁项目集是多种数据挖掘应用中的关键问题.目前已有许多算法可用于发现约束频繁项目集,而对约束最大频繁项目集的挖掘研究工作却很少.因此,需要设计一种高效的算法来挖掘出约束最大频繁项目集.为此,笔者提出了一种快速的约束最大频繁项目集的挖掘算法,并举例说明了该算法的执行过程.     

快速更新挖掘最大频繁项集

更新挖掘最大频繁项目集是多种数据挖掘应用中的重要问题,其发现过程的高花费要求对高效更新挖掘算法进行研究.提出了一种快速的更新挖掘最大频繁项目集算法,其能够在原有挖掘结果的基础上,有效地挖掘出更新后的数据库中隐含的新最大频繁项目集.     

基于滑动窗口的数据流高效用模糊项集挖掘

高效用项集挖掘可以提供有趣的结果集，但并不能提供单个项的数量，因此，本文提出了高效用模糊项集.但是，现实世界的数据是不断出现的，需要实时处理新到来的数据.为解决当前高效用模糊项集不能处理数据流的问题，又提出了模糊效用列表(fuzzy utility list, FUL)结构用于存储当前窗口中项的批次号、项在事务中的事务标识符、项的模糊效用以及项的剩余模糊效用，该结构能有效的对批次进行插入和删除操作.最后，基于FUL提出了数据流高效用模糊项集挖掘算法.对真实数据集和合成数据集进行了广泛的实验，结果证实了算法的效率及可行性.     

基于FP-tree挖掘密集型数据最大频繁模式算法

Fp-growth算法是当前挖掘频繁项目集算法中速度最快,应用最广,并且不需要候选集的一种挖掘关联规则的算法.但是,Fp-growth算法也存在着算法结构复杂和空间利用率低等缺点.在FP-tree结构的基础上提出了密集型数据最大频繁模式挖掘算法FP-DMax.算法FP-DMax只需要2次扫描数据库,在挖掘过程中不产生候选项集,大大提高了算法的时空效率.实验表明,算法FP-DMax在挖掘密集型数据最大频繁模式方面是高效的.     

频繁闭项目集更新算法

挖掘频繁闭项目集是数据挖掘领域中的一个重要研究方向,人们已提出了许多用于高效地发现大规模数据库中频繁闭项目集的算法,但对其更新维护问题的研究却比较少.在分析了频繁闭项目集更新算法关键技术的基础上,提出一种快速的增量式频繁闭项目集更新算法FUFCIA(fastupdating frquent closed itemsets algorithm),该算法将充分利用先前挖掘过程中所产生的信息来节省发现新的频繁闭项目集的时间开销,降低了候选频繁闭项目集的规模,减少了扫描数据库的次数.最后对该算法进行分析和讨论,并进行试验验证,试验结果表明算法FUFCIA是有效的.     

一种新的基于FP_Growth的频繁项目集并行挖掘算法

频繁项目集挖掘用于发现项目之间的关联规则.为了高效求解面向大数据的频繁项目集,本文提出一种新的基于FP_Growth的频繁项目集并行挖掘算法NPFP_Growth(New Parallel algorithm based on FP_Growth),该算法对频繁模式树的存储结构进行改进,基于Map/Reduce并行计算模型,利用HDFS实现数据存储,在各自计算节点上构造局部频繁模式树,求解该局部频繁模式树中每个分支的最长全局频繁项目集;对于全局非频繁项目集,计算其支持数,发送至相应计算节点进行支持度统计,从而以较为简单的算法实现频繁项目集并行挖掘.实验表明,NPFP_Growth算法具有较高的计算效率和良好的可伸缩性.     

基于PSO的加权关联规则挖掘算法

简要描述了加权关联规则问题及离散粒子群优化算法,提出了一种基于粒子群优化(PSO)算法的加权关联规则挖掘算法(PSO-WMAR).实验证明,本算法运行时间更省,产生的规则数更少且更有效.该算法具有以下特点:1)把关联规则挖掘的两个阶段结合在一起,无须先挖掘出全部频繁项目集然后再提取规则;2)只需要扫描一次数据库;3)把兴趣度引入适合度函数之中,挖掘出的规则数量更少、更有效;4)求加权频繁项目集无须查找所有候选加权频繁项目集,或者求频繁项目集的高序子集或非频繁项目集的低序超集.     

基于迭代事务集与交集剪枝的最大频繁项集挖掘算法

挖掘最大频繁项目集是多种数据挖掘应用中的关键问题,如果采用Apriori类的候选项目集生成一检验方法,则候选项目集生成的代价通常很高.为寻求避免生成大量候选项集或生成频繁模式树的挖掘算法,提出一种从事务项集交集求最大频繁项集的迭代算法DIIP(Datasets Iteration and Intersection Pruning Algorithm),通过不断缩减事务集数据量和尽可能早地对项目集进行修剪实现最大频繁项集的挖掘,该算法有别于已有的最大频繁项集经典算法,实验表明该算法有效可行.     

基于FP-Tree的最大频繁项目集更新挖掘算法

发现最大频繁项目集是多种数据挖掘应用中的重要问题．在应用中用户需要调整最小支持度,以发现更有用的最大频繁项目集．为此提出了一种最大频繁项目集更新算法(UMFPA),该算法通过对频繁模式树(FP-Tree)中的频繁项目头表(H Table)增加两个域,从而将减少在数据库不变而最小支持度变化的情况下的更新挖掘最大频繁项目集的费用．实验结果表明,算法在进行最大频繁项目集更新挖掘时具有很好的性能．     

分布式数据库的关联规则更新算法

提出一种分布式数据库的频繁项目集更新算法.该算法主要考虑分布式数据库记录总数不变,增加新项目集后的频繁项目集更新情况.算法排除原数据库已挖掘的频繁项目集,减少了各站点候选频繁项目集数目,同时减少了各站点之间传送的频繁项目集数目,减少网络流量,提高了频繁项目集挖掘的效率.通过理论分析,该算法比FDM算法效率高,并通过实例和实验证明了算法的有效性和可行性.     

基于免疫算法的频繁项集挖掘

设计了一种不同于传统关联规则挖掘算法(如Apriori算法等)频繁项集产生算法.该算法借鉴一般免疫算法思想,并从新的角度来看频繁项集的定义,避免了传统算法中存在的"项集生成瓶颈"问题.通过对mushroom数据的频繁项集挖掘的实验,与传统方法进行了比较,其结果表明,基于免疫算法的频繁项集挖掘算法在大数据集、低支持度情况下平均挖掘时间短.     

一种基于FP-tree的最大频繁项目集挖掘算法

挖掘最大频繁项目集是许多数据挖掘中的关键问题．为克服早期基于Apriori的最大频繁项目集算法中的缺点,相继有多种挖掘最大频繁项目集方法被提出．其中对基于FP-tree的最大频繁项目集挖掘算法比较多,但对FP-tree中的结点的频度计数关注的很少．通过对FP-tree结构进行了仔细分析后,在FP-tree中结点的频度计数和集合理论的基础上,提出了一种新的最大频繁项目集挖掘算法USDMFIA(using set to discover maximum frequent itemsets algorithm)．通过分析比较,显示此算法是有效的．     

FP-growth算法的一种改进

频繁项目集挖掘是多种数据挖掘应用研究的一个重要方面，频繁项目集的快速挖掘算法研究是当前研究的热点，传统Apriori及其改进算法，要多遍扫描数据库并产生大量的候选项目集，针对Apriori算法的缺陷，Han JW(韩家炜)提出FP-growth算法，该算法仅须扫描数据库两遍且无须生成候选项目集，避免了产生“知识的组合爆炸”，提高了频繁项目集的挖掘效率，但FP-growth算法是通过逐步生成条件模式基和条件频繁模式树来挖掘频繁项目集，因而影响了频繁项目集的挖掘效率，为此，在引入F-矩阵概念之后，提出了FP-growth的一种改进算法—IFP-growth，并对改进算法的性能进行了测试，实验结果表明，IFP-growth算法优于FP-growth。     

基于投影位置的序列模式挖掘算法

针对PrefixSpan算法在产生频繁序列模式(特别是挖掘密数据集和长序列模式)时会产生大量的投影数据库,使得算法性能下降的问题,提出一种基于投影位置的序列模式挖掘(PSPM)算法.该算法利用Apriori性质舍弃对非频繁项存储,节省了存储空间和扫描不可能出现序列的挖掘时间;在递归挖掘过程中,利用投影位置表直接定位投影序列位置进行挖掘局部频繁项,避免了构造投影数据库,从而提高执行效率.实验结果表明:与PrefixSpan(with pseudo-pro)算法相比,PSPM具有更好的执行效率和可伸缩性.     

分布式环境下全局模糊频繁项目集的快速挖掘

为了解决模糊关联规则挖掘算法需要用户事先给定模糊集和相应隶属度函数的问题,提出基于分布式聚类自动生成模糊集及隶属度函数的算法GFAM.该算法利用分布式K-Means聚类算法对每个数值型属性进行聚类,求得聚类中心,由此构造全局模糊集,定义全局隶属度函数.DFAR算法根据构造的全局模糊集及隶属度函数进行分布式模糊频繁项目集的快速挖掘,采用全局-局部站点模式,其中包括局部模糊频繁项目集产生算法FLF和全局模糊频繁项目集产生算法FGF.实验结果表明,该算法能准确地生成全局模糊频繁项目集,在求解全局模糊频繁项目集过程中,传送局部模糊候选项目集支持数的通信量为O(n),提高了算法的挖掘效率.