一种网络日志挖掘的高效算法

提出了一种网络日志挖掘算法PWU,其采用了异构树结构。通过对异构树叶子节点进行编号,使得对候选集计数时只需对具有相同编号的叶子节点进行计数,极大地简化了候选集计数过程。在此基础上,算法还具有增量挖掘功能。最后,从理论分析和实验两方面证明了算法的高效性以及增量挖掘功能的高效性和完备性。     

DMGSP:一种快速分布式全局序列模式挖掘算法

为了解决分布式环境下挖掘全局序列模式常产生过多候选序列,加大网络通信代价问题,提出了一种基于分布式环境下的快速挖掘全局序列模式算法--DMGSP.该算法将分布式环境下的各站点得到的局部序列模式压缩到一种语法序列树上, 避免了重复的序列前缀传输. 采用合并树中结点序列规则和项序扩展策略,对非频繁序列进行剪枝,有效地约简了候选序列,减少了网络传输量,从而快速生成全局序列模式.算法分析和实验结果表明,在大数据集环境下的DMGSP算法性能优越,能够有效地挖掘全局序列模式.     

基于迭代事务集与交集剪枝的最大频繁项集挖掘算法

挖掘最大频繁项目集是多种数据挖掘应用中的关键问题,如果采用Apriori类的候选项目集生成一检验方法,则候选项目集生成的代价通常很高.为寻求避免生成大量候选项集或生成频繁模式树的挖掘算法,提出一种从事务项集交集求最大频繁项集的迭代算法DIIP(Datasets Iteration and Intersection Pruning Algorithm),通过不断缩减事务集数据量和尽可能早地对项目集进行修剪实现最大频繁项集的挖掘,该算法有别于已有的最大频繁项集经典算法,实验表明该算法有效可行.     

一种快速最大频繁序列模式挖掘算法

针对序列模式挖掘中, 频繁子序列个数随模式长度增加而爆炸性增长的问题, 提出一种从序列数据库中挖掘最大频繁序列模式的新算法(MFSPAN). MFSPAN充分利用不同序列可能具有相同前缀的性质来减少项集比较次数. 在标准测试数据集上的实验结果表明了MFSPAN的有效性.     

分布式全局频繁项目集的快速挖掘方法

针对传统的分布式全局频繁项目集挖掘算法存在大量的候选项目集，且求全局频繁项目集的网络通信代价过高等问题，提出了一种分布式数据库的全局频繁项目集快速挖掘算法（FDMA）．该算法改进了频繁模式树（FP-树）的结构，将双向FP-树改为单向，每个节点只保留指向父结点的指针，减少了指针数，由此可节省1／3的树空间；同时通过传送用3个很小的数组表示的被约束子树，在此挖掘全局频繁项目集的过程中不再生成大量候选项目集或条件FP-树，从而减小了网络通信量，提高了挖掘效率．实验表明，所提算法的挖掘速度比传统的分布式数据库数据挖掘算法至少提高了1倍之多，随着数据库规模的增大，它的扩展性将更好．     

基于FP-tree的最大频繁项集挖掘算法

现有的最大频繁项集挖掘算法在支持度阈值较大情况下已达到较高性能,但在支持度阈值较小时,由于候选项集的快速增长,其性能往往不理想。文章提出了一种基于频繁模式树(FP-tree)存储结构的最大频繁项集挖掘算法——DMFIF算法,将FP-tree各分枝作为初始候选项集,并按维数和支持度递减排序,结合子集剪枝策略,自顶向下搜索挖掘最大频繁项集。实验结果表明,该算法在低支持度阈值下稠密数据集中挖掘长模式具有较好性能。     

一种基于MapReduce的并行FP-growth算法

FP-growth算法是不产生候选集的关联规则挖掘算法,在许多领域中具有很高的实际应用价值。然而经典的FP-growth算法是内存驻留算法,只能处理小数据集,在面对海量数据集时显得无能为力。对经典FP-growth算法中FP-tree的结构和挖掘过程进行了改进,分析了FP-tree单路径和多路径的不同挖掘方法,提出了一个剪枝策略,在挖掘过程中减少了部分分支的迭代次数。然后利用云计算的MapReduce编程技术,对改进的FP-growth算法的各个步骤并行化。实验结果表明改进的算法在处理不同的数据集时有一定的优势,然后经过MapReduce模型并行化后,提高了对海量数据的处理能力和效率,并且具有较好的加速比和良好的扩展性。     

分布数据库关联规则挖掘

先从理论上证明分布数据库局部频繁集与全局候选频繁集之间存在某种关系 ,利用该关系设计分布数据库关联规则挖掘算法 .该算法的局部频繁集挖掘利用FP -树实现 ,不需生成候选频繁集 ,全局频繁集在局部频繁集基础上直接生成 ,不需重新扫描各局部数据库 ,不会造成过度的网络通信开销 ,具有很好的挖掘效率     

Suppoqui算法-基于支持度的频繁集快速产生算法

提出了一种新的关联规则挖掘算法-Suppoqui算法,该算法是通过对集合树进行遍历来求频繁项集,它取消了候选集的求解过程,抛弃了以往传统算法求解频繁项集的思路,因此该算法是高效的。     

基于集合和剪枝原理的关联规则隐藏算法

针对传统关联规则隐藏算法直接遍历数据集,而导致输入输出流资源浪费的问题,提出一种基于集合和剪枝原理的关联规则隐藏算法。该算法首先建立频繁模式树(FP-tree),利用后剪枝原理去除属性相同规则,减少了遍历原始数据集所耗I/O时间;然后通过建立集合来保存真实频繁序列,并以集合为单位隐藏关联规则,既保证数据集质量,又提高频繁序列挖掘效率。实验结果表明,该算法与GSP、SPADE算法相比较,不仅更好地保证了数据集的高质量,而且降低了20%～50%频繁序列挖掘时间,并在隐藏敏感规则上有较好的实用性。     

快速关联规则挖掘算法

提出了一种新颖的关联规则挖掘算法QAIS，与经典两阶段式关联规则挖掘算法不同的是，它只需扫描一遍事务数据库，不需要生成候选集，并且可以方便的应用在增量式关联规则挖掘算法中，该算法经合成数据验证是有效的．同时针对关联规则生成过程中出现大量冗余规则的问题，还讨论了冗余关联规则去除的问题．     

基于投影数据库的序列模式挖掘增量式更新算法

针对序列模式挖掘中的增量挖掘问题,提出一种序列模式更新算法ISPBP.算法引入序列数据库结构来存储从原始数据库中挖掘出的所有项、最大频繁模式以及它们的支持数,采用间接拼接方法,只需处理增量数据库,避免了对更新后数据库的重新计算.对于因增量数据库新产生的频繁模式,利用了在增量数据库中出现的频繁项集来减小投影数据库,进一步提高了算法的效率.理论分析和实验表明,算法是有效可行的,并且增量数据库越大,算法在效率上的优越性越明显,算法ISPBP优于传统增量式更新算法.     

大型数据库中的高效序列模式增量式更新算法

提出一种称为FIMS（fast incremental mining of sequential patterns)的序列模式增量式更新算法，处理因数据库的更新而引起的序列模式的维护问题。主要思想是利用原先的序列模式挖掘结果，通过建立一个投影数据库来减少对整个数据库的扫描次数和侯选序列的生成，从而提高挖掘的效率。实验结果显示在更新数据量远小于整个数据库的大小时，FIMS算法的性能优于GSP算法4－7倍。     

FP-growth算法的一种优化实现

研究工作者已经提出了许多对事务数据库中频繁模式、关联规则的挖掘算法.早期算法有Apriori算法,然而该算法利用候选项集找频繁项集,而候选项集的产生往往是非常耗时的.JianweiHan等人提出了一种改进的算法,FP-growth算法.该算法不产生候选项集,效率比Apriori算法提高了近一个数量级.在描述FP-growth算法的基础上,具体讨论了如何优化数据结构,有效的实现该算法.     

一种高效挖掘关联规则的算法研究

在对经典的关联规则算法进行了分析后,通过引入多维链表结构,提出了利用事务集合匹配运算和链表操作高效地挖掘关联规则的算法ARM LL.实验结果表明该算法是可行的,并具有较高的效率.     

一种新的加权关联规则增量更新算法

考虑事务数据库D长度不变、项目集I发生变化并且带有权重时的关联规则挖掘问题,提出了一种针对项目集增加的加权关联规则更新算法,解决了增加项目集的加权关联规则更新问题,与对新数据库重新运行算法相比,其运行效率有显著提高.     

一种基于关联规则的增量数据挖掘算法

分析了关联规则增量更新挖掘算法FUP和IUA,指出了其效率低下的主要原因.针对关联规则增量更新问题,提出了一种新的简单高效的增量挖掘算法LIUA,并对算法LIUA进行了测试,测试结果表明算法是高效、可行的.     

关联规则研究综述

关联规则挖掘是近年来数据挖掘研究中一个相当活跃的领域.本文给出了关联规则及相关术语的定义,对关联规则挖掘中的频繁模式、频繁闭模式、最大频繁模式、并行/分布式挖掘及增量挖掘算法作了简单评述,着重介绍了近三年来发表的一些新算法,并对未来的发展趋势进行了预测和展望.     

基于Apriori算法的多维关联规则挖掘研究

关联规则是数据挖掘中的一个重要研究方向.经典的Apriori算法是一种最有影响的挖掘布尔型关联规则频繁项集的算法,但其并不适合挖掘近年来兴起的多维数据模型.在改进Apriori算法的基础上,提出了一种"二次剪枝"的算法,此算法适用于挖掘多维关联规则,并且在一定程度上提高了算法效率.