基于布尔矩阵和MapReduce的FP-Growth算法

关联规则挖掘是数据挖掘的一个重要组成部分.为提高关联规则的挖掘效率,提出了一种基于布尔矩阵和MapReduce的FP-Growth算法(BPFP),分析了算法的时间和空间复杂度.该算法使用Hadoop框架和布尔矩阵以减少对事务数据的扫描次数,利用两次MapReduce来实现频繁项集的挖掘.在多个数据集上的实验结果表明,与原FP-Growth算法相比,BPFP算法具有更高的执行效率、更好的加速比.     

关联规则Apriori改进算法

在分析关联规则和Apriori算法原理的基础上,针对Apriori算法瓶颈提出一种改进算法,该算法直接产生项数最大频繁项目集.改进算法访问的数据量明显减少,尤其适用于只寻找项数最大的频繁项目集的情况,尤其适用于稀疏数据.实验结果表明改进算法提高了算法效率,改善了算法的性能.     

基于快速隐私保护关联规则的挖掘算法

随着数据库规模的日益增大,关联规则挖掘需要在挖掘效率、可用性、隐私性及精确性等方面得到提升,需要对传统的关联规则挖掘算法进行更新和改进.在传统的Apriori算法基础上,提出了一种新的在关系数据库中挖掘关联规则的算法.该算法只需扫描一次数据库即可得到频繁项集,并通过非频繁项集来减少候选项集的生成,从而提高了算法的运算效率;此外,该算法将包含敏感数据事务做相关的处理,以达到隐藏包含敏感数据的关联规则.理论分析和实验结果表明,新算法不仅提高了关联规则挖掘的效率,而且还达到了隐藏包含敏感规则的目的.     

FP-Growth的并行加权关联规则挖掘算法

基于FP-Growth算法,提出一种并行加权的关联规则挖掘(PWARM)算法,证明其满足加权向下封闭性.使用MapReduce计算模型,在分布式集群中并行挖掘出关联规则.实验结果表明:该算法可以满足数据权重不同的需求,且在处理大数据集时能有效地提高挖掘的效率.     

一种新的加权关联规则增量更新算法

考虑事务数据库D长度不变、项目集I发生变化并且带有权重时的关联规则挖掘问题,提出了一种针对项目集增加的加权关联规则更新算法,解决了增加项目集的加权关联规则更新问题,与对新数据库重新运行算法相比,其运行效率有显著提高.     

关联规则更新的新算法

考虑事务数据库D不变,项目集I发生变化时的关联规则挖掘问题.提出了两种关联规则更新算法,解决增加项目或减少项目时的关联规则更新问题.与重新运行一遍Apriori算法相比较,其运行效率有显著提高.     

关联规则挖掘算法的优化

Apriori算法是关联规则挖掘的经典算法,该算法在处理规模巨大的候选项目集时存在耗时长和效率低的问题,提出了采用分割法对数据进行分片的优化算法.实验证明该算法不仅能减少数据挖掘对系统资源的占用,而且解决了数据库中数据分割下局部频繁项目序列集产生和全局频繁项目序列集的转换问题.     

基于MapReduce的Eclat改进算法研究与应用

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,将Eclat算法与目前流行的大规模数据集并行编程模型MapReduce结合,解决了Eclat算法在数据挖掘过程存在的瓶颈问题,运用于动车组故障诊断系统中,提高了关联规则挖掘的效率.     

基于等价类划分的并行频繁闭项集挖掘算法

针对海量数据的关联规则挖掘问题,提出了一种有效的基于等价类划分的并行频繁闭项集挖掘算法.该算法在MapReduce框架下,通过等价类的产生与划分、数据集的分配、异步频繁闭项集挖掘和汇总等步骤,不但较好地解决了多节点间的负载均衡问题,而且易于获得可靠的频繁闭项集.实验表明,该算法能有效克服传统算法挖掘效率低、冗余规则较多的缺点,整体上具有较高的性能.     

基于粗糙集带结论域的关联规则挖掘算法及其优化

针对Apriori-Hybrid算法的瓶颈,提出了一种使用支持度矩阵对频繁2项集快速挖掘的方法,采用改进的Apriori-Hybrid算法来挖掘关联规则,试验证明该算法提高了关联规则挖掘的效率和质量．     

基于双向十字链表的频繁项集挖掘

有效地进行频繁项挖掘一直以来都是数据挖掘任务中最为重要的组成部分。已有的大部分频繁项挖掘算法在数据项多及支持度低的情况下,算法的效率急剧下降。为了有效地解决此类问题,提出了一种采用双向十字链表结构的频繁项挖掘算法(two-way crossed list for frequent itemsets mining,TCLFI)。极大地降低了搜索空间,加快了频繁项的筛选过程,减少了所需保存的数据项个数,从而降低了时间复杂度,提高了频繁项的挖掘效率。实验通过真实数据集和合成数据集验证了算法的有效性和扩展性。     

一种不产生候选项集的关联规则挖掘算法

在挖掘关联规则的过程中，关键步骤是产生频繁项集．基于频繁项集支持矩阵的思想，提出一种有效的频繁项集挖掘算法-FIMA，并给出了算法的基本设计思想和算法描述．本算法利用矩阵挖掘频繁项集，不需要产生候选项集，且只需扫描数据库一次。所以此算法是非常有效的．     

负关联规则挖掘中的频繁项集爆炸问题

为了解决负关联规则挖掘中包含负项目的频繁项集数量爆炸问题,引入过频繁项集的概念,证明过频繁项集及其所有超集均不可能产生有趣的关联规则。在频繁项集生成过程中,必须对项集中包含负项目的个数进行限制。使用最小支持度、最大支持度、项集中最多包含负项目的个数2个参数来约束频繁项集生成过程的算法。实验结果表明:所增加的2个参数是必要的,特别是当数据集中所包含的项目个数比较多时,只有恰当地设置2个额外参数,才能够保证挖掘过程的正常进行。     

负关联规则挖掘中的频繁项集爆炸问题

为了解决负关联规则挖掘中包含负项目的频繁项集数量爆炸问题,引入过频繁项集的概念,证明过频繁项集及其所有超集均不可能产生有趣的关联规则。在频繁项集生成过程中,必须对项集中包含负项目的个数进行限制。使用最小支持度、最大支持度、项集中最多包含负项目的个数2个参数来约束频繁项集生成过程的算法。实验结果表明:所增加的两个参数是必要的,特别是当数据集中所包含的项目个数比较多时,只有恰当地设置两个额外参数,才能够保证挖掘过程的正常进行。     

一种基于预裁剪的不确定数据流频繁项集挖掘算法

随着交通、网络流量监控等应用的涌现,不确定数据流频繁项集挖掘成为近年来的研究热点。通常在不确定数据流中,频繁项集所占的比例较小,导致挖掘中无效操作较多。基于这种情况,提出了一种基于预裁剪的不确定数据流频繁项集挖掘算法Prep-UF-Streaming;该算法,不仅能裁剪掉大部分非频繁项集,提高了算法的平均运行时间;而且能够检测到非频繁项集成为频繁项集的可能性,尽量不丢失频繁项集,从而尽可能地提高算法的性能。     

关联规则Apriori算法的改进

Apriori算法是关联规则提取的经典算法,但存在一些不足之处。关联算法的研究主要集中在提高Apriori算法的效率上。本文分析了该算法并进行了改进,使得频繁集产生的同时精简事务集。这种算法及时去掉了不必要的数据,减少了数据运算,从而使算法更优化。     

基于动态数据的加权频繁项集挖掘算法

为解决在挖掘频繁项集过程中,因忽略不同项目间的重要程度而导致的挖掘有效性低以及忽略数据的动态更新而造成的挖掘效率低的问题,通过引入新的加权规则,从权值与频数两方面去体现项目间的重要性差异,并通过引入树形结构与关系矩阵提高数据动态变化时频繁项集的挖掘效率。创新性地提出基于动态数据的加权频繁项集挖掘算法weighted dynamic date mining (WDDM)。实验结果表明,WDDM算法较以往算法挖掘效率与有效性显著提高,有利于发现更多有研究价值的信息。     

NB-MAFIA: 基于N-List的最长频繁项集挖掘算法

本文在深度优先搜索的框架上, 引入基于项集前缀树节点链表的项集表示方法N-List, 提出一个高效的最长频繁项集挖掘算法NB-MAFIA。N-List的高压缩率和高效的求交集方法可以实现项集支持度的快速计算, 同时采用对搜索空间的剪枝策略和超集检测策略来提高算法效率。在多个真实和仿真数据集上, 通过实验评估了NB-MAFIA和两个经典算法。实验结果表明NB-MAFIA在多数情况下优于其他算法, 尤其在真实和稠密数据集上优势更为明显。     

基于分类树的高效关联规则挖掘算法

在分析类Apriori算法存在效率瓶颈的基础上，提出了一个高效改进算法——基于分类树的关联规则挖掘算法．该算法只需要两次访问数据库，把数据库中的数据利用分类树来存储，减少了访问数据库的次数；并且由分类树的全部或部分来求得频繁项目集，减少了求频繁项目集的比较次数．此算法通过结合Apriori和FP—tree两种算法来提高挖掘效率，降低了挖掘算法的时间复杂度和空间复杂度．通过多次试验证明该算法比Apriori及其改良算法的挖掘效率高2到8倍．     

基于FP树的一种快速挖掘生成器算法

频繁项集挖掘是数据挖掘的一个热点,频繁项集的精简表示有助于减少频繁项集的数量,是频繁项集挖掘中的一个关键性问题。文章在总结频繁项集的相关精简模型后,对频繁项集精简模型,生成器精简表示模型进行研究。传统的生成器精简表示模型每次生成都需要扫描数据库,效率不高。本文提出一种新颖的频繁项集精简算法FPASCAL,使用FP树数据结构代替数据库再结合剪枝策略。理论分析及实验证明该方法在时间性能和空间复杂度上都优于传统方法。