数据流频繁闭项集挖掘研究

频繁项集挖掘是关联规则挖掘算法的核心,数据流的实时、无限及不可逆性给传统数据挖掘方法带来很大挑战.频繁闭项集挖掘为频繁项集挖掘提供了完整且低冗余的结果,是近年来数据流频繁项集挖掘研究的热点之一.介绍了数据流频繁闭项集挖掘的相关概念,并从搜索空间的遍历策略、误差结果控制方式等方面对数据流频繁闭项集挖掘算法进行了分析比较.     

基于MapReduce的频繁模式挖掘算法的优化

分布式数据挖掘计算是大数据研究中非常重要的技术,现有的对频繁模式的分布式挖掘方法在处理大量数据集时仍然存在许多局限,如并行Apriori算法在多次扫描数据库过程中对I/O产生很大负担,并且有大量候选集产生.本文使用的FP-growth算法包括Fp-tree构建和频繁模式挖掘两个阶段.主要思想是在map阶段构建FP-tree之前,根据步长值及项目元素编码对FP-tree节点合并,并在shuffle阶段依据平衡算法划分给不同的reducer.平衡算法用来均衡工作负载.利用该算法来降低数据分配的随机性,避免数据挖掘阶段由于数据划分不均衡导致部分reducer开销过大的缺点.实验结果表明:与现有方法相比,在较大数据集情况下改进后的算法具有更好地运算效率和可伸缩性.     

FP-Growth的并行加权关联规则挖掘算法

基于FP-Growth算法,提出一种并行加权的关联规则挖掘(PWARM)算法,证明其满足加权向下封闭性.使用MapReduce计算模型,在分布式集群中并行挖掘出关联规则.实验结果表明:该算法可以满足数据权重不同的需求,且在处理大数据集时能有效地提高挖掘的效率.     

基于机群系统的并行划分聚类算法

从划分聚类要求的时间和空间上看，传统的串行算法已很难适应海量的数据，有必要研发高性能、可扩展的并行算法来解决这一问题，基于一些主要的并行划分聚类算法所存在的问题，提出了在机群系统上采取数据并行策略设计的并行划分聚类算法思想。     

基于空间划分的频繁模式挖掘算法

对关联规则挖掘问题建立了完全格描述并给出了问题规模下限,提出了一种基于搜索空间划分的项集频度计算模型.在对FP-树进行改造的基础上提出基于划分思想的频繁项集挖掘算法UPM,算法的项集频度计算和非频繁项目裁剪都基于空间划分的思想.性能实验表明,与FP-Growth算法相比,UPM算法的时空效率有较大提高.     

基于MapReduce和改进人工蜂群算法的并行划分聚类算法

针对大数据背景下基于划分的聚类算法中存在参数寻优能力不佳、初始中心敏感、数据倾斜等问题,提出一种基于MapReduce和人工蜂群(artificial bee colony,ABC)算法的并行划分聚类(the partitioning-based clustering algorithm by using im-prove artificial bee colony based on MapReduce,MR-PBIABC)算法.首先,提出基于反向学习和聚类准则函数的初始化策略(backward learning and the clustering criterion function,BLCCF),提升人工蜂群算法搜索的解质量,并将ABC算法和人工鱼群(artificial fish colony,AFS)算法结合,提出改进人工蜂群(improve artificial bee colony,IABC)算法,通过利用AFS算法最优解能力较强的特性,来提高ABC算法的寻优能力;其次,根据改进的人工蜂群算法IABC获取初始聚类中心,提出相对熵策略(rela-tive entropy strategy,RES)衡量人工鱼间的距离,保证获得的初始聚类中心是最优人工鱼状态,从而有效避免了随机选取初始聚类中心,引起的初始中心敏感的问题;再次,设计数据均衡策略(data balancing strategy,DBS),通过动态收集节点负载并分配节点间的负载,解决了节点上数据倾斜的问题;最后,结合MapReduce计算模型,并行挖掘簇中心,生成最终聚类结果.实验结果表明,MR-PBIABC算法的聚类效果更佳,同时在大数据环境下,能有效地提高并行计算的效率.     

概率频繁模式挖掘之U-apriori算法研究

不确定性数据的频繁项集挖掘的算法—U-apriori算法采用逐层迭代搜索方法,使用候选项集来找频繁项集.分析了U-apriori算法的流程和实现过程,并通过实验对比得出U-apriori算法花费较少时间和空间的优点,最后针对该算法的缺点提出了改进思路.结果表明:U-apriori算法是最佳概率频繁模式挖掘方法之一.     

基于MapReduce的并行子空间聚类算法

随着现有数据体量的迅速增长,超大规模中高维数据集的聚类问题变得越来越重要;而现有的子空间聚类算法大多是单机串行执行,处理此类问题效率极低。讨论了利用MapReduce对这类数据集进行并行聚类的方法,提出了基于MapReduce的抽样-忽略子空间聚类算法(sample-ignore subspace clustering using MapReduce,SISCMR)。该算法将串行聚类算法用作插件,具有很好的通用性。在人造和真实数据集上进行了大量实验,其中最大为0.2 TB的数据集在128个核心的集群中仅用不到10 min就完成了聚类,验证了该算法良好的聚类质量、近线性的可扩展性和高效的聚类性能,证明了基于MapReduce的并行聚类的可行性。     

基于FP-tree的最大频繁项集挖掘算法

现有的最大频繁项集挖掘算法在支持度阈值较大情况下已达到较高性能,但在支持度阈值较小时,由于候选项集的快速增长,其性能往往不理想。文章提出了一种基于频繁模式树(FP-tree)存储结构的最大频繁项集挖掘算法——DMFIF算法,将FP-tree各分枝作为初始候选项集,并按维数和支持度递减排序,结合子集剪枝策略,自顶向下搜索挖掘最大频繁项集。实验结果表明,该算法在低支持度阈值下稠密数据集中挖掘长模式具有较好性能。     

一种新的频繁项集挖掘算法DS-ECLAT

在ECLAT算法的基础上,提出一种新的频繁项集挖掘算法——DS-ECLAT算法。该算法使用回写集和深度搜索最长项集两项新技术,在每次迭代中,无须扫描整个数据库,对于(K+1)项集的探索仅依赖于K项集,并生成K项回写集,下一次迭代时吸取这些回写集,减少了交运算的次数,提高了算法的执行效率。相对于ECLAT算法,新算法减少了内存的需要,具有更好的可伸缩性。     

基于优化的FP-Tree的频繁闭合项集挖掘算法

在经典的频繁闭合项集挖掘算法中,如Closet与Closet＋,当条件模式数据库很庞大时,频繁项集的数目将会急剧增长,算法的效率会逐步恶化,并且算法挖掘结果的有效性也随着大量冗余模式的产生而下降．本文首先针对传统的FP-tree的算法,给出了一种改进的FP—tree算法,然后在新算法的基础上,提出新的频繁闭合项集挖掘算法,该算法只需把FP-Tree中所有由叶子结点到根结点的路径遍历一遍,就可以得到各项的所有子条件模式基,避免了传统FP-tree算法在同一条路径上向前回溯比较的繁琐．实验表明优化后的算法避免了资源的耗费,减少了频繁闭合项集挖掘的运算开销,大大提高了数据挖掘的效率．     

基于数组的频繁项目集的挖掘算法

挖掘关联规则是数据挖掘研究的一个重要方面．然而，目前提出的算法仍存在一些问题，如复杂的数据结构、大量的候选频繁项目集生成等等．本文提出使用了一种简单的数据结构——数组，并提出了基于数组的一种新的频繁项目集的挖掘算法．     

一种快速的频繁项集挖掘算法

挖掘频繁项集是许多数据挖掘任务中的关键问题,也是关联规则挖掘算法,所以提高频繁项集的生成效率一直是近几年数据挖掘领域研究的热点之一,研究人员从不同的角度对算法进改进以提高算法的效率。该文提出了一种基于位表的频繁项集挖掘算法,用一种特别的数据结构———位表来压缩数据库以便快速产生候选集和支持计数,实验结果表明;此算法大大减少了遍历的时间,是性能比较好的算法。     

频繁项集挖掘的Apriori改进算法研究

针对Apriori算法的不足,提出了一种新的优化算法——IApriori.该算法应用散列技术优化产生频繁-2项集,优化连接操作减少连接判断的次数,通过对候选项集编码来减少扫描数据库的次数,优化逻辑"与"运算减少不必要的"与"操作次数,缩短生成频繁项集的时间.IApriori算法仅需3次扫描数据库.研究结果表明,该算法具有快速、直观、节省内存等优点.     

基于关联矩阵的频繁项集挖掘算法

根据经典Apriori性质和算法思想,提出了一种基于关联矩阵的挖掘频繁项集的算法.应用实例分析表明,该算法在挖掘过程中,只需扫描一次数据库,有效地减少了扫描数据库的次数,提高了算法的效率.     

基于格的快速频繁项集挖掘算法

随着数据库规模的增加或支持度阈值的减少,频繁模式的数量将以指数形式增长,FP-growth算法运行的时空效率将大为降低.本文提出一种基于格的快速频繁项集挖掘算法LFP-growth,算法利用等价关系将原来的搜索空间（格）划分成若干个较小的子空间（子格）,通过子格间的迭代分解,将对网格P(I)的频繁项集挖掘转化为对多个子格的并集进行的约束频繁项集挖掘.实验结果和理论分析表明,在挖掘大型数据库时,LFP-growth算法的时间和空间性能均优于FP-growth算法.     

基于集合和位运算的频繁集挖掘优化算法

产生频繁项目集是关联规则挖掘中的一个关键步骤.在对Apriori算法分析的基础上,提出了一种基于集合和位运算的频繁项目集挖掘算法.该算法用位视图表示使用了每个项目的事务,通过对位视图进行位运算来计算每个项目集的支持数,避免了Apriori算法中多次扫描数据库的问题.     

基于准频繁项目集的关联规则挖掘

为减少关联规则挖掘中数据库扫描次数,提出了一种基于准频繁项目集的关联规则挖掘算法———SupposedFrequent,同时给出了候选频繁项目集的产生函数———BGen.最后通过实验证明:在给定最好的准频繁项目集的条件下,只需扫描数据库两次就能产生全部的频繁项目集。     

最大频繁项目集挖掘技术研究

提高最大频繁项目集挖掘算法的效率是关联规则挖掘研究一个重点领域。本文主要对影响最大频繁项目集挖掘效率的数据分布、搜索策略、支持度计算及剪枝策略等技术进行研究。