流数据频繁项算法研究

流数据频繁项挖掘是一项重要的研究课题,是其他流数据挖掘任务的基础。Lossy counting 算法是第一个近似的流数据频繁项挖掘的算法,并且具有空间和时间的高效性。详细分析该算法,尤其是它不能回答关于时间的查询的不足后,对其进行改进,提出了一个在多时间粒度上挖掘流数据频繁项的设想,加入时间维度。改进后的算法在时间倾斜窗口保存与合并频繁项,可以应用于各种对时间敏感的流数据查询和挖掘应用中。     

一种新的频繁项集挖掘算法DS-ECLAT

在ECLAT算法的基础上,提出一种新的频繁项集挖掘算法——DS-ECLAT算法。该算法使用回写集和深度搜索最长项集两项新技术,在每次迭代中,无须扫描整个数据库,对于(K+1)项集的探索仅依赖于K项集,并生成K项回写集,下一次迭代时吸取这些回写集,减少了交运算的次数,提高了算法的执行效率。相对于ECLAT算法,新算法减少了内存的需要,具有更好的可伸缩性。     

一种改进的压缩频繁模式挖掘算法

传统的频繁模式挖掘算法产出大量的频繁模式,这些大量的频繁模式对于后期的分析、处理以及理解都带来了相当大的挑战.针对上述问题,该文提出了一种改进的压缩频繁模式挖掘算法,该算法基于CFP-树通过对传统频繁模式挖掘算法的改进能够从大量的频繁模式中选择出规模更小的频繁模式代表集合,从而起到减小庞大的频繁模式挖掘结果规模的目的.实验中还将该算法和现有的RPlocal算法进行了对比,结果表明改进的压缩频繁模式挖掘算法能够在合理的时间及容错范围内获得更小的频繁模式代表集,同时大大降低了时间复杂度,提高了挖掘效率.     

基于合并FP树的频繁模式挖掘算法

FP-growth算法是一个挖掘频繁模式的有效算法,但它在挖掘过程中需要产生大量的条件FP树,因此其时空效率不够理想。提出了DFP-mine算法,通过在改进的FP树上合并子树来挖掘频繁模式,并在挖掘过程中结合了自顶向下和自底向上的双向搜索策略。理论分析和实验表明本文提出的算法具有较好的时空效率。     

一种基于十字链表的频繁项集挖掘算法

在Apriori算法的基础上,提出一种基于十字链表的关联规则挖掘算法。该算法能够快速得到每个候选项的支持度,从而有效的发现频繁项集。通过与经典算法分析对比表明,该算法具有明显的优势。     

基于双向十字链表的频繁项集挖掘

有效地进行频繁项挖掘一直以来都是数据挖掘任务中最为重要的组成部分。已有的大部分频繁项挖掘算法在数据项多及支持度低的情况下,算法的效率急剧下降。为了有效地解决此类问题,提出了一种采用双向十字链表结构的频繁项挖掘算法(two-way crossed list for frequent itemsets mining,TCLFI)。极大地降低了搜索空间,加快了频繁项的筛选过程,减少了所需保存的数据项个数,从而降低了时间复杂度,提高了频繁项的挖掘效率。实验通过真实数据集和合成数据集验证了算法的有效性和扩展性。     

基于优化的FP-Tree的频繁闭合项集挖掘算法

在经典的频繁闭合项集挖掘算法中,如Closet与Closet＋,当条件模式数据库很庞大时,频繁项集的数目将会急剧增长,算法的效率会逐步恶化,并且算法挖掘结果的有效性也随着大量冗余模式的产生而下降．本文首先针对传统的FP-tree的算法,给出了一种改进的FP—tree算法,然后在新算法的基础上,提出新的频繁闭合项集挖掘算法,该算法只需把FP-Tree中所有由叶子结点到根结点的路径遍历一遍,就可以得到各项的所有子条件模式基,避免了传统FP-tree算法在同一条路径上向前回溯比较的繁琐．实验表明优化后的算法避免了资源的耗费,减少了频繁闭合项集挖掘的运算开销,大大提高了数据挖掘的效率．     

NB-MAFIA: 基于N-List的最长频繁项集挖掘算法

本文在深度优先搜索的框架上, 引入基于项集前缀树节点链表的项集表示方法N-List, 提出一个高效的最长频繁项集挖掘算法NB-MAFIA。N-List的高压缩率和高效的求交集方法可以实现项集支持度的快速计算, 同时采用对搜索空间的剪枝策略和超集检测策略来提高算法效率。在多个真实和仿真数据集上, 通过实验评估了NB-MAFIA和两个经典算法。实验结果表明NB-MAFIA在多数情况下优于其他算法, 尤其在真实和稠密数据集上优势更为明显。     

基于关联规则的频繁路径挖掘算法

传统的关联规则Apriori算法中,只要两个k-1维的频繁项集有k-2个元素相同就可以生成维数为k的候选集,但在利用Web访问信息挖掘用户浏览模式发现频繁路径时,效率比较低下,本文利用Apriori算法的思想,对其进行了改进,进行频繁路径挖掘。     

一种用于FTTx网络规划的频繁序列挖掘算法FSM

针对光纤接入（fiber to the x,FTTx）网络规划中频繁路径挖掘问题,在经典算法FP-Growth,SPADE的基础上,结合格理论,利用频繁项集扩展枚举树作为搜索空间,并引入位图方便扩展运算和支持度计算,提出了一个改进的频繁序列挖掘算法FSM+。详细介绍了该算法的相关性质和基本理论,阐述了该算法的基本思想和实现伪码。在VC++6.0和单机的环境下,利用不同规模用户装机数据集和最小支持度比较了该算法与SPADE,FP-Growth算法的性能和准确性。实验证明,FSM+算法在小规模数据集下性能优势并不明显,但在大数据集下其计算性能分别是SPADE,FP-Growth的5倍和7倍多,挖掘结果与SPADE,FP-Growth算法相同。从而在实际网络规划过程中,快速计算信任度较高的频繁模式,并与人工经验干预相结合,来进一步保证预测路径准确有效。     

基于频繁闭项目集的关联规则挖掘算法

提出一种有效的基于频繁闭项目集的关联规则挖掘算法RIFCI．该算法采用挖掘频繁项目闭集取代传统的频繁项目集，同时在项目集和事务集中展开搜索．通过对UCI机器学习库中10个数据集的测试，与工业标准C4.5比较，错误率低于19．48％，在准确度不变的情况下，生成规则数目低于传统算法，提高了算法的效率．     

面向频繁封闭渐进项集的挖掘算法

主流数据挖掘算法不能有效解决大规模数值数据集挖掘问题。提出了一种应用于大规模数值数据集的线性时间封闭项集挖掘改进(Improved Linear time Closed Itemsets Minner, ILCM)算法。ILCM算法使用能够提取属性共同变化量的渐进模式挖掘方法,借鉴LCM算法的前缀保留闭合扩展思想,通过深度优先搜索输出频繁封闭渐进项集结果。实验证明,相比传统挖掘算法,ILCM能够显著提高算法运行效率和降低内存空间占用,并且能够有效处理如DNA微阵列等实际大型数值数据集挖掘。     

一种基于SMP系统的并行关联规则挖掘算法

从大规模数据库中挖掘关联规则是数据挖掘研究的一个重要问题.基于内存共享的对称多处理器系统SMP是目前广泛应用的并行计算系统,在关联规则串行挖掘算法Apriori的基础上,针对SMP系统设计一种基于Hash树的并行算法.理论分析和实验表明算法是有效的,具有良好的加速比.     

基于数组的频繁项目集的挖掘算法

挖掘关联规则是数据挖掘研究的一个重要方面．然而，目前提出的算法仍存在一些问题，如复杂的数据结构、大量的候选频繁项目集生成等等．本文提出使用了一种简单的数据结构——数组，并提出了基于数组的一种新的频繁项目集的挖掘算法．     

基于矩阵的频繁项集挖掘算法

在所有频繁项集挖掘算法中,Apriori算法一直是一个经典的算法,但是该算法存在的最大缺陷是要进行多次的数据库扫描并且在挖掘过程中产生大量的候选频繁项集,因此效率很低.提出了利用基于矩阵的方法挖掘频繁项集,很好地避免了这个缺陷.     

一种快速频繁模式挖掘算法

频繁模式挖掘是数据挖掘领域中一个重要的研究方向,目前已有很多算法被用于挖掘频繁模式.本文在研究FP-growth算法的基础上,提出一种新的频繁模式挖掘算法——QFP算法.首先对每一个频繁项建立一棵QFP树,进而根据设定的条件对每棵树进行挖掘,直到找出符合条件的频繁模式.实验证明该算法能够减少条件子树的生成数量,降低对内存空间的依赖和CPU的计算时间,从而提高关联规则挖掘的效率.     

基于空间划分的频繁模式挖掘算法

对关联规则挖掘问题建立了完全格描述并给出了问题规模下限,提出了一种基于搜索空间划分的项集频度计算模型.在对FP-树进行改造的基础上提出基于划分思想的频繁项集挖掘算法UPM,算法的项集频度计算和非频繁项目裁剪都基于空间划分的思想.性能实验表明,与FP-Growth算法相比,UPM算法的时空效率有较大提高.     

基于关联矩阵的频繁项集挖掘算法

根据经典Apriori性质和算法思想,提出了一种基于关联矩阵的挖掘频繁项集的算法.应用实例分析表明,该算法在挖掘过程中,只需扫描一次数据库,有效地减少了扫描数据库的次数,提高了算法的效率.