基于频繁模式树的约束最大频繁项目集挖掘算法研究

目前绝大多数频繁项目集(或最大频繁项目集)挖掘算法并没有考虑相关领域知识,其结果会产生许多无关的模式.因此,发现约束频繁(或约束最大频繁)项目集是多种数据挖掘应用中的关键问题,然而,这方面的研究工作却很少.为此该文提出了一种快速的基于频繁模式树(FP-tree:一种扩展前缀树结构)的约束最大频繁项目集挖掘及其更新算法.实验结果表明该算法是快速有效的.     

关联规则增量式更新算法的研究

关联规则是数据挖掘中的重要研究内容之一,国内现有的关联规则算法大多是研究挖掘数据库不变的限定条件下,发现挖掘数据的各属性间的所有关联型知识.而事实上大多数挖掘数据会随时间的变化不断变化.针对数据库中追加数据时,如何有效地更新关联规则的问题,提出了一种新算法———IUAMAR算法.该算法可以有效地利用知识数据库中保留的最小非高频繁项目集产生新的候选项目集,避免了候选项目集的数量太庞大的问题.     

一种高效的关联规则连续增量更新改进算法

针对FP-growth算法存在的不能进行增量更新,以及已有基于FP-growth的增量更新算法效率不高、不支持连续更新等问题,在FP-tree基础上,提出了增量更新改进算法FPIUA2,其适用于数据集连续增加的情形,适用于稀疏型数据集和稠密型数据集、支持连续执行.实验表明:该算法的效率远高于FPgrowth和已有的增量更新算法,其执行效率较FP-Growth、FPUA和FIUA2算法提高了1个数量级,并且具有很好的可扩展性.     

用Visual Foxpro实现Apriori算法的研究

采掘关联规则是数据采掘领域的一个重要问题,探讨了Apriori算法,基于该算法,提出了1种用Visual Foxpro求频繁项目集的方法,并编写了求频繁项目集的程序。     

基于支持矩阵的频繁集增量更新算法改进研究

针对FUP算法在频繁集增量更新时,剪枝效率低下以及候选集验证速度慢的缺陷,提出了基于支持矩阵的频繁集增量更新的高效挖掘算法—SMFUP算法.该算法不仅采用支持矩阵进行整体剪枝来提高剪枝效率,而且进一步结合频繁2项集矩阵加快候选频繁集的验证速度,从而使算法的增量更新效率大大提高.最后通过实验证明了算法改进的有效性.     

频繁独立模式挖掘

高频独立模式对无相关属性选择有一定意义．给出挖掘频繁独立模式算法，并在标准数据挖掘数据集蘑菇数据上测试，得到蘑菇数据在一定度量下的所有频繁独立模式，实验结果表明了挖掘算法的有效性．     

多分类-关联规则分类的一种改进算法

提出了一种基于多分类-关联规则的快速分类算法——FCMAR,该算法在建立频繁模式树(FP-tree)时裁减掉不能生成频繁规则的项目,因而可减少FP-tree的节点数目,有效地降低时间和空间复杂度,实验结果表明该算法是有效可行的.     

基于频繁模式的选择性集成

针对集成学习方法在处理大规模数据集时具有计算复杂度高、基分类器数目多、分类精度不理想的问题,提出一种基于频繁模式的选择性集成算法. 该算法利用频繁模式挖掘的原理,将未剪枝的集成分类器和样本空间映射为事务数据库,并利用布尔矩阵存储分类结果,然后从中挖掘频繁基分类器组成最终的集成分类器,达到选择性集成的目的. 实验结果表明,与集成分类算法Bagging、AdaBoost、WAVE 和RFW 相比,该算法减小了集成分类器的规模,提高了集成分类器的分类精度和分类效率.     

基于数据挖掘思想的故障模式分析

提出了一种新型的基于数据挖掘思想的故障模式分析.通过收集故障现象并整理形成故障信息维度表,产品技术参数、故障原因等组成的关系规则维度表;基于故障信息维度表与关系规则维度表应用Apriori算法的频繁项集方法对故障信息进行分析,通过故障匹配、生成候选集、过滤候选集,最后确定故障原因,优选出排除故障方案.     

利用数据变换与并行运算的闭频繁项集挖掘方法

针对传统闭频繁项集(CFI)挖掘方法耗时长、效率低的问题,提出一种基于数据变换与并行运算(DTPC)的新型挖掘方法:设计基于质数对数运算的数据变换方法,将大量数据转换成简单的数字;利用Spark并行框架中的平方/开方运算将这些数字转换成频繁项集.3 000万篇文章的大数据集实验结果表明,提出的DTPC算法可以大幅度提升数据挖掘效率,同时减少计算资源的不必要浪费.     

基于最大频繁项集信息熵的数据流变化检测

应用最大频繁项集信息熵来进行数据流变化检测.采用了一种新的数据流差异度度量方法;提出了一种新的有效挖掘最大频繁项集的算法;给出了应用最大频繁项集信息熵进行数据流变化检测的算法.最后,对算法的时间效率和空间效率进行了分析.     

基于事务线索树的一次扫描关联规则增量挖掘算法

首先将事务数据库压缩存储到一棵事务线索树(TT-tree)的结点上，并建立这些结点的索引表，然后寻找结点索引表的最后结点到根结点的全部路径，这些路径及路径的交集包含了用于挖掘关联规则的频繁集，该算法只需扫描事务数据库一次，由于采用了逆向搜索TT-tree的方法,搜索的时间开销非常少，该算法可以挖掘中短模式的海量数据，具有很好的伸缩性,同时该算法具有增量挖掘的功能，通过大量的实验数据进行比较。该算法的速度约是Apriori算法的10倍。     

一种结合关联与FOIL算法的分类方法

针对如何减少关联分类方法中冗余规则,增加FOIL算法的规则数,以提高分类准确率,提出了一种结合关联与FOIL算法的分类方法,并称之为ACFA．首先,以类支持度和自信度为度量提取长度为1和2的规则,其次,利用Apriori算法挖掘出频繁2-项集F2,然后在频繁2-项集F2申挑选满足条件的频繁项建立候选集,最后在候选集上运用FOIL算法来产生分类规则．实验表明算法ACFA不但有效减少了关联分类方法中冗余的规则,并大大增加了FOIL算法的规则数,提高了分类的准确率．     

改进的Apriori算法的入侵检测系统研究

综述了数据挖掘技术在网络入侵检测中的应用,阐述了关联规则分析在网络入侵检测中的应用原理和最新的研究与改进,并指出了目前存在的问题和未来研究的方向。改进由k阶频繁项集生成k＋1阶候选频繁项集时的连接和剪枝策略;改进对事务的处理方式,当所有联接完成时只扫描一遍Lk-1,减少Apriori算法中的模式匹配所需的时间开销。实验表明,该算法应用于此系统来提取用户行为特征和入侵模式特征,提高了整个系统的性能。     

一种基于数据库分解的关联规则挖掘新算法

在Fp-growth算法的基础上,提出了一种新颖的关联规则挖掘算法.该算法将大型数据库分解成频繁1-项集的项总数个子集,然后对分解得到的各个数据库子集用Fp-growth算法进行约束项数据挖掘,待所有数据库子集的约束项数据挖掘进行完毕后,再合并这些约束频繁项得到大型数据库的频繁项集.实验结果表明新算法所采用的数据库划分策略克服了FP-growth算法对大型数据库进行挖掘时,占用内存大,运行速度慢的不足,是一种适合于大型数据库的关联规则挖掘算法.     

负关联规则挖掘算法研究

典型的正关联规则仅考虑事务中所列举的项目.负关联规则不但要考虑事务中所包含的项目,还必须考虑事务中所不包含的项目,它包含了非常有价值的信息.然而,对于负关联规则挖掘的研究却很少,仅有的几种算法也存在一定的局限性.为此,文中提出了一种快速有效的负关联规则挖掘算法MNAR,并给出了一种基于二进制形式的支持数计算方法.理论和实验结果表明算法MNAR是有效和可行的.