基于向量矩阵的Apriori改进算法研究

针对传统的关联分析算法Apriori执行效率低、I/O过重、计算量过大等问题,提出了一种通过减少扫描数据库次数来降低候选项集计算复杂度, 在频繁项集求解过程中通过将事务项集转换为行向量,利用“与”操作来提高算法执行效率的Apriori改进算法。利用学生在校行为数据集对Apriori改进算法进行有效性和高效性验证。同时,为了符合算法对样本数据的要求,在样本数据处理过程中对原始数据进行了清洗和离散化处理,定义了分析对象的样本数据离散化处理的规则。通过实验分析比较了Apriori改进算法与经典Apriori算法的性能。结果表明,Apriori改进算法保持了对实际分析对象关联规则挖掘的有效性,同时具有更高的执行效率。     

一种基于分治策略与位运算的频繁项集挖掘算法

为提高挖掘频繁项集的效率,在垂直数据格式下,结合分治思想提出一种基于分治策略与位运算频繁项集挖掘算法DC-FIMBII。利用分治将数据库中的事务划分为多个非重叠部分,对每一部分采用位运算求交计算支持度,从而减少操作时项集的规模和项集的比较次数。在mushroom、pumsb_star和T40I10D100K等数据集上,对DC-FIMBII、Apriori、Eclat、DF-FIMBII等算法进行比较。实验表明,DC-FIMBII具有更高的效率。     

基于数据库约简的关联规则挖掘算法

通过对Apriori算法挖掘过程进行分析，提出了一种基于数据库约简的关联规则挖掘算法．该算法利用每趟挖掘中一些非频繁项集的超集、并集，逐步约简事务数据库中的事务，提高了关联规则的挖掘效率．在这些非频繁项集的基础上建立了数据库约简的定理和推论，并在Apriori算法的基础上设计了ApioriNEW算法．经过对算法进行分析和实验，算法ApioriNEW的挖掘效率比较高．一般情况下，平均可将挖掘效率提高约30%．ApioriNEW算法特别适合大型数据库的关联规则挖掘，已应用在网络故障诊断专家系统的知识获取中．     

一种基于分类的关联规则Apriori算法

关联规则的Apriori算法,在频繁项集的过程中要多次扫描数据库,而事务数据库中含有较多的冗余数据,极大地影响了频繁项集的提取效率。针对这些问题,提出一种基于分类的Apriori算法,在频繁项集提取以前,用分类的方法去掉无关冗余数据。实验结果表明这种方法较好地提高了Apriori算法的性能,在实践中有一定的应用价值。     

基于压缩事务矩阵相乘的Apriori改进算法

Apriori算法是当前使用最广泛的关联规则挖掘方法中最为经典的算法之一;但是该算法需要反复的扫描数据库,在L/O上花消很大,并且在得到频繁一2项集的过程中会产生庞大的候选一2项集,其次在筛选得到频繁一k项集时,并没排除那些不应该参组合的元素,而导致该算法效率很低,针对上面影响计算效率的三个方面提出基于压缩事务矩阵相乘得到频繁项目集的算法,只需一次扫描数据库,经过压缩处理产生产生事务矩阵,通过矩阵间运算得到频繁项目集,有效提高了关联规则的挖掘效率。     

一种改进的Apriori算法的研究

针对关联规则挖掘中Apriori算法的不足,提出了一种改进算法。该算法使用完美哈希函数,优化的事务压缩技术,分组查询计数和直接产生候选项集的技术来挖掘频繁项集,从而提高了算法效率。最后,通过对两种算法进行性能比较,验证了改进算法的优越性。     

I-Apriori：一种基于Spark平台的改进Apriori算法

针对Apriori算法在第二次迭代过程中产生大量候选集的弊端,在Spark大数据框架下,将Apriori算法进行并行化处理。提出一种基于Spark平台的改进Apriori算法——I-Apriori;该算法利用Spark基于内存计算的抽象对象(RDD)存储频繁项集,在第二次迭代中,通过使用改进的布隆过滤器存储频繁1项集,消除候选集生成,减少数据库扫描次数,提高算法效率。实验结果表明,相比基于Spark平台的Apriori算法进行性能评估,I-Apriori算法具有更优的性能,能够较大程度地提高大数据关联规则挖掘的效率。     

频繁项集挖掘技术述评

阐述了关联规则挖掘对象事务数据库的特性, 对关联规则挖掘的关键问题频繁项集的几种挖掘方法:Apriori算法、最大频繁项集的挖掘算法、基于频繁链表的频繁项集挖掘算法作了分析研究,并指出了频繁项集挖掘算法优化的必要途径     

基于向量矩阵优化频繁项的改进Apriori算法

针对经典Apriori算法存在多次扫描数据库及生成冗余候选项的弊端, 提出一种改进的VM_Apriori算法. 该算法采用事务数据向量矩阵与行候选向量相结合的表示方法, 运用快速排序的思想对频繁项集的项按各单项的出现频度升序重排,  以提高算法的执行效率. 实验结果表明, 改进的VM_Apriori算法能在正确挖掘关联规则的同时极大提高执行效率.     

挖掘大型数据库中的Apriori算法及其改进

指出了Apriori算法是一种有效的关联规则挖掘算法，分析和探讨了Apriori算法，并给出了该算法的实现思想，通过实例说明了算法的执行过程，提出了对Apriori算法进行改进的一些方法：散列、事务压缩、划分、选样及动态项集计数。使用这些技术提高了算法的效率。     

一种改进的基于云平台的物联网数据挖掘算法

物联网数据挖掘处理的是海量数据,当前数据挖掘的一个研究热点就是在大规模数据集中快速有效地提取用户所需的信息。对传统Apriori算法做相应的改进,使得检索出全部的频繁项集,只要对事务数据库进行一遍扫描就可以完成,将该Apriori算法进行Map/Reduce化,利用云计算的分布式并行计算的性质,将其应用到基于云计算的物联网数据挖掘,实验验证了改进的Apriori算法的有效性。     

基于集合和位运算的频繁集挖掘优化算法

产生频繁项目集是关联规则挖掘中的一个关键步骤.在对Apriori算法分析的基础上,提出了一种基于集合和位运算的频繁项目集挖掘算法.该算法用位视图表示使用了每个项目的事务,通过对位视图进行位运算来计算每个项目集的支持数,避免了Apriori算法中多次扫描数据库的问题.     

基于支持度矩阵Apriori算法的钻井隐患关联挖掘

运用数据挖掘技术研究钻井作业事故隐患的分布规律及其内在机理,是迫切需要解决的重要课题.针对冗余、复杂的钻井隐患数据在挖掘过程中频繁项集丢失及其生成效率低的问题,提出一种基于支持度矩阵的Apriori算法.首先,引入布尔矩阵来表示事务数据库,避免了数据库的重复扫描.其次,通过事务矩阵相乘构造支持度矩阵来获得支持度从而简化...     

基于快速隐私保护关联规则的挖掘算法

随着数据库规模的日益增大,关联规则挖掘需要在挖掘效率、可用性、隐私性及精确性等方面得到提升,需要对传统的关联规则挖掘算法进行更新和改进。在传统的Apriori算法基础上,提出了一种新的在关系数据库中挖掘关联规则的算法。该算法只需扫描一次数据库即可得到频繁项集,并通过非频繁项集来减少候选项集的生成,从而提高了算法的运算效率;此外,该算法将包含敏感数据事务做相关的处理,以达到隐藏包含敏感数据的关联规则。理论分析和实验结果表明,新算法不仅提高了关联规则挖掘的效率,而且还达到了隐藏包含敏感规则的目的。     

Apriori算法的分析与改进

随着网上信息的不断增加,越来越多的用户迷失在信息的海洋中,如何利用有效的方法和手段从大量的信息中找出有价值、能为用户所用的知识,是数据挖掘的主要任务.由于Apriorl算法在频繁模式挖掘过程中需要多次扫描数据库、算法运行时间较长,因此笔者提出一种改进的Apriori算法——FPMUDF（频繁模式挖掘利用动态函数）算法,这种算法利用事务ID进行配对,从而产生频繁项目集,减少了算法运行的时间,较好的提高了算法的性能.     

基于高阶项目集的频繁项目集发现算法

为了提高关联规则数据挖掘的效率,在研究Apriori算法原理和相关文献的基础上,提出了一种基于高阶项目集的频繁项目集发现算法.本算法不同于逐层迭代的搜索方式,而是采用从求解所有的高阶频繁m-项目集入手的方式,来发现隐藏在事务数据库中的频繁项目集.本算法避免了大量的候选项目集的产生,并且对数据库仅需进行有限次数的扫描,从而体现了算法的高效性.     

事务约简和2项集支持度矩阵快速剪枝的Apriori改进算法

在Apriori算法的改进算法M-Apriori基础上,为了进一步减少不必要的数据库扫描,引入事务约简技术,提出一种改进的MR-Apriori算法.考虑到M-Apriori算法会产生大量候选项集,为了实现对候选项集快速剪枝,加入一个自定义的2项集支持度矩阵,提出第2种改进的MP-Apriori算法.将事务约简和2项集矩阵快速剪枝一起引入到 M-Apriori算法中,提出第3种改进的MRP-Apriori算法.最后,在mushroom数据集上进行实验.结果表明:加入事务约简的MR-Apriori算法和加入2项集矩阵快速剪枝的MP-Apriori算法,运行时间相比原M-Apriori算法都有较大缩减,而同时结合两种优化策略的MRP-Apriori算法运行时间最短,验证了这两种优化策略的有效性.     

一种基于MapReduce的关联规则挖掘算法

本文从减少I/O时间的角度出发,结合云计算Hadoop平台的Map Reduce模型,提出了一种基于Map Reduce的关联规则挖掘算法.算法采用幂集计算候选项集,采用Map Reduce模型在多个节点上并行找出所有频繁项集,只需要扫描事务数据库1次.实验结果表明：在事务的平均项长较小的情况下,算法具有很好的加速比和数据规模增长性.     

Rough有限格的蕴涵规则挖掘

提出了一种基于Routh有限概念格的规则发现方法（RRLIRD）,以揭示数据集中的蕴涵规则。首先引入有限概念格的简化表示形式,由用户选择数据集中感兴趣属性集创建概念格结构,提高用户的交互性和挖掘的效率;然后运用有限概念格与Rough集理论相结合形成Rough有限概念格,蕴涵规则则由其特有的上、下近似运算得到,不需计算繁琐的频繁项目集。算法运用大型超市的交易流水数据进行仿真实验。结果表明,执行时间比经典的Apriori算法大大降低。该算法也适用于证券行情分析和农业数据库的病虫害分析等。