事务约简和2项集支持度矩阵快速剪枝的Apriori改进算法

在Apriori算法的改进算法M-Apriori基础上,为了进一步减少不必要的数据库扫描,引入事务约简技术,提出一种改进的MR-Apriori算法.考虑到M-Apriori算法会产生大量候选项集,为了实现对候选项集快速剪枝,加入一个自定义的2项集支持度矩阵,提出第2种改进的MP-Apriori算法.将事务约简和2项集矩阵快速剪枝一起引入到 M-Apriori算法中,提出第3种改进的MRP-Apriori算法.最后,在mushroom数据集上进行实验.结果表明:加入事务约简的MR-Apriori算法和加入2项集矩阵快速剪枝的MP-Apriori算法,运行时间相比原M-Apriori算法都有较大缩减,而同时结合两种优化策略的MRP-Apriori算法运行时间最短,验证了这两种优化策略的有效性.     

数据挖掘中关联规则算法的研究及应用

针对Apriori和AprioriTid算法中存在的项集生成瓶颈问题,提出了一种基于事务集压缩、候选项集压缩和支持度布尔矩阵的改进AprioriTid算法.该算法中通过删去不必比较的事务来有效缩减数据集;优化频繁项集的自连接方式来减少生成的候选项集个数;使用支持度布尔矩阵来加快候选项集的验证速度.实验结果表明改进算法比原算法执行效率明显提高,同时也验证了该算法在油液监测故障诊断中的有效性.     

一种改进的Apriori算法

分析Apriori算法的不知,提出从先删减后连接的新角度来生成频繁项集,达到减少无用连接,进而减少剪枝步骤候选项集判断数量来改进Apriori算法。改进后的Apriori算法在时间效率上优于传统的算法,而且所获得的关联规则质量与传统算法相当。     

改进的Apriori算法在中医医案分析中的应用

为了解决Apriori 算法的不足,提出了改进的Apriori算法:进行剪枝侯选项目集时,采用生成频繁项目集和删除具有非频繁子集候选同时进行的方法来减少多余子项目集的生成.改进的Apriori 算法大大提高了频繁项目集即关联规则生成的效率,运行时间不及原算法的十分之一,同时节省了大量的存储空间.最后利用改进的Apriori 算法对中医医案数据进行关联规则挖掘,获得了良好的效果.     

二项集剪枝技术研究

在现有的关联规则算法的基础上,深入分析了经典算法的内涵,提出了剪枝候选二项集的改进算法,有效的控制候选二项集的生成,得到传统算法中部分候选二项集,从而减少扫描数据库的运算量.与Apriori算法相比,效率明显提高.     

FP-growth算法的一种优化实现

研究工作者已经提出了许多对事务数据库中频繁模式、关联规则的挖掘算法.早期算法有Apriori算法,然而该算法利用候选项集找频繁项集,而候选项集的产生往往是非常耗时的.JianweiHan等人提出了一种改进的算法,FP-growth算法.该算法不产生候选项集,效率比Apriori算法提高了近一个数量级.在描述FP-growth算法的基础上,具体讨论了如何优化数据结构,有效的实现该算法.     

I-Apriori：一种基于Spark平台的改进Apriori算法

针对Apriori算法在第二次迭代过程中产生大量候选集的弊端,在Spark大数据框架下,将Apriori算法进行并行化处理。提出一种基于Spark平台的改进Apriori算法——I-Apriori;该算法利用Spark基于内存计算的抽象对象(RDD)存储频繁项集,在第二次迭代中,通过使用改进的布隆过滤器存储频繁1项集,消除候选集生成,减少数据库扫描次数,提高算法效率。实验结果表明,相比基于Spark平台的Apriori算法进行性能评估,I-Apriori算法具有更优的性能,能够较大程度地提高大数据关联规则挖掘的效率。     

Apriori算法的改进及其在物流信息挖掘中的应用

在分析当前Apriori算法及其改进算法的基础上,提出了一种将Apriori算法与物流信息挖掘相结合的Apriori改进算法.通过Apriori改进算法与原Apriori算法挖掘结果的比较,说明了Apriori改进算法不仅缩小了剪枝扫描数据库的规模而且减少了生成频繁项目集的候选项目集.     

一种改进的Eclat算法

提出一种改进的Eclat算法.该算法在垂直数据表示方式上执行广度优先搜索和交叉计数.新算法充分利用了垂直数据表示和交叉计数的高效优势,以及Apriori算法的剪枝策略,减少了计数的候选项集的数量.实验结果表明,改进的Eclat算法的运行速度较Eclat算法有了明显的提高.     

基于Spark的Apriori并行算法优化实现

针对传统Apriori算法处理速度和计算资源的瓶颈,以及Hadoop平台上Map-Reduce计算框架不能处理节点失效、不能友好支持迭代计算以及不能基于内存计算等问题,提出了Spark下并行关联规则优化算法.该算法只需两次扫描事务数据库,并充分利用Spark内存计算的RDD存储项集.与传统Apriori算法相比,该算法扫描事务数据库的次数大大降低;与Hadoop下Apriori算法相比,该算法不仅简化计算,支持迭代,而且通过在内存中缓存中间结果减少I/O花销.实验结果表明,该算法可以提高关联规则算法在大数据规模下的挖掘效率.     

关联规则Apriori算法的改进

针对Apriori算法存在多次扫描数据库及产生大量候选项集的缺陷,提出了一种改进算法.该算法只需扫描数据库一次,并将事务变换成二进制存储到数据库,可节省存储空间、提高速度.实验结果表明,改进算法挖掘关联规则的效率有较大提高.     

基于候选项目集特性的改进Apriori算法研究

通过对Apriori和1-k-Apriori两种算法进行细致分析和深入研究,结合这两种算法的优点,提出了I1-k-Apriori算法.1-k-Apriori算法中利用Lk-1与L1相连接来得到候选项目集,但是,有些情况下,用这种方法生成的候选k项集数量过大,导致k项集的筛选代价太大.I1-k-Apriori算法根据k-1项集的特性和事务数据库中数据的特性来决定产生k项集的方法,可以有效避免由于Lk项数过多而影响运算效率.实验结果表明,I1-k-Apriori算法较大提高了运算效率.     

基于向量矩阵优化频繁项的改进Apriori算法

针对经典Apriori算法存在多次扫描数据库及生成冗余候选项的弊端, 提出一种改进的VM_Apriori算法. 该算法采用事务数据向量矩阵与行候选向量相结合的表示方法, 运用快速排序的思想对频繁项集的项按各单项的出现频度升序重排,  以提高算法的执行效率. 实验结果表明, 改进的VM_Apriori算法能在正确挖掘关联规则的同时极大提高执行效率.     

与时机判定相结合的关联规则增量更新算法

现有的关联规则更新算法大多致力于解决增量更新本身,但很少同时考虑更新时机,不适于对实时应用中频繁更新的数据进行有效处理.针对此问题,提出了一种与时机判定相结合的关联规则增量更新算法,在改进增量更新方法的同时,兼顾对更新时机的判定.在关联规则增量更新阶段,计算含有非空子集个数之和最多的频繁项集,找出在更新数据集中仍然频繁的项集,根据Apriori性质,避免对其子集的处理,从而实现对候选项集的有效剪枝.实验结果表明,该算法通过对更新时机的及时判定和候选项集的有效剪枝,提高了关联规则的更新效率.     

基于迭代事务集与交集剪枝的最大频繁项集挖掘算法

挖掘最大频繁项目集是多种数据挖掘应用中的关键问题,如果采用Apriori类的候选项目集生成一检验方法,则候选项目集生成的代价通常很高.为寻求避免生成大量候选项集或生成频繁模式树的挖掘算法,提出一种从事务项集交集求最大频繁项集的迭代算法DIIP(Datasets Iteration and Intersection Pruning Algorithm),通过不断缩减事务集数据量和尽可能早地对项目集进行修剪实现最大频繁项集的挖掘,该算法有别于已有的最大频繁项集经典算法,实验表明该算法有效可行.     

基于候选项集剪枝的Apriori算法的研究

在大数据挖掘中使用经典Apriori算法时,会产生大量的候选集,并需要扫描数据库中所有数据,使得其在实现过程中效率大大降低。为了提高Apriori算法的应用效率,通过建立线性链表记录每个事务中的项数,以达到事务压缩的目的;设置up值来提高1-项频繁集组合的门槛,发现支持度比较大的2-项候选集,以达到剪枝的目的;通过实验来设置up的取值范围,使最终产生的频繁项集的误差能够在接受的范围。实验证明提出的改进方法可以在找出绝大部分关联规则的同时,提高算法运行的效率。     

一种基于散列和事务压缩的Apriori改进算法

在数据挖掘中,关联规则是发现知识的一种有效方法。该文在分析关联规则挖掘Apriori算法原理和性能的基础上,并提出了一种效率更高的改进算法。该算法是基于散列和事务压缩这两种技术。散列技术可以显著地压缩要考察的候选项集,事务压缩可以减少数据库中的事务项,从而提高Apriori算法效率。     

基于向量矩阵的Apriori改进算法研究

针对传统的关联分析算法Apriori执行效率低、I/O过重、计算量过大等问题,提出了一种通过减少扫描数据库次数来降低候选项集计算复杂度, 在频繁项集求解过程中通过将事务项集转换为行向量,利用“与”操作来提高算法执行效率的Apriori改进算法。利用学生在校行为数据集对Apriori改进算法进行有效性和高效性验证。同时,为了符合算法对样本数据的要求,在样本数据处理过程中对原始数据进行了清洗和离散化处理,定义了分析对象的样本数据离散化处理的规则。通过实验分析比较了Apriori改进算法与经典Apriori算法的性能。结果表明,Apriori改进算法保持了对实际分析对象关联规则挖掘的有效性,同时具有更高的执行效率。     

基于数据挖掘关联规则Apriori改进算法的入侵检测系统的研究

在众多的关联规则挖掘算法中,Apriori算法是最为经典的一个,但Apriori算法有以下缺陷：需要扫描多次数据库、生成大量候选集以及迭代求解频繁项集。因而提出了一种新方法,使Apriori算法产生的候选项集再通过数据库查找是否为频繁项集,从而提高算法的效率。最后针对入侵检测系统形成关联规则。实验结果表明,改进后的算法...     

基于MapReduce的Apriori前后项约束关联规则改进算法

针对经典的Apriori算法依赖内存,只适用于小规模数据集,在面对海量数据集时显得无能为力以及该算法没有考虑用户的需求情况等问题,提出了基于MapReduce的Apriori前后项约束关联规则改进算法。该方法首先对经典Apriori算法挖掘过程进行了改进,加入了用户的前后项约束规则,使得在挖掘过程中剪枝的程度更大并且获取到更加精准的规则。然后利用云计算的MapReduce编程技术,对改进的Apriori算法的各个步骤并行化。实验结果表明,改进的算法在处理不同的数据集时有一定的优势,然后经过MapReduce模型并行化后,提高了对海量数据的处理能力和效率,并且具有良好的扩展性。