Hadoop框架下的一种改进的Apriori算法

常见的基于Hadoop框架的Apriori改进算法在统计支持度时有扫描数据集、候选项集剪枝等方面效率低下且集群间的数据传输有较大的时间开销的问题,提出了一种Apriori的改进算法Apriori_Ind.算法运用Hadoop集群,使用先按事务对数据集分块,再将数据集的格式转换为项,事务集的分块处理策略,使算法充分利用分布式计算优势,实现各节点并行的实现候选项集生成与剪枝操作.并利用前项与后项的新结构表示频繁项集,新结构在各节点进行候选项集生成和剪枝时提高算法效率.Apriori_Ind具有减小集群传输代价、加速剪枝等优势.实验表明新算法适合大规模数据挖掘,特别是项的数量较大的情况下,算法性能有明显的提高.     

一种垂直结构的高效用项集挖掘算法

挖掘高效用项集已成为关联分析中的热点问题之一.多数高效用项集挖掘算法需要产生大量的候选项集,影响了算法性能.HUI-Miner是一个不需要产生候选项集就能发现事务数据库中所有高效用项集的算法.但其需要产生大量效用列表,不仅消耗了过多的存储空间,而且影响了算法的运行性能.针对此问题,提出一个新的数据结构,称为项集列表,用于存储事务和项的效用信息.提出3种剪枝策略,减少项集列表的数量,通过扫描一次事务数据库完成所有项集列表的构建.提出算法MHUI,直接从项集列表中挖掘所有的高效用项集而不产生任何候选项集.在3个不同的稀疏数据集上和最新的算法进行对比实验证明,MHUI算法的运行时间和内存消耗优于其他算法.     

数据挖掘中关联规则算法的研究及应用

针对Apriori和AprioriTid算法中存在的项集生成瓶颈问题,提出了一种基于事务集压缩、候选项集压缩和支持度布尔矩阵的改进AprioriTid算法.该算法中通过删去不必比较的事务来有效缩减数据集;优化频繁项集的自连接方式来减少生成的候选项集个数;使用支持度布尔矩阵来加快候选项集的验证速度.实验结果表明改进算法比原算法执行效率明显提高,同时也验证了该算法在油液监测故障诊断中的有效性.     

改进的频繁和高效用项集挖掘算法

提出一种基于局部效用质量值的上界剪枝新方法,引入伪投影技术避免真实地构造物理投影,基于二者提出改进的FHIMA-P算法.在提出的FHIMA-P算法中引入事务合并和投影事务合并技术,提出最终的FHIMA-MP算法,并在mushroom和accident数据集上进行实验.结果表明:FHIMA-P算法的运行时间相比FHIMA-ALL算法缩短,而FHIMA-MP算法则较前两者效率有非常大的提高;在不同参数下,mushroom和accident数据集中大量可合并事务(投影事务)数目也很好地证明了事务(投影事务)合并的有效性.     

基于差别矩阵的增量式属性约简完备算法

为了解决基于差别矩阵的属性约简完备算法得不到最小约简的问题，提出了一种改进的属性约简方法．该方法将信息论定义的属性重要性作为启发式信息，并通过构造一个条件信息熵算子对差别集合进行运算，同时利用算子来计算候选属性的剔除次序，采用宽度优先搜索策略使约简集合中含有最重要的属性，这样就解决了完备算法约简率低的问题．结合该方法并在分析对象集增量与差别矩阵关系的基础上，证明了增量约简定理，由此提出了一种增量式约简完备算法（CAIR），当新数据加入决策表时，算法可增量构造差别集合．实验结果表明，所提CAIR在大大缩短计算差别集合时间的同时，约简率比非完备算法提高了20．3％，是同条件下完备算法执行效率的13．2倍．     

关联规则最大频繁项目集的快速发现算法

提出一种快速发现最大频繁项目集的算法, 该算法对集 合枚举树进行改进, 结合自底向上与自顶向下的搜索策略, 利用非频繁项目集对候选最大频 繁项目集进行剪枝和降维, 减少了不必要候选最大频繁项目集的数量, 显著提高了发现的效 率.     

基于比特向量组的数据流邻近序列模式挖掘算法研究

引入项的半垂直比特向量结构,提出挖掘数据流邻近序列模式的MCSP-TSW算法.通过改进比特向量组结构和引入两个剪枝策略,提出改进的MCSP-TSW-Imp算法来减少判断一个候选序列是否频繁的时间.实验表明,两种算法空间消耗相当,但MCSP-TSW-Imp算法比MCSP-TSW算法具有较高的时间效率.     

FP-growth算法的一种优化实现

研究工作者已经提出了许多对事务数据库中频繁模式、关联规则的挖掘算法.早期算法有Apriori算法,然而该算法利用候选项集找频繁项集,而候选项集的产生往往是非常耗时的.JianweiHan等人提出了一种改进的算法,FP-growth算法.该算法不产生候选项集,效率比Apriori算法提高了近一个数量级.在描述FP-growth算法的基础上,具体讨论了如何优化数据结构,有效的实现该算法.     

改进的Apriori算法在中医医案分析中的应用

为了解决Apriori 算法的不足,提出了改进的Apriori算法:进行剪枝侯选项目集时,采用生成频繁项目集和删除具有非频繁子集候选同时进行的方法来减少多余子项目集的生成.改进的Apriori 算法大大提高了频繁项目集即关联规则生成的效率,运行时间不及原算法的十分之一,同时节省了大量的存储空间.最后利用改进的Apriori 算法对中医医案数据进行关联规则挖掘,获得了良好的效果.     

基于邻域粗糙集的快速属性约简算法

为了更快速地得到属性约简结果,对现有F2HARNRS算法的正域计算进行了改进。采取保留策略,利用矩阵保留样本间的度量计算值的平方,使得增维后的度量计算量减少,并据此提出了一种快速属性约简算法。最后通过多个UCI数据集验证了该算法,实验结果表明该算法是有效的、可行的。     

一种基于MapReduce的关联规则挖掘算法

本文从减少I/O时间的角度出发,结合云计算Hadoop平台的Map Reduce模型,提出了一种基于Map Reduce的关联规则挖掘算法.算法采用幂集计算候选项集,采用Map Reduce模型在多个节点上并行找出所有频繁项集,只需要扫描事务数据库1次.实验结果表明：在事务的平均项长较小的情况下,算法具有很好的加速比和数据规模增长性.     

基于支持度矩阵Apriori算法的钻井隐患关联挖掘

运用数据挖掘技术研究钻井作业事故隐患的分布规律及其内在机理,是迫切需要解决的重要课题.针对冗余、复杂的钻井隐患数据在挖掘过程中频繁项集丢失及其生成效率低的问题,提出一种基于支持度矩阵的Apriori算法.首先,引入布尔矩阵来表示事务数据库,避免了数据库的重复扫描.其次,通过事务矩阵相乘构造支持度矩阵来获得支持度从而简化...     

基于集合和位运算的频繁集挖掘优化算法

产生频繁项目集是关联规则挖掘中的一个关键步骤.在对Apriori算法分析的基础上,提出了一种基于集合和位运算的频繁项目集挖掘算法.该算法用位视图表示使用了每个项目的事务,通过对位视图进行位运算来计算每个项目集的支持数,避免了Apriori算法中多次扫描数据库的问题.     

快速挖掘最大频繁项目集的新算法

针对关联规则下最大频繁项目集的特性,提出了一种快速挖掘最大频繁项目集的新算法MMFI(miningmaximumfrequentitemsets)。该算法摆脱了传统的经典算法Apriori及其变种情况下的自底向上的搜索策略,利用集合枚举树(set enumerationtree)的变形结构采取了自顶向下的新的搜索方式,并通过其独特的启发式判断策略、候选项目集的生成策略等,大大减少侯选项目集的生成,从而降低了CPU搜索时间,提高了挖掘效率。     

带限制的动态数据库中大项目集增量式挖掘

提出了一种带限制的动态数据库中大项目集的增量式挖掘算法，基于限制条件它有4种优化策略，并对候选项目集进行修剪，减少了个性选项目集的数量。同时，利用已挖掘的大项目集计算本次挖掘顺在项目集的记数，减少了I／O的次数。该算法允许用户不断改变限制条件，实现交互式挖掘，而且可将挖掘的目标仅仅聚焦到其感兴趣的模式上，这不仅适用于对数据库进行插入操作，还适用于删除，修改操作，实验表明该算法是有效的。     

基于支持格的关联规则挖掘算法

提出了一种基于支持格的关联规则挖掘算法（ARSL），该算法连续扫描数据库事务序列，逐步构造支持格，对数据库扫描不超过2遍即可求得所有大项目集。首次扫描数据库时，能提供反馈信息，允许用户对最小支持率进行调整。该算法能连续处理事务序列，可用于网上在线数据挖掘。     

基于数据挖掘的网络业务流分析方法

为了从业务角度对网络的性能进行评价和优化,提出了一种新的网络业务分析方法——具有时态路径约束的关联规则挖掘分析方法.该方法以网络业务为分析粒度,以与网络业务流相关的时态属性和路径属性为约束条件,对已经积累的反映网络状况的海量历史数据进行挖掘分析.在进行关联规则挖掘时,利用频繁数据项集的性质,通过引入事务标号,在求出候选频繁项集的同时也求出其支持度,避免了为求支持度而进行的扫描数据库运算,极大提高了挖掘的效率和速度.实验结果表明,进行挖掘分析的数据量越大,该方法的性能和效率就越好.