共查询到10条相似文献,搜索用时 15 毫秒
1.
针对传统数据流频繁项集计算中效率低、内存消耗大等问题,本文采用并行计算的思想设计了一种基于MapReduce的数据流频繁项集挖掘算法,首先,对进行数据分块压缩和传输,其次,将数据频繁项的计算分布在负载均衡的数据节点,可以有效保证数据的执行效率.最后通过一次调度处理合并各个节点产生的频繁项集并进行合并.理论分析和实验对比结果均表明,该算法对于并行处理数据流频繁项集的统计问题是有效可行的. 相似文献
2.
《广西师范学院学报(自然科学版)》2015,(3)
加权关联规则MINWAL(O)算法有效解决了数据库中各项目的重要程度不同的问题,但在生成加权频繁项集需要多次扫描数据库,遇到大规模数据算法效率很低问题。该文提出一种改进的MINWAL(O)算法,将事务数据库扫描后转化成布尔矩阵,然后对布尔矩阵进行分块,再由多个节点并行计算,并使用多叉树结构存储局部加权频繁项集,最后汇总得出加权频繁项集。该算法与MINWAL(O)相比,减少了数据库扫描次数,提高了算法时间效率。 相似文献
3.
针对Apriori和AprioriTid算法中存在的项集生成瓶颈问题,提出了一种基于事务集压缩、候选项集压缩和支持度布尔矩阵的改进AprioriTid算法.该算法中通过删去不必比较的事务来有效缩减数据集;优化频繁项集的自连接方式来减少生成的候选项集个数;使用支持度布尔矩阵来加快候选项集的验证速度.实验结果表明改进算法比原算法执行效率明显提高,同时也验证了该算法在油液监测故障诊断中的有效性. 相似文献
4.
一种不产生候选项集的关联规则挖掘算法 总被引:1,自引:1,他引:0
在挖掘关联规则的过程中,关键步骤是产生频繁项集.基于频繁项集支持矩阵的思想,提出一种有效的频繁项集挖掘算法-FIMA,并给出了算法的基本设计思想和算法描述.本算法利用矩阵挖掘频繁项集,不需要产生候选项集,且只需扫描数据库一次。所以此算法是非常有效的. 相似文献
5.
在所有频繁项集挖掘算法中,Apriori算法一直是一个经典的算法,但是该算法存在的最大缺陷是要进行多次的数据库扫描并且在挖掘过程中产生大量的候选频繁项集,因此效率很低.提出了利用基于矩阵的方法挖掘频繁项集,很好地避免了这个缺陷. 相似文献
6.
为解决在挖掘频繁项集过程中,因忽略不同项目间的重要程度而导致的挖掘有效性低以及忽略数据的动态更新而造成的挖掘效率低的问题,通过引入新的加权规则,从权值与频数两方面去体现项目间的重要性差异,并通过引入树形结构与关系矩阵提高数据动态变化时频繁项集的挖掘效率。创新性地提出基于动态数据的加权频繁项集挖掘算法weighted dynamic date mining (WDDM)。实验结果表明,WDDM算法较以往算法挖掘效率与有效性显著提高,有利于发现更多有研究价值的信息。 相似文献
7.
基于矩阵的频繁项集发现算法 总被引:3,自引:0,他引:3
Apriori算法是关联规则的经典算法.在分析经典Apriori算法的基础上,提出了一种有效的基于矩阵的Apriori的改进算法.该算法应用了矩阵的思想,只需对数据库扫描一次,即可得到频繁项集,大大提高了算法的效率. 相似文献
8.
《华中科技大学学报(自然科学版)》2015,(9)
针对不确定数据频繁项集挖掘效率低和准确度不高的问题,提出了一种基于改进的频繁模式树(FPtree)和遗传算法(GA)挖掘不确定数据概率频繁项集的方法,即UFPGA(基于频繁模式树和遗传的挖掘算法).该算法根据不确定数据的构成特征,改进频繁模式树方法挖掘不确定数据频繁项集,采用缩小变异空间和增加育种算子的遗传算法搜索最大频繁项集,收缩了搜索范围,提高了挖掘效率.实验结果表明:该方法在时间复杂度方面有很好的优越性,对大规模的不确定数据挖掘提供了一种有效的技术手段. 相似文献
9.
运用数据挖掘技术研究钻井作业事故隐患的分布规律及其内在机理,是迫切需要解决的重要课题。针对冗余、复杂的钻井隐患数据在挖掘过程中频繁项集丢失及其生成效率低的问题,提出一种基于支持度矩阵的Apriori算法。首先,引入布尔矩阵来表示事务数据库,避免了数据库的重复扫描。其次,通过事务矩阵相乘构造支持度矩阵来获得支持度从而简化支持度计算方法。最后,对算法的连接策略进行优化,简化了频繁项集的生成过程,且在运算过程中不断约简矩阵结构。在UCI数据集上进行实验,证明了改进后的Apriori算法能有效地提高执行效率。将该算法应用于钻井历史隐患数据的关联挖掘,挖掘结果能为安全管理者提供科学的决策依据,实现对钻井作业事故隐患有效识别和风险控制,具有重要意义和推广应用价值。 相似文献
10.
基于聚类矩阵的CM-Apriori算法研究 总被引:1,自引:0,他引:1
针对关联规则中Apriori算法的不足,提出了一种基于聚类矩阵的CM-Apriori新算法.该算法只需扫描事务数据库一次,就直接按事务项数生成聚类矩阵,每次只需对部分聚类矩阵进行运算,就可以生成频繁项集.这大大减少了扫描数据库的次数和计算成本,从而有效提高了算法的运算效率,并通过实例说明了它是一种有效的关联规则挖掘方法. 相似文献