基于布尔矩阵和MapReduce的FP-Growth算法

关联规则挖掘是数据挖掘的一个重要组成部分.为提高关联规则的挖掘效率,提出了一种基于布尔矩阵和MapReduce的FP-Growth算法(BPFP),分析了算法的时间和空间复杂度.该算法使用Hadoop框架和布尔矩阵以减少对事务数据的扫描次数,利用两次MapReduce来实现频繁项集的挖掘.在多个数据集上的实验结果表明,与原FP-Growth算法相比,BPFP算法具有更高的执行效率、更好的加速比.     

基于支持度矩阵Apriori算法的钻井隐患关联挖掘

运用数据挖掘技术研究钻井作业事故隐患的分布规律及其内在机理,是迫切需要解决的重要课题.针对冗余、复杂的钻井隐患数据在挖掘过程中频繁项集丢失及其生成效率低的问题,提出一种基于支持度矩阵的Apriori算法.首先,引入布尔矩阵来表示事务数据库,避免了数据库的重复扫描.其次,通过事务矩阵相乘构造支持度矩阵来获得支持度从而简化...     

一种利用差集的加权频繁项集挖掘算法

挖掘加权频繁项集是多种数据挖掘应用中的关键问题,为提高传统加权频繁项集挖掘算法的性能,在研究概念格模型和差集Diffsets理论的基础上,构建一种利用差集的加权频繁项集格结构,该格结构通过差集性质快速计算加权支持度,满足向下封闭特性,更有利于高效生成加权频繁项集.最后给出了相应的FWIL-Diffsets构造算法,该算法仅对数据库进行一次扫描,通过性质定理有效减少项集生成中的计算量.研究结果表明:该方法能显著提高生成加权频繁项集的效率.     

基于矩阵的频繁项集挖掘算法

在所有频繁项集挖掘算法中,Apriori算法一直是一个经典的算法,但是该算法存在的最大缺陷是要进行多次的数据库扫描并且在挖掘过程中产生大量的候选频繁项集,因此效率很低.提出了利用基于矩阵的方法挖掘频繁项集,很好地避免了这个缺陷.     

基于最频繁项提取和候选集剪枝的THIMFUP算法

针对FBCM(基于矩阵压缩FUP(fast update algorithm))算法在项集挖掘过程中存在频繁扫描原频繁项集库, 并生成大量候选集的问题, 提出一种通过提取数据库中最频繁项的方法, 以降低对原频繁项集库的扫描次数； 并通过候选集剪枝思想, 减少算法整体运行过程中的候选集生成, 以提高频繁项集的挖掘速度. 实验结果表明, 在相同实验条件下, 该算法的效率比FBCM算法效率提高15%以上, 最高达60%.     

一种关联规则挖掘技术的矩阵交集算法

针对关联规则在公安系统应用中存在的缺陷,提出了改进其效率的优化算法--矩阵交集方法和加权的思想.该算法通过构造有效的数据矩阵并且通过对数据矩阵的有效裁剪,达到查找频繁项集的目的,打破了Apriori算法由低到高逐层查找频繁项集的局限,极大地提高了产生最大频繁项集的效率,解决了重大刑事案件中的犯罪嫌疑人的筛选问题.     

基于压缩事务矩阵相乘的Apriori改进算法

Apriori算法是当前使用最广泛的关联规则挖掘方法中最为经典的算法之一;但是该算法需要反复的扫描数据库,在L/O上花消很大,并且在得到频繁一2项集的过程中会产生庞大的候选一2项集,其次在筛选得到频繁一k项集时,并没排除那些不应该参组合的元素,而导致该算法效率很低,针对上面影响计算效率的三个方面提出基于压缩事务矩阵相乘得到频繁项目集的算法,只需一次扫描数据库,经过压缩处理产生产生事务矩阵,通过矩阵间运算得到频繁项目集,有效提高了关联规则的挖掘效率。     

基于简单双矩阵的关联规则算法研究

针对关联规则挖掘中传统Apriori算法需要通过多次扫描数据库来发现频繁项集的问题,提出一种基于简单双矩阵的方法来实现频繁项集的发现．该方法仅需要扫描数据库一次,并充分利用项集的出现次数和是否出现逻辑值来获取频繁项集．实验表明,该方法比Apriori算法更高效．     

一种不产生候选项集的关联规则挖掘算法

在挖掘关联规则的过程中，关键步骤是产生频繁项集．基于频繁项集支持矩阵的思想，提出一种有效的频繁项集挖掘算法-FIMA，并给出了算法的基本设计思想和算法描述．本算法利用矩阵挖掘频繁项集，不需要产生候选项集，且只需扫描数据库一次。所以此算法是非常有效的．     

基于动态数据的加权频繁项集挖掘算法

为解决在挖掘频繁项集过程中,因忽略不同项目间的重要程度而导致的挖掘有效性低以及忽略数据的动态更新而造成的挖掘效率低的问题,通过引入新的加权规则,从权值与频数两方面去体现项目间的重要性差异,并通过引入树形结构与关系矩阵提高数据动态变化时频繁项集的挖掘效率。创新性地提出基于动态数据的加权频繁项集挖掘算法weighted dynamic date mining (WDDM)。实验结果表明,WDDM算法较以往算法挖掘效率与有效性显著提高,有利于发现更多有研究价值的信息。