基于MapReduce的频繁模式挖掘算法的优化

分布式数据挖掘计算是大数据研究中非常重要的技术,现有的对频繁模式的分布式挖掘方法在处理大量数据集时仍然存在许多局限,如并行Apriori算法在多次扫描数据库过程中对I/O产生很大负担,并且有大量候选集产生.本文使用的FP-growth算法包括Fp-tree构建和频繁模式挖掘两个阶段.主要思想是在map阶段构建FP-tree之前,根据步长值及项目元素编码对FP-tree节点合并,并在shuffle阶段依据平衡算法划分给不同的reducer.平衡算法用来均衡工作负载.利用该算法来降低数据分配的随机性,避免数据挖掘阶段由于数据划分不均衡导致部分reducer开销过大的缺点.实验结果表明:与现有方法相比,在较大数据集情况下改进后的算法具有更好地运算效率和可伸缩性.     

频繁独立模式挖掘

高频独立模式对无相关属性选择有一定意义.给出挖掘频繁独立模式算法,并在标准数据挖掘数据集蘑菇数据上测试,得到蘑菇数据在一定度量下的所有频繁独立模式,实验结果表明了挖掘算法的有效性.     

一种改进的压缩频繁模式挖掘算法

传统的频繁模式挖掘算法产出大量的频繁模式,这些大量的频繁模式对于后期的分析、处理以及理解都带来了相当大的挑战.针对上述问题,该文提出了一种改进的压缩频繁模式挖掘算法,该算法基于CFP-树通过对传统频繁模式挖掘算法的改进能够从大量的频繁模式中选择出规模更小的频繁模式代表集合,从而起到减小庞大的频繁模式挖掘结果规模的目的.实验中还将该算法和现有的RPlocal算法进行了对比,结果表明改进的压缩频繁模式挖掘算法能够在合理的时间及容错范围内获得更小的频繁模式代表集,同时大大降低了时间复杂度,提高了挖掘效率.     

基于关联规则的频繁路径挖掘算法

传统的关联规则Apriori算法中,只要两个k-1维的频繁项集有k-2个元素相同就可以生成维数为k的候选集,但在利用Web访问信息挖掘用户浏览模式发现频繁路径时,效率比较低下,本文利用Apriori算法的思想,对其进行了改进,进行频繁路径挖掘。     

基于关联规则的用户频繁访问模式研究

Web挖掘是将数据挖掘和WWW两个领域中的多种技术和方法结合起来的热门研究课题.它的研究领域包括Web内容挖掘、Web结构挖掘和Web使用挖掘.关联规则算法已成为数据挖掘算法中的重要课题.通过对关联规则挖掘算法进行分析,指出了该算法存在的一些问题,并提出了一种用户频繁访问模式结构.     

概率频繁模式挖掘之U-apriori算法研究

不确定性数据的频繁项集挖掘的算法—U-apriori算法采用逐层迭代搜索方法,使用候选项集来找频繁项集.分析了U-apriori算法的流程和实现过程,并通过实验对比得出U-apriori算法花费较少时间和空间的优点,最后针对该算法的缺点提出了改进思路.结果表明:U-apriori算法是最佳概率频繁模式挖掘方法之一.     

基于双向十字链表的频繁项集挖掘

有效地进行频繁项挖掘一直以来都是数据挖掘任务中最为重要的组成部分。已有的大部分频繁项挖掘算法在数据项多及支持度低的情况下,算法的效率急剧下降。为了有效地解决此类问题,提出了一种采用双向十字链表结构的频繁项挖掘算法(two-way crossed list for frequent itemsets mining,TCLFI)。极大地降低了搜索空间,加快了频繁项的筛选过程,减少了所需保存的数据项个数,从而降低了时间复杂度,提高了频繁项的挖掘效率。实验通过真实数据集和合成数据集验证了算法的有效性和扩展性。     

最小频繁相关模式的挖掘

频繁模式不能反映模式内部各项目之间的关联和相关关系，频繁关联模式挖掘与孥繁相关苎式兰苎已越来越受到人们的重视．按照相关模式定义，如果一个模式是相关模式，其超模式一定是相关模式,最小频繁相关模式挖掘将大大减少挖掘出来的数量，有利于用户分析．给出最小频繁相关模式挖掘算法，并在标准数据挖掘数据集蘑菇数据上测试，实验证明算法是正确有效的．     

基于频繁闭项目集的关联规则挖掘算法

提出一种有效的基于频繁闭项目集的关联规则挖掘算法RIFCI．该算法采用挖掘频繁项目闭集取代传统的频繁项目集，同时在项目集和事务集中展开搜索．通过对UCI机器学习库中10个数据集的测试，与工业标准C4.5比较，错误率低于19．48％，在准确度不变的情况下，生成规则数目低于传统算法，提高了算法的效率．     

基于频繁模式树的关联分类规则挖掘算法

构建精确而有效的分类器是数据挖掘和机器学习中的一个重要任务．提出了一种基于频繁模式树的关联分类规则挖掘算法,该算法同时考虑所有属性,并对现有关联分类规则挖掘算法中内存要求高、类别属性处理难、I／O访问次数多等问题提出了相应的解决方案．试验结果表明,该方法可以取得比同样基于关联规则的分类算法CMAR更高的执行效率以及基于规则的决策树分类算法C4．5更好的分类效果．     

一种基于频繁模式有向无环图的数据流频繁模式挖掘算法

频繁模式挖掘中基于FP-growth的算法需要扫描两次事务数据库,预先给定支持度,且不支持时间敏感型数据。本文提出了一种基于频繁模式有向无环图的数据流频繁模式挖掘算法,它根据事务到来的时间给每个事务一个序号,每个事务中的数据项在存储前按数据项的顺序进行调整,频繁模式有向无环图的构建遵循这个顺序并用序号来记录事务与数据项的包含关系,模式增长过程只需要增加有向边上的序号。通过逆向遍历带有相同序号的有向边,产生条件模式基,根据动态定义的阈值抽取条件模式基信息,一次扫描数据库得到频繁模式。实验结果表明,本文算法的执行效率优于FP-growth算法,且存储节点的数目明显减少。     

一种基于FP-tree挖掘最大频繁模式的改进算法

提出一种最大频繁模式挖掘的改进算法(FP-Imax),该算法引入一种与FP-tree类似的结构MFI-tree来存储所有的最大频繁项目集,并采用有效的子集检查方法进行优化,降低了算法的时空开销,提高了挖掘效率。实验表明,与FP-Max相比该算法的挖掘速度快两2—3倍。     

基于EMFP-树的频繁模式挖掘算法

针对MFP-tree挖掘算法的不足,给出了一个频繁模式挖掘算法EMFP.算法通过将事务数据库的每条事务支持度进行裁剪以及为EMFP-树的节点添加子树个数计数器等措施来提高EMFP-树的挖掘算法的效率.实验结果表明,EMFP-树的挖掘算法是一个高效的频繁模式挖掘算法,其性能优于MFP算法.     

一种基于MP-tree的频繁路径挖掘算法

针对应用射频识别(radio frequency identification,RFID)技术产生的海量数据,引入挖掘频繁路径的思想,提出挖掘频繁路径的算法MP(movement path)-mine.该算法通过构建MP-tree的形式,只须扫描数据库一次就可以挖掘出所有的频繁移动路径,便于快速向用户提供物品移动趋势方面的信息.理论分析和实验结果表明该算法性能非常有效.     

An efficient hybrid algorithm for mining Web frequent access patterns

We propose an cfficienl hybrid algorithm WDHP in this paper for mining frequent access patterns. WDHP adopts the techniques of DHP optimize its performance, which is using hash the to filter candidate set and trimming database. Whenever the database is trimmed to a size tess than a specified threshold, the algorithm puts the database into main memory By constructing a tree. and finds frequent patterns on the tree. The experiment shows that WDHP outperform algorithm DHP and main memory basedalgorithm WAP in execution efficieucy.     

基于垂直二进制位图的频繁模式挖掘算法

采用垂直二进制位图映射事务数据库，提出了用二进制位图生成一种新的NBFP-Tree结构，并据此提出了一种新的频繁模式挖掘算法NBFP-mine. 该算法不产生候选集，对NBFP-Tree结构进行深度优先遍历一次，就可从NBFP-Tree结构上直接查找出最大频繁模式. 最后，从理论分析和实践验证了它的高效性.     

一种基于FP-tree的最大频繁项目集挖掘算法

挖掘最大频繁项目集是许多数据挖掘中的关键问题．为克服早期基于Apriori的最大频繁项目集算法中的缺点,相继有多种挖掘最大频繁项目集方法被提出．其中对基于FP-tree的最大频繁项目集挖掘算法比较多,但对FP-tree中的结点的频度计数关注的很少．通过对FP-tree结构进行了仔细分析后,在FP-tree中结点的频度计数和集合理论的基础上,提出了一种新的最大频繁项目集挖掘算法USDMFIA(using set to discover maximum frequent itemsets algorithm)．通过分析比较,显示此算法是有效的．     

一种新的频繁模式挖掘算法

为了适应由于进行添加、删除、修改操作而频繁变化的数据库以及加速支持度求解过程,该文提出了一种新的频繁模式挖掘算法。该算法将顾客的一次购买行为转化为比特串,通过对比特串的操作,逐渐更新事务集的典型集,从而适应目前数据库的频繁变化。典型集中包含了所有模式,根据支持度阈值可以从典型集中快速找到频繁模式。通过实例分析了该算法面对频繁变化数据库的过程,表明了该算法具有很强的适应数据库变化的能力,并能够根据给定的支持度阈值快速求出所需的频繁模式,仿真实验验证了该算法的有效性和可行性。     

基于集合运算的频繁集挖掘优化算法

挖掘关联规则是数据挖掘中一个重要的课题,产生频繁项目集是其中的一个关键步骤。 提出了一种基于集合运算的频繁项目集挖掘算法,并将该算法与经典算法Apriori进行比较。该算法只需要对数据库扫描一遍。实验表明该算法的效率较好。     

基于FP-Tree的最大频繁项目集更新挖掘算法

发现最大频繁项目集是多种数据挖掘应用中的重要问题．在应用中用户需要调整最小支持度,以发现更有用的最大频繁项目集．为此提出了一种最大频繁项目集更新算法(UMFPA),该算法通过对频繁模式树(FP-Tree)中的频繁项目头表(H Table)增加两个域,从而将减少在数据库不变而最小支持度变化的情况下的更新挖掘最大频繁项目集的费用．实验结果表明,算法在进行最大频繁项目集更新挖掘时具有很好的性能．