最小频繁相关模式的挖掘

频繁模式不能反映模式内部各项目之间的关联和相关关系，频繁关联模式挖掘与孥繁相关苎式兰苎已越来越受到人们的重视．按照相关模式定义，如果一个模式是相关模式，其超模式一定是相关模式,最小频繁相关模式挖掘将大大减少挖掘出来的数量，有利于用户分析．给出最小频繁相关模式挖掘算法，并在标准数据挖掘数据集蘑菇数据上测试，实验证明算法是正确有效的．     

基于频繁模式树的约束最大频繁项目集挖掘算法研究

目前绝大多数频繁项目集(或最大频繁项目集)挖掘算法并没有考虑相关领域知识,其结果会产生许多无关的模式.因此,发现约束频繁(或约束最大频繁)项目集是多种数据挖掘应用中的关键问题,然而,这方面的研究工作却很少.为此该文提出了一种快速的基于频繁模式树(FP-tree:一种扩展前缀树结构)的约束最大频繁项目集挖掘及其更新算法.实验结果表明该算法是快速有效的.     

数据挖掘中关联规则算法的研究及应用

针对Apriori和AprioriTid算法中存在的项集生成瓶颈问题,提出了一种基于事务集压缩、候选项集压缩和支持度布尔矩阵的改进AprioriTid算法.该算法中通过删去不必比较的事务来有效缩减数据集;优化频繁项集的自连接方式来减少生成的候选项集个数;使用支持度布尔矩阵来加快候选项集的验证速度.实验结果表明改进算法比原算法执行效率明显提高,同时也验证了该算法在油液监测故障诊断中的有效性.     

一种基于FP-tree的最大频繁项目集挖掘算法

挖掘最大频繁项目集是许多数据挖掘中的关键问题．为克服早期基于Apriori的最大频繁项目集算法中的缺点,相继有多种挖掘最大频繁项目集方法被提出．其中对基于FP-tree的最大频繁项目集挖掘算法比较多,但对FP-tree中的结点的频度计数关注的很少．通过对FP-tree结构进行了仔细分析后,在FP-tree中结点的频度计数和集合理论的基础上,提出了一种新的最大频繁项目集挖掘算法USDMFIA(using set to discover maximum frequent itemsets algorithm)．通过分析比较,显示此算法是有效的．     

快速挖掘最大频繁项目集的新算法

针对关联规则下最大频繁项目集的特性,提出了一种快速挖掘最大频繁项目集的新算法MMFI(miningmaximumfrequentitemsets)。该算法摆脱了传统的经典算法Apriori及其变种情况下的自底向上的搜索策略,利用集合枚举树(set enumerationtree)的变形结构采取了自顶向下的新的搜索方式,并通过其独特的启发式判断策略、候选项目集的生成策略等,大大减少侯选项目集的生成,从而降低了CPU搜索时间,提高了挖掘效率。     

基于事务线索树的一次扫描关联规则增量挖掘算法

首先将事务数据库压缩存储到一棵事务线索树(TT-tree)的结点上，并建立这些结点的索引表，然后寻找结点索引表的最后结点到根结点的全部路径，这些路径及路径的交集包含了用于挖掘关联规则的频繁集，该算法只需扫描事务数据库一次，由于采用了逆向搜索TT-tree的方法,搜索的时间开销非常少，该算法可以挖掘中短模式的海量数据，具有很好的伸缩性,同时该算法具有增量挖掘的功能，通过大量的实验数据进行比较。该算法的速度约是Apriori算法的10倍。     

基于FP-tree和支持度数组的最大频繁项集挖掘算法

提出了一个基于频繁模式树即FP-tree和支持度数组相结合的最大频繁项集挖掘算法,首先建立FP-tree,同时建立支持度数组,然后在此基础上建立最大频繁项集树MAXFP-tree,MAXFP-tree中包含了所有最大频繁项集,缩小了搜索空间,提高了算法的效率。算法分析和实验表明,该算法对稠密型数据集和稀疏型数据集均适用,并且特别适于挖掘具有长频繁项集的数据集。     

基于MapReduce的频繁模式挖掘算法的优化

分布式数据挖掘计算是大数据研究中非常重要的技术,现有的对频繁模式的分布式挖掘方法在处理大量数据集时仍然存在许多局限,如并行Apriori算法在多次扫描数据库过程中对I/O产生很大负担,并且有大量候选集产生.本文使用的FP-growth算法包括Fp-tree构建和频繁模式挖掘两个阶段.主要思想是在map阶段构建FP-tree之前,根据步长值及项目元素编码对FP-tree节点合并,并在shuffle阶段依据平衡算法划分给不同的reducer.平衡算法用来均衡工作负载.利用该算法来降低数据分配的随机性,避免数据挖掘阶段由于数据划分不均衡导致部分reducer开销过大的缺点.实验结果表明:与现有方法相比,在较大数据集情况下改进后的算法具有更好地运算效率和可伸缩性.     

基于改进频繁模式树的最大频繁项目集更新挖掘算法

在挖掘最大频繁项目集的过程中,通过改变最小支持度阈值可以挖掘更有用的最大频繁项目集,为此提出了一种最大频繁项目集更新挖掘算法UAMMFI(Updating Algorithm for Mining Maximal Frequent Itemsets)。算法基于改进后的频繁模式树结构,在更新挖掘过程中,不需产生候选项目集和条件模式树,并且充分利用先前已挖掘的最大频繁项目集中包含的信息,快速更新挖掘出最小支持度阈值变化后的最大频繁项目集。实验结果表明,算法能够高效更新挖掘最大频繁项目集。     

基于踪迹挖掘的自动缺陷警报分类方法

缺陷检测一般包括静态分析与人工确认两个阶段.静态缺陷检测工具报告大量警报,但是主要的警报确认工作仍然由人工完成,这是一件费时费力的工作.巨大的确认投入,会导致测试人员和管理人员拒绝使用该静态检测工具.为了辅助警报确认工作,提出一种基于警报踪迹挖掘的警报分类方法,使用该方法挖掘警报踪迹进而将代码结构相似警报分为一类,使得分类后的最终警报报告更加易于人工确认.实验表明,该方法能够在较大规模的软件测试过程中分类测试结果,提高警报确认效率.