基于模式矩阵的FP-growth改进算法

数据挖掘中关联挖掘算法比较典型的有Apriori和FP—growth算法．实验和研究证明FP—growth算法优于Apriori算法．但是针对大型数据库这两种算法都存在着较大缺陷，不仅要两次或多次扫描数据库，而且很难处理支持度和数据变化等关联规则更新问题．作者提出了基于模式矩阵的FP—growth改进算法，它至多扫描数据库一次，特别在更新问题上不用重新扫描数据库．通过实验结果分析，验证了这种改进算法相对于原有FP—growth算法的优势，特别在大数据集下，大大降低了挖掘的时间复杂度．     

基于改进型FP-Tree的分布式关联分类算法

传统的信息挖掘技术已经无法满足大数据环境下日益复杂的应用需求,而分布式数据挖掘技术是解决这个难题的一种手段,因此提出了基于改进型频繁模式树（FP－Tree）的分布式关联分类算法。首先,在各局部节点优化FP－Tree。生成局部条件模式树（CFP－Tree）,再通过各节点间传送CFP－Tree构建全局CFP－Tree;其次,在挖掘全局CFP－Tree时通过计算显著度来获取初始的全局显著分类规则;最后,利用剪枝策略选取一个较小规则集来构造全局的关联分类器。实验结果表明该算法能够有效降低网络通信量,提高信息挖掘效率,同时保证剪枝的质量和规则的统计显著性,提高分类的精确性。     

基于分类树的高效关联规则挖掘算法

在分析类Apriori算法存在效率瓶颈的基础上，提出了一个高效改进算法——基于分类树的关联规则挖掘算法．该算法只需要两次访问数据库，把数据库中的数据利用分类树来存储，减少了访问数据库的次数；并且由分类树的全部或部分来求得频繁项目集，减少了求频繁项目集的比较次数．此算法通过结合Apriori和FP—tree两种算法来提高挖掘效率，降低了挖掘算法的时间复杂度和空间复杂度．通过多次试验证明该算法比Apriori及其改良算法的挖掘效率高2到8倍．     

基于链表结构的频繁模式树构造

FP-Growth算法在关联规则挖掘中是最经典的算法,主要通过频繁模式树(FP树)避免生成候选频繁项目集.针对FP-Growth算法中耗费内存严重的问题,采用链表存储方式,给出了FP-Growth算法的实现方法,其中单个结点采用链表形式来产生,频繁模式树采用左孩子右兄弟的存储结构来组织.在此基础上利用索引表,实现了对频繁模式树中共同前缀结点的快速查找,提高了频繁模式树构造的效率,解决了FP树构造算法中数据存储的瓶颈问题.最后以天体光谱数据和城市土壤数据作为数据集分别对该算法进行测试,实验结果表明,该方法的构造效率要明显优于基于顺序结构的FP-Growth算法.     

分布式数据库关联规则更新算法

提出了一种分布式关联规则增量更新算法（IUAAR），它可对数据库发生变化的情况进行归类．该算法主要采用改进了的FP树结构，通过传送被约束子树来挖掘全局频繁项目集，并充分利用快速分布式挖掘算法建立的各局部FP树，只对新增加了的全局频繁项目修改相应的改进FP树，挖掘其对应的被约束子树，同时利用已挖掘的全局频繁项目集对原全局频繁项目对应的被约束子树进行有效修剪．实验结果表明，该算法的运算速度比快速分布式挖掘算法提高了1倍，在最坏的情况下，对各局部数据库也仅需要扫描一遍，从而可提高数据库的维护效率．     

基于有序FP树和二维列表的频繁模式挖掘算法

关联法是数据挖掘算法中一种重要的技术,FP-Growth算法是当前最有效的关联法则挖掘算法,主要针对传统的FP-Growth算法当前的一些不足进行改进,提出了一种新的挖掘算法OFP树挖掘算法.一是采用了有序FP树代替传统的FP树,减少存储空间的使用,二是采用二维列表记录项的频繁度,省去为寻找第一次条件模式基而遍历FP树的过程.实验结果表明该算法优于传统FPGrowth算法.     

一种基于节点交换的FP-tree构造算法

基于FP树的FP-Growth关联规则挖掘算法,不需要产生候选项集,是当前频繁项集挖掘算法中应用最为广泛的算法之一.针对该算法在对大型的数据库挖掘的时候,存在运行速度慢,占用资源多的问题,文中发现算法中FP树和条件FP树的构建是最占资源的阶段.为此,提出了一种基于改进的FP树的构造算法.该算法一方面通过节点交换的方式压缩树的规模,提高挖掘的效率;另一方面,利用节点支持度计数的差值作为阈值以限定节点交换的条件,避免了由于交换过于频繁,造成不必要的系统开销,并把这种基于节点交换FP树构造算法称为TFP树算法.经过实验验证和性能分析,结果表明新算法有效,执行时间少,效率高.     

基于改进FP-树挖掘最大频繁模式

由于挖掘密集型数据的频繁模式完全集非常困难 ,因而改进了传统的FP -树结构并提出了一种基于改进FP -树的最大频繁模式挖掘算法IFP -MAX ;通过引入后缀子树的概念 ,在挖掘过程中不用生成最大频繁模式候选集 ,大大提高了算法的时空效率。实验表明 ,IFP -MAX的挖掘速度比Miafia和GenMax快得多     

一种基于映射方法的改进频繁模式增长算法

本文介绍了知识发现中关联规则挖掘算法的基本思想及其性能,分析了FP-tree算法在关联规则挖掘中存在耗费巨大空间存贮的问题,提出了一种运用投影技术改进的频繁模式增长算法,该算法大大改善FP—tree构造,实验结果表明,运用投影技术改进的频繁模式增长算法可以大大提高关联规则挖掘效果。     

网络数据包安全指标关联规则挖掘应用与研究

对网络通信中,安全指标间关联规则的挖掘速度缓慢问题进行研究。网络通信数据的高容量、多样性和复杂性,使网络安全指标间关联规则挖掘的信息处理难度较高、时间效率低,为此提出一种基于并行FP-树频集算法的关联规则数据挖掘方法并成功应用于网络通信的安全指标挖掘中。首先对网络通信数据进行Netflow流量数据采集,对其进行预处理以信息熵的形式存储。然后将频集压缩到频繁模式树上,再引入并行算法在多个处理器上为频繁模式树的节点创建条件模式库和条件模式树,在不同的并行处理器上进行同时处理,最后生成反映网络安全信息的关联规则。该方法提高了网络信息安全指标间关联规则挖掘的效率,在同样的支持度阈值和置信度阈值的条件下,可减少处理时间4~7 s。     

一种挖掘大型数据库的关联规则新算法

关联规则挖掘算法FP-Growth在挖掘大型数据库时,占用内存大、运行速度慢或根本无法构造基于内存的FP-tree。针对这些问题,文章提出一种适合于挖掘较大型数据库的新的关联规则挖掘算法DFP-Growth,新算法将数据库分解,然后对分解得到的各个数据库子集用FP-Growth算法进行约束频繁项集挖掘,以满足大型数据库挖掘的需求。     

基于FP-tree最大频繁模式超集挖掘算法

数据挖掘应用中的最大频繁项集挖掘算法大多存在候选项目集冗余问题,造成时间和空间的浪费.针对此问题,通过构造条件FP-tree,对不符合要求的项目进行剪除并对MFIT算法进行改进,提出一种基于FP-tree的最大频繁模式超集挖掘算法.此算法无需产生大量的候选集,同时减少数据集扫描次数,降低数据库遍历时间,提高算法效率.实验证明,此算法在降低候选项目集冗余度的同时有效减少了算法运行时间.     

一种时序关联规则改进算法的研究

对海量的时间序列进行处理,挖掘其背后蕴涵的价值信息具有重要的意义。本文结合了时序逻辑和数据挖掘的知识对基于FP_树的时序关联规则展开了研究,并在传统的算法基础上提出了一种改进算法。该方法不用生成大量的频繁模式候选集,从而提高了时序关联规则的挖掘效率。     

一种基于MapReduce的并行FP-growth算法

FP-growth算法是不产生候选集的关联规则挖掘算法,在许多领域中具有很高的实际应用价值。然而经典的FP-growth算法是内存驻留算法,只能处理小数据集,在面对海量数据集时显得无能为力。对经典FP-growth算法中FP-tree的结构和挖掘过程进行了改进,分析了FP-tree单路径和多路径的不同挖掘方法,提出了一个剪枝策略,在挖掘过程中减少了部分分支的迭代次数。然后利用云计算的MapReduce编程技术,对改进的FP-growth算法的各个步骤并行化。实验结果表明改进的算法在处理不同的数据集时有一定的优势,然后经过MapReduce模型并行化后,提高了对海量数据的处理能力和效率,并且具有较好的加速比和良好的扩展性。     

基于FP-tree挖掘密集型数据最大频繁模式算法

Fp-growth算法是当前挖掘频繁项目集算法中速度最快,应用最广,并且不需要候选集的一种挖掘关联规则的算法.但是,Fp-growth算法也存在着算法结构复杂和空间利用率低等缺点.在FP-tree结构的基础上提出了密集型数据最大频繁模式挖掘算法FP-DMax.算法FP-DMax只需要2次扫描数据库,在挖掘过程中不产生候选项集,大大提高了算法的时空效率.实验表明,算法FP-DMax在挖掘密集型数据最大频繁模式方面是高效的.     

基于频繁模式挖掘知识库的增量式更新算法的研究

利用FP-tree算法产生的知识库,对关联规则的增量式更新问题提出了IUA_FPKB新算法.该算法可以有效地利用知识数据库中保留的频繁模式树,减少了对原挖掘数据库和更新后的数据库的扫描次数,提高了算法的运行效率.     

基于有权重超图的离群点检测

基于有权重支持度框架的关联规则挖掘算法和超图分割算法, 给出一种新的基于有权重超图模型的离群点检测算法WHOT(Weighted Hypergraph based Outlier Test). WHOT算法根据有权重支持度的定义, 重新设计了基于有权重支持度框架的关联规则挖掘算法, 并挖掘出数据集中的重要关联规则, 形成超图. 在超图上应用超图分割算法, 得到聚类集合, 再结合项权重和事务权重的定义, 判断一条记录是否为离群数据.     

基于扩展的嵌套关系代数的关联规则挖掘查询

提出了一种使数据挖掘与数据库系统无缝集成的方案.该方案基于关联规则挖掘和关系数据库系统的通用查询算法,采用一种扩充的嵌套关系代数作为关联规则和其它数据查询的一种内部表达方式.通过一个典型实例展示了这种代数表达式.代数表达式也被表达为一种查询树,查询树中代数运算的公共操作序列模块化后,具有更多的灵活性,能方便地处理约束关联规则查询和其它各种关联规则描述.     

云计算环境下关联规则数据挖掘算法研究

在海量数据的关联规则数据挖掘中,采用并行计算是非常必要的;针对当前的关联规则算法,运用并行算法的思想,结合云计算环境下的Hadoop架构,提出了Hadoop下的并行关联规则算法的设计,最后实验表明,该算法能处理节点失效,并且能实现节点负载均衡。