基于AP-CAN的增量关联挖掘算法研究

随着大数据时代的到来,增量关联规则挖掘已成为数据挖掘领域的热门话题.CAN-tree作为增量关联规则挖掘领域的重要算法,其按项目频次大小进行排序会使树(tree)的规模过大,降低算法效率.针对此问题,提出一种基于AP-CAN的增量关联挖掘算法,采用AP聚类思想将原始数据集按项目的支持度不同分为多个集群,修剪不满足最小支持度的集群,利用哈希头表替代项头表,并根据数据量对每条事务排序.实验结果表明,该方法可以显著削减CAN树的规模,降低项目查找时间,提高数据挖掘效率,在效率和稳定性上均优于现有的CAN-tree算法.     

基于改进FP-树的时序关联规则挖掘的研究

时序关联规则的研究具有重要的现实意义,因而根据传统的FP-树思想,提出了一种基于改进的FP-树的时序关联规则挖掘的方法．根据FP-树的思想,将时间序列中的频繁项映射到树中,以降低频繁时序模式的搜索空间,该算法在挖掘过程中不用生成大量的频繁模式候选集,提高了时序关联规则的挖掘效率．     

基于频繁模式树的关联分类规则挖掘算法

构建精确而有效的分类器是数据挖掘和机器学习中的一个重要任务．提出了一种基于频繁模式树的关联分类规则挖掘算法,该算法同时考虑所有属性,并对现有关联分类规则挖掘算法中内存要求高、类别属性处理难、I／O访问次数多等问题提出了相应的解决方案．试验结果表明,该方法可以取得比同样基于关联规则的分类算法CMAR更高的执行效率以及基于规则的决策树分类算法C4．5更好的分类效果．     

基于关联规则与相似度的数据挖掘算法研究

针对使用传统关联规则算法挖掘大数据集时,挖掘过程中效率不高,挖掘出大量冗余规则的问题,提出了基于关联规则和相似度的数据挖掘算法(U-APR):首先,一次性读入数据并构建矩阵,并利用关联规则支持度度量的特性来增加判断属性,以加快结束迭代过程,从而改进了Apriori算法频繁扫描数据库问题;然后,使用相似度算法去除冗余的关联规则;最后,结合置信度、支持度和用户目标匹配度对挖掘结果进行排序输出,从而得到用户感兴趣的关联规则. 同时,应用该算法与目前常用的2种关联规则算法对广东某高校学生财务数据进行数据挖掘. 实验结果表明:与2种常用的关联规则算法相比,U-APR算法缩短了运算时间和提高了存储空间利用率,对用户分析挖掘结果有较好的优化效果.     

基于FP-Tree的多级关联规则挖掘算法

关于多级关联规则挖掘方面的研究到目前为止还非常有限,尤其是在减少所需存储空间、产生有效规则、缩短计算时间方面还有很多工作要做。基于FP-Tree的算法在以上方面被证实有其非常大的优势。故本文提出了一种基于FP-Tree的多级关联规则挖掘算法,并采用简化前缀树的方法优化算法性能。     

空间跨层关联规则挖掘算法的研究

在空间关联横向挖掘中,针对现有基于空间事务的挖掘算法不能快速地挖掘空间跨层关系,提出一种空间跨层关联规则挖掘算法,其适合在空间关联横向挖掘中提取空间跨层关联规则;该算法将空间事务的跨层关系转换为整数,采用自顶向下搜索策略,按非频繁项对应的属性位数递减的方式产生候选频繁项,有效地提高挖掘效率;在提取空间跨层关联规则时,实验证明它是快速的.     

基于频繁模式树的正负项目集挖掘

传统的基于支持度—置信度框架的关联规则挖掘方法可能会产生大量不相关的、甚至是误导的关联规则,同时也不能区分正负关联规则。在充分考虑用户感兴趣模式的基础上,采用一阶谓词逻辑作为用户感兴趣的背景知识表示技术,提出了一种基于背景知识的包含正负项目集的频繁模式树,给出了针对正负项目集的约束频繁模式树的构造算法NCFP-Construct,从而提高了关联规则挖掘的效率和针对性,实验结果显示该方法是有效的。     

基于Hash结构的关联规则交互挖掘算法

关联规则挖掘是数据挖掘的主要技术之一,现有的关联规则挖掘算法均基于支持度-置信度框架,当用户调整阈值时存在多次遍历数据库和重复计算问题。该文针对支持度阈值变化时的关联规则维护问题,提出了关联规则交互挖掘算法HIUA,该算法改进了原始IUA算法的剪枝过程,并通过Hash结构提高算法运行效率。在UCI数据集及企业实际财务数据集中的实验结果表明:在支持度阈值发生变化的过程中HIUA算法进一步利用已有挖掘结果,有效提高了关联规则挖掘的效率。     

基于分类树的高效关联规则挖掘算法

在分析类Apriori算法存在效率瓶颈的基础上，提出了一个高效改进算法——基于分类树的关联规则挖掘算法．该算法只需要两次访问数据库，把数据库中的数据利用分类树来存储，减少了访问数据库的次数；并且由分类树的全部或部分来求得频繁项目集，减少了求频繁项目集的比较次数．此算法通过结合Apriori和FP—tree两种算法来提高挖掘效率，降低了挖掘算法的时间复杂度和空间复杂度．通过多次试验证明该算法比Apriori及其改良算法的挖掘效率高2到8倍．     

一种基于节点交换的FP-tree构造算法

基于FP树的FP-Growth关联规则挖掘算法,不需要产生候选项集,是当前频繁项集挖掘算法中应用最为广泛的算法之一.针对该算法在对大型的数据库挖掘的时候,存在运行速度慢,占用资源多的问题,文中发现算法中FP树和条件FP树的构建是最占资源的阶段.为此,提出了一种基于改进的FP树的构造算法.该算法一方面通过节点交换的方式压缩树的规模,提高挖掘的效率;另一方面,利用节点支持度计数的差值作为阈值以限定节点交换的条件,避免了由于交换过于频繁,造成不必要的系统开销,并把这种基于节点交换FP树构造算法称为TFP树算法.经过实验验证和性能分析,结果表明新算法有效,执行时间少,效率高.     

网络数据包安全指标关联规则挖掘应用与研究

对网络通信中,安全指标间关联规则的挖掘速度缓慢问题进行研究。网络通信数据的高容量、多样性和复杂性,使网络安全指标间关联规则挖掘的信息处理难度较高、时间效率低,为此提出一种基于并行FP-树频集算法的关联规则数据挖掘方法并成功应用于网络通信的安全指标挖掘中。首先对网络通信数据进行Netflow流量数据采集,对其进行预处理以信息熵的形式存储。然后将频集压缩到频繁模式树上,再引入并行算法在多个处理器上为频繁模式树的节点创建条件模式库和条件模式树,在不同的并行处理器上进行同时处理,最后生成反映网络安全信息的关联规则。该方法提高了网络信息安全指标间关联规则挖掘的效率,在同样的支持度阈值和置信度阈值的条件下,可减少处理时间4~7 s。     

基于定量关联规则树的分类及回归预测算法

为了解决基于Apriori的分类关联规则算法挖掘数值型数据时效率和准确率偏低的问题,提出基于定量关联规则树的分类及回归预测算法。采用改进的定量关联规则算法挖掘数值型数据生成关联规则库,并基于关联规则树结构实现分类及回归预测。研究结果表明：改进的Apriori定量关联规则挖掘算法提高了分类预测的准确率并降低了计算复杂度;而采用关联规则树结构可使分类与回归预测时间明显加快,提高了样本匹配学习的速度。     

基于有向图的关联规则挖掘算法研究

为了提高关联规则挖掘效率,提出了一种基于有向图的频繁项目集挖掘算法DGBFIG(Directed graph -based frequent itemsets generation)．该算法采用位矢量技术构造有向图,表示项与项之间的频繁关系,并在有向图的基础上递归产生频繁项集,从而只需扫描数据库2次,不产生候选集,从而大大提高了关联规则挖掘算法的效率．最后从空间和时间的复杂度分析了该算法的效率．     

基于二进制粒子群优化的卫星典型件工艺知识挖掘

针对卫星典型件在工艺设计过程中设计任务量大、重复性工作多,且其历史工艺数据未能充分有效利用的问题,进行了工艺知识挖掘的研究,以提高工艺知识的重用性.首先对工艺知识挖掘问题进行了描述,建立了工艺知识的关联规则模型;然后针对海量数据中Apriori算法挖掘效率低的问题引入二进制粒子群优化(BPSO)算法,并构造了基于BPSO的关联规则挖掘算法.最后对卫星结构板这一典型件的历史工艺数据进行挖掘,得到了卫星结构板典型工序序列.基于BPSO的关联规则挖掘算法可以有效提高工艺知识的挖掘效率.     

基于堆栈模型的数据挖掘算法研究

基于关联规则的数据挖掘算法的时空耗费关键主要有两个：一个是需要对海量事务数据库进行多趟趋势，另一个是在JOIN运算中产生了大量潜在频繁项集。提出了利用堆栈模型动态生成频繁项集，每次用上次为产生新的频繁项集，边产生边判断，把满中最小信任度的频繁项集存放于链表中，减少了JOIN运算产生的多余项所占用的空间耗费。利用事务压缩法来减少事务库数据规模，对每次扫描后的事务数据库进行优化，从而达到减少空间耗费和扫描规模，提高效率的目的。     

一种高效的频集挖掘算法

频集挖掘是关联规则挖掘的关键步骤,它对强规则、相关分析和时间序列有着重要的意义.常用的频集算法包括Apriori和FP-G rowth.为了提高算法效率,提出了一种基于D iffset的混合算法———D iffsetHybrid,该算法根据数据集的稀疏程度决定采用D iffset的某种形式来挖掘频集,减少了存储空间,提高了算法效率.试验表明,该算法对于稀疏数据集和稠密数据集都有良好的计算性能.     

基于XFP-tree的XML结构重构策略

基于海量XML文档查询速度已不能满足日益增长的信息关联和服务请求多样性的需求,本文提出一个重构XML结构的频繁向量选择增量模式树（XFP-tree）算法,该算法以XML键为基础,首先对XML结构进行向量矩阵处理,再通过投影频繁模式树实现对XML结构进行分裂、合并、更改与取消等优化措施,满足XML结构简洁性与查询多样性;结合投影和树结构技术,讨论XML键向量矩阵频繁项集的划分规则,而相应启发式策略的制定与支持度阈值的讨论有利于算法效率的提高。对比其它关联算法,一系列仿真实验表明所提出的算法具有一定的有效性及合理性,是重构XML结构的一种有效方法。