一种基于关联规则的增量数据挖掘算法

分析了关联规则增量更新挖掘算法FUP和IUA,指出了其效率低下的主要原因.针对关联规则增量更新问题,提出了一种新的简单高效的增量挖掘算法LIUA,并对算法LIUA进行了测试,测试结果表明算法是高效、可行的.     

一种改进的关联规则增量式更新算法

增量式更新算法能充分利用已挖掘出的知识来提高挖掘效率,是数据挖掘高效算法研究中一个主要方向.本文首先分析了经典的关联规则增量式更新算法FUP(Fast Updating algorithm)算法的不足,提出了一种改进的关联规则增量式更新算法IIUA(Improved Incremental Updating Algorithm),极大地降低了存储空间和挖掘时间需求,从而提高了整个关联规则挖掘的效率.     

基于矩阵的关联规则增量更新及其改进算法

为了解决大数据环境下如何高效地挖掘关联规则并进行增量更新,在原有的fast updating pruning(FUP)算法基础上,首先提出一种基于矩阵的关联规则增量更新方法(MFUP),该方法将数据集转化成布尔矩阵,减少对数据集的扫描次数以及数据集的存储量;然后将MFUP与Hadoop分布式计算框架结合,提出一种分布式环境下的新算法Cloud MFUP(CMFUP);最后通过设计实验进行对比分析。结果表明,在挖掘相同数据量的关联规则并进行增量更新时,MFUP算法相比FUP算法执行时间更少,且随着数据集的增加,其增速更慢;对比CMFUP与MRFUP算法表明,随着分布式环境下数据集的增加,前者较后者执行时间更短增速更慢。     

一种基于临时表的关联规则增量更新算法

对挖掘关联规则中的FUP算法的关键思想以及性能进行了研究,针对挖掘关联规则中FUP算法的不足,提出了一种基于临时表的改进算法MFUP.该算法通过建立临时表,充分利用原数据库挖掘的结果,从而大大减少了对数据的重复扫描,提高了数据挖掘算法的效率.通过实例分析,说明了MFUP算法的优越性.     

关联规则的动态维护及其在财务数据中的应用

关联规则挖掘在许多数据挖掘中有着广泛的应用。当数据库和支持度阈值发生变化时,现有的挖掘方法普遍存在多次扫描数据库或重复遍历复杂数据结构的问题。该文基于增量式更新算法(IUA)和快速更新算法(FUP),提出在数据库与支持度阈值同时变化情况下的关联规则动态维护算法ARDM,并通过Hash结构与模式增长方法进行优化。实验表明:该算法充分利用了已挖掘结果,在数据库和支持度阈值同时变化时比FP-Growth大幅提高了执行效率。最后,将该算法应用于企业财务指标及财务比率分析。     

一种关联规则增量更新算法

关联规则是数据挖掘领域的一个重要分支,而发现频繁项目集是关联规则数据挖掘中的关键问题.频繁项目集是在给定的交易数据库D下满足最小支持度和最小置信度下的一个项目集合,但随着数据集的增减,就会产生不同的频繁项目集.如何发现在数据集变化情况下频繁项目集快速和高效地更新是文中解决的问题.为此提出了一种改进的增量更新算法,实验结果表明此算法有较好的效果.     

一种改进的关联规则增量式更新算法

在支持度和置信度不变的情况下,随机或偶然向数据集添加数据记录会导致关联规则的变化.在FUP算法的基础上给出了一个改进的增量式更新算法,本算法在充分利用先前关联规则的基础上极大的减少了扫描原数据集的次数,与FUP算法相比极大的减少了算法运行时间,并实验验证了算法的优越性.     

联机增量聚类算法研究

研究了联机数据挖掘系统中的并行和增量聚类算法,并给出了算法伪码。实验表明,联机增量聚类算法相对于传统的Apriori算法具有较大优势,同时证明了增量聚类算法及其联机数据挖掘系统的实用性。     

数据挖掘中的增量式关联规则更新算法

设计增量关联规则更新算法,用于解决数据挖掘中元组数增加而最小支持度不发生变化时关联规则增量式更新问题.该算法只须扫描原始数据库和新增数据库各一遍,能大大降低运算时间,加快速度,极大地提高关联规则的挖掘性能.     

基于AP-CAN的增量关联挖掘算法研究

随着大数据时代的到来,增量关联规则挖掘已成为数据挖掘领域的热门话题.CAN-tree作为增量关联规则挖掘领域的重要算法,其按项目频次大小进行排序会使树(tree)的规模过大,降低算法效率.针对此问题,提出一种基于AP-CAN的增量关联挖掘算法,采用AP聚类思想将原始数据集按项目的支持度不同分为多个集群,修剪不满足最小支持度的集群,利用哈希头表替代项头表,并根据数据量对每条事务排序.实验结果表明,该方法可以显著削减CAN树的规模,降低项目查找时间,提高数据挖掘效率,在效率和稳定性上均优于现有的CAN-tree算法.     

基于最频繁项提取和候选集剪枝的THIMFUP算法

针对FBCM(基于矩阵压缩FUP(fast update algorithm))算法在项集挖掘过程中存在频繁扫描原频繁项集库, 并生成大量候选集的问题, 提出一种通过提取数据库中最频繁项的方法, 以降低对原频繁项集库的扫描次数； 并通过候选集剪枝思想, 减少算法整体运行过程中的候选集生成, 以提高频繁项集的挖掘速度. 实验结果表明, 在相同实验条件下, 该算法的效率比FBCM算法效率提高15%以上, 最高达60%.     

Incremental frequent tree-structured pattern mining from semi-structured data

The paper studies the problem of incremental pattern mining from semi-structrued data. When a new dataset is added into the original dataset, it is difficult for existing pattern mining algorithms to incrementally update the mined results. To solve the problem, an incremental pattern mining algorithm based on the rightmost expansion technique is proposed here to improve the mining performance by utilizing the original mining results and information obtained in the previous mining process. To improve the efficiency, the algorithm adopts a pruning technique by using the frequent pattern expansion forest obtained in mining processes. Comparative experiments with different volume of initial datasets, incremental datasets and different minimum support thresholds demonstrate that the algorithm has a great improvement in the efficiency compared with that of non-incremental pattern mining algorithm.     

一种基于权值的序列模式更新算法

针对原始数据库中增加数据时如何更新规则的问题,提出并应用了一种基于权值的序列模式更新算法UW IUA。该算法利用权值来归约子序列集和利用知识数据库中保留的最小非大序列集产生新的候选序列集,避免了重复遍历原始信息库而造成数据量太大的问题,从而缩短程序运行时间和节约数据存储空间,较好地改进了算法性能。实验结果证明UW IUA算法的效率高于IUA算法。     

基于页面聚类的个性化推荐算法研究

聚类分析算法作为一种主要的Web使用挖掘技术，在个性化推荐系统中得到了广泛应用，然而面对Web动态性所引起的网页的更新以及用户行为方式的改变，已有的聚类算法并不能很好地解决这一问题。针对这一问题，本文以一种无向图的形式表示用户对网站的访问，提出一种可实时反映网站及用户行为变化情况的增量式页面聚类算法，并在页面聚类的基础上提出相应的推荐决策算法动态生成页面推荐。     

时态拟序数据索引TQD-tree更新技术

介绍基于线序划分（LOP）的时态拟序索引技术TQD-tree，基于前期研究成果实现增量更新.能否实现增量更新是时态索引技术成败的关键.首先，讨论TQD-tree所需数据结构和LOP实现算法；其次，讨论实现增量更新算法；再次，讨论批量更新的可行性；最后，完成仿真评估以表明更新技术可行性和有效性.实现批量更新，减少扫描重构TQD-tree次数，能大大提高系统效率.研究时态数据索引更新技术能解决大数据管理框架中实时响应和频繁更新的基本需求.     

与时机判定相结合的关联规则增量更新算法

现有的关联规则更新算法大多致力于解决增量更新本身,但很少同时考虑更新时机,不适于对实时应用中频繁更新的数据进行有效处理.针对此问题,提出了一种与时机判定相结合的关联规则增量更新算法,在改进增量更新方法的同时,兼顾对更新时机的判定.在关联规则增量更新阶段,计算含有非空子集个数之和最多的频繁项集,找出在更新数据集中仍然频繁的项集,根据Apriori性质,避免对其子集的处理,从而实现对候选项集的有效剪枝.实验结果表明,该算法通过对更新时机的及时判定和候选项集的有效剪枝,提高了关联规则的更新效率.     

基于遗传算法和粗糙集理论的增量式规则获取方法

规则获取的增量式算法是数据挖掘领域的一个热点问题.基于粗糙集理论,从规则获取和优化两方面研究了基于遗传算法的增量式规则挖掘方法,它具有结构简单、搜索效率高、求解速度快等优点.通过研究决策表和决策规则系数,建立基于粗糙集表示和度量的知识,并且将遗传算法和规则挖掘算法相结合,建立了新的优化方法,提出了一种基于遗传算法的增量式规则挖掘的方法.在原有规则集的基础上进行规则和规则参数的增量式更新,避免了为更新规则而重新运行规则获取算法.试验结果表明,执行增量式GA的能够有效地获取最优规则.