分布式数据库的精简频繁模式集及其挖掘算法

对分布式数据库关联规则的挖掘与精简表示进行了研究,把频繁闭项集和最大频繁项集的概念推广到分布式数据库中,提出了在分布式环境下的频繁模式集的精简表示方法,以及一种基于各站点的全局大项目集的全局频繁闭项集和全局最大频繁项集的挖掘算法.该算法具有占用空间少、通信量小等特点.最后用实例进行了证明.     

一种基于分布式数据库的全局频繁项目集更新算法

在算法FMAGF的基础上，提出了一种基于分布式数据库的全局频繁项目集更新算法－UAGFI，该算法主要考虑最小支持度发生变化时全局频繁项目集的更新情况。UAGFI在最坏的情况下仅须扫描各局部数据库一遍，并利用已挖掘的结果，可避免传送某些原全局频繁项目对应的条件频繁模式树，从而降低网络通讯代价，实验结果表明，UAGFI算法是有效可行的。     

分布式全局频繁项目集的快速挖掘方法

针对传统的分布式全局频繁项目集挖掘算法存在大量的候选项目集，且求全局频繁项目集的网络通信代价过高等问题，提出了一种分布式数据库的全局频繁项目集快速挖掘算法（FDMA）．该算法改进了频繁模式树（FP-树）的结构，将双向FP-树改为单向，每个节点只保留指向父结点的指针，减少了指针数，由此可节省1／3的树空间；同时通过传送用3个很小的数组表示的被约束子树，在此挖掘全局频繁项目集的过程中不再生成大量候选项目集或条件FP-树，从而减小了网络通信量，提高了挖掘效率．实验表明，所提算法的挖掘速度比传统的分布式数据库数据挖掘算法至少提高了1倍之多，随着数据库规模的增大，它的扩展性将更好．     

频繁闭项目集更新算法

挖掘频繁闭项目集是数据挖掘领域中的一个重要研究方向,人们已提出了许多用于高效地发现大规模数据库中频繁闭项目集的算法,但对其更新维护问题的研究却比较少.在分析了频繁闭项目集更新算法关键技术的基础上,提出一种快速的增量式频繁闭项目集更新算法FUFCIA(fastupdating frquent closed itemsets algorithm),该算法将充分利用先前挖掘过程中所产生的信息来节省发现新的频繁闭项目集的时间开销,降低了候选频繁闭项目集的规模,减少了扫描数据库的次数.最后对该算法进行分析和讨论,并进行试验验证,试验结果表明算法FUFCIA是有效的.     

基于FP-Tree的最大频繁项目集更新挖掘算法

发现最大频繁项目集是多种数据挖掘应用中的重要问题．在应用中用户需要调整最小支持度，以发现更有用的最大频繁项目集．为此提出了一种最大频繁项目集更新算法(UMFPA)，该算法通过对频繁模式树(FP-Tree)中的频繁项目头表(H Table)增加两个域，从而将减少在数据库不变而最小支持度变化的情况下的更新挖掘最大频繁项目集的费用．实验结果表明，算法在进行最大频繁项目集更新挖掘时具有很好的性能．     

快速更新最小频繁概念格

更新挖掘最大频繁项目集是研究动态数据库挖掘的重要方面;文章在量化概念格的基础上,引进最小频繁概念格的概念,提出了一种快速的更新挖掘最大频繁项目集的算法,该算法能够在原有挖掘结果的基础上,快速有效地挖掘出更新后的数据库中隐含的新最大频繁项目集.     

基于改进频繁模式树的最大频繁项目集更新挖掘算法

在挖掘最大频繁项目集的过程中,通过改变最小支持度阈值可以挖掘更有用的最大频繁项目集,为此提出了一种最大频繁项目集更新挖掘算法UAMMFI(Updating Algorithm for Mining Maximal Frequent Itemsets)。算法基于改进后的频繁模式树结构,在更新挖掘过程中,不需产生候选项目集和条件模式树,并且充分利用先前已挖掘的最大频繁项目集中包含的信息,快速更新挖掘出最小支持度阈值变化后的最大频繁项目集。实验结果表明,算法能够高效更新挖掘最大频繁项目集。     

快速更新挖掘最大频繁项集

更新挖掘最大频繁项目集是多种数据挖掘应用中的重要问题,其发现过程的高花费要求对高效更新挖掘算法进行研究.提出了一种快速的更新挖掘最大频繁项目集算法,其能够在原有挖掘结果的基础上,有效地挖掘出更新后的数据库中隐含的新最大频繁项目集.     

分布式环境下全局模糊频繁项目集的快速挖掘

为了解决模糊关联规则挖掘算法需要用户事先给定模糊集和相应隶属度函数的问题,提出基于分布式聚类自动生成模糊集及隶属度函数的算法GFAM.该算法利用分布式K-Means聚类算法对每个数值型属性进行聚类,求得聚类中心,由此构造全局模糊集,定义全局隶属度函数.DFAR算法根据构造的全局模糊集及隶属度函数进行分布式模糊频繁项目集的快速挖掘,采用全局-局部站点模式,其中包括局部模糊频繁项目集产生算法FLF和全局模糊频繁项目集产生算法FGF.实验结果表明,该算法能准确地生成全局模糊频繁项目集,在求解全局模糊频繁项目集过程中,传送局部模糊候选项目集支持数的通信量为O(n),提高了算法的挖掘效率.     

分布式环境下约束性关联规则的快速更新

研究分布式环境下约束性关联规则更新问题,包括数据库中事务增加和删除2种情况.引入向导集的概念,提出基于全局局部模式的约束性关联规则增量式更新算法DUCAR,其中包括局部约束性频繁项目集更新算法ULFC和全局约束性频繁项目集更新算法UGFC.该算法充分利用原先的挖掘结果提高更新效率,首先从最高维的频繁n项目集进行更新,在更新过程中考虑约束条件,结合剪枝算法,生成较少数量的满足约束条件的候选项目集.将该算法用Java加以实现,采用多组数据对此算法的性能进行测试,并与其他算法作对比实验,实验结果表明,该算法是高效可行的.     

基于投影数据库的序列模式挖掘增量式更新算法

针对序列模式挖掘中的增量挖掘问题,提出一种序列模式更新算法ISPBP.算法引入序列数据库结构来存储从原始数据库中挖掘出的所有项、最大频繁模式以及它们的支持数,采用间接拼接方法,只需处理增量数据库,避免了对更新后数据库的重新计算.对于因增量数据库新产生的频繁模式,利用了在增量数据库中出现的频繁项集来减小投影数据库,进一步提高了算法的效率.理论分析和实验表明,算法是有效可行的,并且增量数据库越大,算法在效率上的优越性越明显,算法ISPBP优于传统增量式更新算法.     

基于数组的关联规则挖掘算法的研究

频繁项集的挖掘效率是关联规则产生的关键.针对经典Apriori算法的瓶颈,提出一种改进算法,通过数组结构来保存项集信息,只须扫描一遍数据库减少了时间开销.在自连接前进行项目计数,减少参加连接的项集数量,减少了候选项集的数量.通过实例证明,改进算法的效率更高.     

基于投影二维表的最大频繁模式挖掘算法

PITable-MAX是基于投影二维表的最大频繁模式挖掘算法。算法只需要遍历一次事务数据库,并将数据信息存入投影数据库中,在挖掘事务项时才会从投影数据库中提取相关的数据信息生成投影二维表,从而减少对内存空间的占用,算法虽然采用递归方式,但组合策略可实现减少条件投影二维表的规模,以达到减少空间;并结合减挖策略来减少挖掘事务项的个数,以达到提高挖掘效率的目的;实验验证了算法的可行性和优越性。     

一种高效的Apriori改进算法

针对Apriori 关联规则算法中的瓶颈问题,提出了一种Apriori_improve 算法.该算法根据组合元素的计数结果排除一些不符合组合条件的元素,并在扫描数据库后"删除"一些不能支持频繁集的记录,迅速减小了数据库规模.实例表明:对于大型数据库的挖掘,该算法比Apriori算法的效率有明显地提高.     

基于最频繁项提取和候选集剪枝的THIMFUP算法

针对FBCM(基于矩阵压缩FUP(fast update algorithm))算法在项集挖掘过程中存在频繁扫描原频繁项集库, 并生成大量候选集的问题, 提出一种通过提取数据库中最频繁项的方法, 以降低对原频繁项集库的扫描次数； 并通过候选集剪枝思想, 减少算法整体运行过程中的候选集生成, 以提高频繁项集的挖掘速度. 实验结果表明, 在相同实验条件下, 该算法的效率比FBCM算法效率提高15%以上, 最高达60%.     

基于不确定数据的频繁项查询算法

频繁项的查询是一项非常重要的技术,但在新兴的不确定数据领域却是一项新的研究课题.基于不确定数据,提出了一种新的频繁项定义,并提出了两条过滤规则,可以有效地减少检测数据的数量.最后提出高效的频繁项查询算法UFI,该算法通过找到概率求解中的递推规律,极大提高了单点检测效率.实验结果显示:提出的方法可以有效地减少候选集,降低...     

Research on spatial association rules mining in two-direction

In data mining from transaction DB, the relationships between the attributes have been focused, but the relationships between the tuples have not been taken into account. In spatial database, there are relationships between the attributes and the tuples, and most of the associations occur between the tuples, such as adjacent, intersection, overlap and other topological relationships. So the tasks of spatial data association rules mining include mining the relationships between attributes of spatial objects, which are called as vertical direction DM, and the relationships between the tuples, which are called as horizontal direction DM. This paper analyzes the storage models of spatial data, uses for reference the technologies of data mining in transaction DB, defines the spatial data association rule, including vertical direction association rule, horizontal direction association rule and two-direction association rule, discusses the measurement of spatial association rule interestingness, and puts forward the work flows of spatial association rule data mining. During two-direction spatial association rules mining, an algorithm is proposed to get non-spatial itemsets. By virtue of spatial analysis, the spatial relations were transferred into non-spatial associations and the non-spatial itemsets were gotten. Based on the non-spatial itemsets, the Apriori algorithm or other algorithms could be used to get the frequent itemsets and then the spatial association rules come into being. Using spatial DB, the spatial association rules were gotten to validate the algorithm, and the test results show that this algorithm is efficient and can mine the interesting spatial rules.     

一种基于前缀广义表的快速间接关联挖掘算法

间接关联是数据挖掘领域中一种数据项之间的关联关系,可有效地应用于市场营销及Web日志分析等领域.现有的间接关联挖掘算法采用Apriori算法框架,需挖掘出所有的频繁项目集,因而存在挖掘效率低的缺陷.为此,提出了一种基于前缀广义表的快速间接关联挖掘算法,该算法无须生成所有的频繁项目集且仅须扫描数据库2遍,可有效提高间接关联的挖掘效率.     

Research on spatial association rules mining in two direction

In data mining from transaction DB, the relationships between the attributes have been focused, but the relationships between the tuples have not been taken into account. In spatial database, there are relationships between the attributes and the tuples, and most of the associations occur between the tuples, such as adjacent, intersection, overlap and other topological relationships. So the tasks of spatial data association rules mining include mining the relationships between attributes of spatial objects, which are called as vertical direction DM, and the relationships between the tuples, which are called as horizontal direction DM. This paper analyzes the storage models of spatial data, uses for reference the technologies of data mining in transaction DB, defines the spatial data association rule, including vertical direction association rule, horizontal direction association rule and twodirection association rule, discusses the measurement of spatial association rule interestingness, and puts forward the work flows of spatial association rule data mining. During twodirection spatial association rules mining, an algorithm is proposed to get nonspatial itemsets. By virtue of spatial analysis, the spatial relations were transferred into nonspatial associations and the nonspatial itemsets were gotten. Based on the nonspatial itemsets, the Apriori algorithm or other algorithms could be used to get the frequent itemsets and then the spatial association rules come into being. Using spatial DB, the spatial association rules were gotten to validate the algorithm, and the test results show that this algorithm is efficient and can mine the interesting spatial rules.     

分布式数据库关联规则更新算法

提出了一种分布式关联规则增量更新算法（IUAAR），它可对数据库发生变化的情况进行归类．该算法主要采用改进了的FP树结构，通过传送被约束子树来挖掘全局频繁项目集，并充分利用快速分布式挖掘算法建立的各局部FP树，只对新增加了的全局频繁项目修改相应的改进FP树，挖掘其对应的被约束子树，同时利用已挖掘的全局频繁项目集对原全局频繁项目对应的被约束子树进行有效修剪．实验结果表明，该算法的运算速度比快速分布式挖掘算法提高了1倍，在最坏的情况下，对各局部数据库也仅需要扫描一遍，从而可提高数据库的维护效率．