一种基于集成学习的分布式聚类算法

基于集成学习的思想,提出一种分布式聚类模型.该模型的分布式处理过程分为2个阶段:先在局部站点局部聚类,然后在全局站点全局聚类.局部站点的局部聚类看作是一种基于数据子集的学习过程,所有的局部聚类结果组成了聚类集成系统的个体学习器,全局聚类采用平均法对局部结果进行集成,并定义了一个准则函数来度量集成的精度.把K-means算法推广到分布式环境,提出一种基于该模型的分布式K均值算法DK-means,该算法对局部数据的分布有较强的伸缩性.实验结果表明,DK-means在同等条件下能达到集中式聚类的精度水平,是有效可行的,从而验证了基于集成学习的分布式聚类模型的有效性.     

DMGSP:一种快速分布式全局序列模式挖掘算法

为了解决分布式环境下挖掘全局序列模式常产生过多候选序列,加大网络通信代价问题,提出了一种基于分布式环境下的快速挖掘全局序列模式算法--DMGSP.该算法将分布式环境下的各站点得到的局部序列模式压缩到一种语法序列树上, 避免了重复的序列前缀传输. 采用合并树中结点序列规则和项序扩展策略,对非频繁序列进行剪枝,有效地约简了候选序列,减少了网络传输量,从而快速生成全局序列模式.算法分析和实验结果表明,在大数据集环境下的DMGSP算法性能优越,能够有效地挖掘全局序列模式.     

一种改进的基于概念格的数据挖掘算法

为解决多维数据模型与关系数据模型之间的双向数据系统查询、数据清洗、数据转换、实现集中和分发数据的准确性与一致性等问题,通过对概念格的相关研究,将全局数据挖掘与局部数据挖掘相结合,提出一种改进的基于局部信息的全局概念格的数据挖掘算法,并将挖掘过程分解为ETL(Extraction-Transformation-Loading)动作,结合ETL处理工作流,实现并行分布式海量数据的时序挖掘。实验证明,该算法对增强数据加工能力具有一定的实用性。     

分布式环境下全局模糊频繁项目集的快速挖掘

为了解决模糊关联规则挖掘算法需要用户事先给定模糊集和相应隶属度函数的问题,提出基于分布式聚类自动生成模糊集及隶属度函数的算法GFAM.该算法利用分布式K-Means聚类算法对每个数值型属性进行聚类,求得聚类中心,由此构造全局模糊集,定义全局隶属度函数.DFAR算法根据构造的全局模糊集及隶属度函数进行分布式模糊频繁项目集的快速挖掘,采用全局-局部站点模式,其中包括局部模糊频繁项目集产生算法FLF和全局模糊频繁项目集产生算法FGF.实验结果表明,该算法能准确地生成全局模糊频繁项目集,在求解全局模糊频繁项目集过程中,传送局部模糊候选项目集支持数的通信量为O(n),提高了算法的挖掘效率.     

分布式全局最大频繁项集挖掘算法

提出一种分布式全局最大频繁项集挖掘算法(DMFI),该算法含局部挖掘与全局挖掘2个阶段。提出一个基于FP-tree的改进频繁模式树(IFP-tree)来存储数据信息。在局部挖掘阶段,先在各站点上分别建立该模式树,并使用有序方式存储频繁项目,然后,通过对各局部数据库的扫描,挖掘出局部最大频繁项集。在全局挖掘阶段,利用各局部数据库生成的最大频繁项集以及利用组通信播报消息的方式,从而挖掘出全局最大频繁项集的集合。对算法的实现以及在多种情况下进行测试。研究结果表明:DMFI算法具有较好的性能。     

一种改进的分布式关联规则挖掘算法

数据挖掘本质上是一种新的商业信息处理技术,通过对数据进行统计、分析、综合和推理,发现数据间的关联性、未来趋势以及一般性的概括知识,用以指导高级商务活动。由于需要,对数据间的关联性的数据挖掘算法模型已成为数据库及相关领域的一个研究热点,给出了一种基于分布式数据库的挖掘模型及其相应的一种有效的挖掘算法,其由若干个站点集合而成,各个站点拥有各自的数据库、中央处理机、客户端,以及各自的局部数据库管理系统,依靠通讯网络连接。采用购物篮分析式关联规则,将各个数据库文件的数据合成,从而得到挖掘结果,对挖掘的方法又进一步挖掘,即将不满足条件的规则重新传送到各分布式站点上进行更加精确的挖掘处理,从而避免了频繁的网络通讯。该算法在减轻网络频繁的通讯负担,体现并行计算以及异构数据挖掘方面具有独特优点。     

基于DWLMS模型的分布式Web用户访问模式挖掘

大型网站为了提高访问效率,通常建立多个镜像站点,这导致获取网站全局的用户访问模式知识变得困难.该文提出一种分布式Web日志挖掘模型DWLMS,并以路径分析技术为例,提出了基于DWLMS的局部频繁路的更新算法LFP和全局频繁路径的更新算法GFP,解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难.对提出的算法进行了实现和实际日志数据的测试,结果证明了算法的有效性.     

一种基于密度的分布式聚类算法

对基于密度的分布式聚类算法DBDC（density based distributed clustering）进行改进,提出了一种基于密度的分布式聚类算法DBDC＊.该算法在局部筛选代表点时结合贝叶斯信息准则BIC,得到少量精准反映局部站点数据分布的BIC核心点,有效降低了分布式聚类过程中的数据通信量,全局聚类时综合考虑了各站点数据的分布情况.实验结果表明,算法DBDC＊的效率优于DBDC,聚类效果好.     

分布式数据库关联规则更新算法

提出了一种分布式关联规则增量更新算法（IUAAR），它可对数据库发生变化的情况进行归类．该算法主要采用改进了的FP树结构，通过传送被约束子树来挖掘全局频繁项目集，并充分利用快速分布式挖掘算法建立的各局部FP树，只对新增加了的全局频繁项目修改相应的改进FP树，挖掘其对应的被约束子树，同时利用已挖掘的全局频繁项目集对原全局频繁项目对应的被约束子树进行有效修剪．实验结果表明，该算法的运算速度比快速分布式挖掘算法提高了1倍，在最坏的情况下，对各局部数据库也仅需要扫描一遍，从而可提高数据库的维护效率．     

分布式环境下全局模糊频繁项目集的快速挖掘

为了解决模糊关联规则挖掘算法需要用户事先给定模糊集和相应隶属度函数的问题，提出基于分布式聚类自动生成模糊集及隶属度函数的算法GFAM．该算法利用分布式K—Means聚类算法对每个数值型属性进行聚类，求得聚类中心，由此构造全局模糊集，定义全局隶属度函数．DFAR算法根据构造的全局模糊集及隶属度函数进行分布式模糊频繁项目集的快速挖掘，采用全局一局部站点模式，其中包括局部模糊频繁项目集产生算法FLF和全局模糊频繁项目集产生算法FGF．实验结果表明，该算法能准确地生成全局模糊频繁项目集，在求解全局模糊频繁项目集过程中，传送局部模糊候选项目集支持数的通信量为O（n），提高了算法的挖掘效率．