关联规则挖掘的一种多剪枝概念格方法

多数据源上关联规则挖掘方法,由于各数据节点间相互通信的候选项集数目过于庞大或者挖掘过程需要对数据库进行多次扫描,导致挖掘算法效率不高。研究剪枝概念格(pruned con-cept laffice,PCL)中概念与频繁项集表示关系,定义剪枝格上的导出频繁项集,设计了一个利用多剪枝概念格从多数据源上挖掘近似所有关联规则的算法UMPCL(union algorithm of multiplepruned concept lattice)。利用一个频繁概念表示一些频繁项集以减少挖掘过程中产生的侯选项集数,使用与全局支持度相等的局部支持度对各子概念格进行剪枝,最后融合、剪枝各子剪枝格并提取全局关联规则。理论分析和实验验证表明该算法是有效的。     

一种存在全局站点的分布式增量挖掘算法

随着互联网技术的快速发展与普及,尤其是Web2.0时代的来临,网络数据量与日俱增.对新增数据进行挖掘成为数据挖掘领域研究的热点之一.基于存在全局站点的分布式数据挖掘思想,提出了一种存在全局站点的分布式增量挖掘算法.首先对局部站点的增量数据进行全局挖掘,有效减少了局部站点对原有数据的扫描次数;然后在全局站点采用新的剪枝策略,极大地降低了产生的候选集数量;最后通过实例验证了所给算法切实可行,并具有较好的挖掘效率.     

基于概念格的web log分布式挖掘算法

提出一种有效的基于概念格的分布式挖掘算法,重点讨论由部分量化规则格提取的部分关联规则的合并技术,由于能对已存在关联规则的再利用,从而更有利于用概念格来挖掘关联规则.该算法根据对局部关联规则挖掘结果的分布式合成,有利于减轻网络频繁的通讯负担,体现并行计算、异步异构数据挖掘的优点.     

融合变精度粗糙熵和协同进化的概念格挖掘算法

为解决概念格挖掘优化问题,借鉴变精度粗糙集模型和协同进化思想,提出了融合变精度粗糙熵和全局粒子群的概念格协同挖掘算法(REVPT).该算法引入变精度粗糙熵对各概念格子群动态度量建立粗糙近似格,并通过种群之间协作共享寻优经验提高概念格的全局挖掘优化能力,有效缩减原格群规模并挖掘出一致粗糙分类规则.实验结果表明,当变精度粗...     

一种决策形式背景中挖掘决策规则的新方法

针对大规模决策形式背景中决策规则的提取问题,提出了一种将频繁闭项集与决策形式背景相结合以提取无冗余决策规则的新算法.该算法结合了深度优先搜索的思想以及概念格中概念节点之间的父子关系,改进了概念格中频繁闭项集的挖掘算法,得到的频繁决策概念格实现了对一定规模的数据库的压缩,同时得到无冗余决策规则.算法分析表明,该算法复杂度较低,更适用于大规模数据集中挖掘无冗余决策规则.     

基于扩展粗糙集模型的近似概念格规则挖掘研究

粗糙集和概念格是两种不同的知识发现和数据挖掘有效工具,已被广泛应用于许多领域.在对粗糙集和概念格基本理论研究基础上,提出了利用扩展粗糙集模型对概念格近似使其得以改进,即在概念格中引入β-多数蕴涵关系实现概念格中结点近似合并以及近似概念格(ACL)的构建,由此提出概念格粗糙近似和规则挖掘算法(LCBA).最后通过UCI机器学习数据库相关测试表明该算法的可行性和有效性.     

校园一卡通数据分析系统的设计与实现

随着大数据时代的到来,数据挖掘被广泛应用在企业、医院、学校、政府等领域.目前,大多数学校已经应用校园一卡通,随之产生了庞大的校园卡消费数据信息.通过对这些消费信息进行挖掘、统计、分析,就可以对学生的消费行为有一个整体的概念和规律性的了解,这样也能使学校更好更高效的为学生提供服务.本文主要针对校园卡消费数据来设计并实现校园一卡通的数据分析系统,主要使用了数据仓库、ETL、数据挖掘等技术,最后用可视化技术将分析的结果展示给用户.     

分布式全局最大频繁项集挖掘算法

提出一种分布式全局最大频繁项集挖掘算法(DMFI),该算法含局部挖掘与全局挖掘2个阶段。提出一个基于FP-tree的改进频繁模式树(IFP-tree)来存储数据信息。在局部挖掘阶段,先在各站点上分别建立该模式树,并使用有序方式存储频繁项目,然后,通过对各局部数据库的扫描,挖掘出局部最大频繁项集。在全局挖掘阶段,利用各局部数据库生成的最大频繁项集以及利用组通信播报消息的方式,从而挖掘出全局最大频繁项集的集合。对算法的实现以及在多种情况下进行测试。研究结果表明:DMFI算法具有较好的性能。     

MapReduce环境下基于概念分层的概念格并行构造算法

概念格是形式概念分析中的核心数据结构.对此提出运用划分分治和分层约束的方法研究MapReduce框架下概念格并行生成算法以有效地构造概念格.将形式背景按对象划分成外延独立子背景后并行计算子背景上的临时概念,融合各节点临时概念形成全局概念.全局概念按照各概念外延基数进行分层,通过分层约束计算概念父子节点的搜索范围和并行搜索各层概念的父子节点,进而构建概念格.算法基于MapReduce框架实现并在公共数据集上进行测试,实验结果表明,基于概念分层方法的概念格并行构造算法能够对大数据形式背景有效地进行处理.     

一种新颖的基于量化概念格的属性归纳算法

为了解决数据挖掘过程中挖掘的知识粒度过粗或过细问题，并利用概念格的偏序特性，提出了一种基于量化概念格的属性归纳算法．首先对概念格的外延进行量化，得到量化概念格，再根据概念格的哈斯图，采用概念的爬升进行相应的泛化，从而获得基于量化概念格的多层、多属性归纳．与面向属性归纳（AOI）算法相比较，结果表明所提算法不仅能实现AOI的单一属性归纳，还能进行多层、多属性的归纳，其属性泛化的路径不是惟一的，并且很容易在量化概念格的哈斯图中寻找合适的泛化路径和阈值，以此得到用户要求的、合理的属性归纳结果．