基于加权余弦相似度的XML文档聚类研究

在实际应用中,XML（eXtensible Markup Language）文档中的一些结构经常被改变。为了挖掘XML文档在历史变化过程中经常改变的结构所蕴含的知识,提出了发现频繁变化结构的方法。该方法用一组频繁变化结构组成的文档向量模型代表一个XML文档,将频繁变化结构在簇中的出现比例作为权值,使用加权余弦相似度对XML文档进行聚类。经过实验分析,根据XML文档历史变化过程中的频繁变化结构能较好地将XML文档进行聚类。用加权余弦相似度对XML文档进行聚类,其聚类结果的正确率、召回率和簇内部距离均优于使用非加权余弦相似度对XML文档进行聚类得到的结果。     

基于Web的数据挖掘在电子商务中的应用

Web数据挖掘应用于电子商务系统,已成为数据挖掘热点研究.Web服务器日志中保存了大量的用户访问电子商务系统的记录,运用数据挖掘技术对数据进行处理和分析,构造频繁访问路径挖掘算法,获取用户的购物特性和习惯,达到向每个用户推荐产品的目的,进一步指导电子商务网站建设.     

基于滑动窗口的数据流中近期频繁项挖掘

提出了一种在单独数据流中挖掘近期频繁项的算法MRFI。该算法采用基于对时间敏感的滑动窗口的模式,保证了挖掘结果的时效性,并利用循环队列和二叉排序树实现了简单高效的数据存储和处理,该方法是一种近似算法,它可以消除历史数据对挖掘结果的影响。实验采用IBM数据发生器产生合成数据,证明了该算法的有效性。     

基于双向十字链表的频繁项集挖掘

有效地进行频繁项挖掘一直以来都是数据挖掘任务中最为重要的组成部分。已有的大部分频繁项挖掘算法在数据项多及支持度低的情况下,算法的效率急剧下降。为了有效地解决此类问题,提出了一种采用双向十字链表结构的频繁项挖掘算法(two-way crossed list for frequent itemsets mining,TCLFI)。极大地降低了搜索空间,加快了频繁项的筛选过程,减少了所需保存的数据项个数,从而降低了时间复杂度,提高了频繁项的挖掘效率。实验通过真实数据集和合成数据集验证了算法的有效性和扩展性。     

基于兴趣度的数据流频繁模式散列挖掘算法

频繁模式挖掘是很多数据流挖掘工作的基础.现有算法虽然能够有效的在数据流中挖掘近似的频繁模式, 但是由于数据流数据的不确定性、连续性以及海量性, 始终不能有效的将算法的时间效率和空间效率控制在一个可以接受的范围内. 本文通过使用散列表作为概要数据的存储结构, 并引入关联规则兴趣度的概念, 提出了数据流频繁模式挖掘算法MIFS-HT(mining interesting frequent itemsets with hash table), 不仅有效降低现有算法的时空复杂度, 同时提高了算法的应用价值. 最后, 实验结果表明: MIFS-HT是一种高效的数据流频繁模式挖掘算法, 其性能优于FP-Stream、Lossy Counting等算法, 并且挖掘结果更具有现实意义.     

事务约简和2项集支持度矩阵快速剪枝的Apriori改进算法

在Apriori算法的改进算法M-Apriori基础上,为了进一步减少不必要的数据库扫描,引入事务约简技术,提出一种改进的MR-Apriori算法.考虑到M-Apriori算法会产生大量候选项集,为了实现对候选项集快速剪枝,加入一个自定义的2项集支持度矩阵,提出第2种改进的MP-Apriori算法.将事务约简和2项集矩阵快速剪枝一起引入到 M-Apriori算法中,提出第3种改进的MRP-Apriori算法.最后,在mushroom数据集上进行实验.结果表明:加入事务约简的MR-Apriori算法和加入2项集矩阵快速剪枝的MP-Apriori算法,运行时间相比原M-Apriori算法都有较大缩减,而同时结合两种优化策略的MRP-Apriori算法运行时间最短,验证了这两种优化策略的有效性.     

基于MapReduce的数据流频繁项集挖掘算法

针对传统数据流频繁项集计算中效率低、内存消耗大等问题,本文采用并行计算的思想设计了一种基于MapReduce的数据流频繁项集挖掘算法,首先,对进行数据分块压缩和传输,其次,将数据频繁项的计算分布在负载均衡的数据节点,可以有效保证数据的执行效率.最后通过一次调度处理合并各个节点产生的频繁项集并进行合并.理论分析和实验对比结果均表明,该算法对于并行处理数据流频繁项集的统计问题是有效可行的.     

概率频繁模式挖掘之U-apriori算法研究

不确定性数据的频繁项集挖掘的算法—U-apriori算法采用逐层迭代搜索方法,使用候选项集来找频繁项集.分析了U-apriori算法的流程和实现过程,并通过实验对比得出U-apriori算法花费较少时间和空间的优点,最后针对该算法的缺点提出了改进思路.结果表明:U-apriori算法是最佳概率频繁模式挖掘方法之一.     

基于频繁2-项集的贝叶斯分类器

针对NB分类方法中过于严格的独立性假设,应用频繁2-项集为分类测度,通过放宽独立性假设达到改善分类性能的目的.在训练阶段使用类似Apriori关联规则发现算法挖掘并建立频繁2-项集库,当测试新文档时,文档特征通过竞争搭配生成基于测试文档的频繁2-项集序列,优先选择类词频率和置信度综合评分最高的频繁2-项集进入概率估算过程,并用频繁2-项集的综合评分置换NB的单项特征概率估计.在不同数据集的实验中显示,基于频繁2-项集的贝叶斯分类器(TIB)的分类精度整体上好于NB分类器,是一种有效的分类方法.     

Apriori优化算法在临床数据挖掘中的应用分析

频繁项集的生成是关联规则挖掘中的关键问题,本文提出了一种基于无向项集图的频繁项集挖掘算法。应用优化算法对病人就诊数据进行挖掘分析,与传统的频繁项集挖掘算法相比,优化算法在执行效率上有明显的提高,对临床实践研究提供有价值的指导意见。