基于属性相关的朴素贝叶斯分类算法

朴素贝叶斯分类器是一种简单、高效的分类算法,它以贝叶斯定理和最大后验假设为理论基础,然而朴素贝叶斯分类器属性之间相互独立的假设,影响了朴素贝叶斯分类器的性能.提出先使用基于相关的属性选择算法进行属性选择,然后在选择的属性集上,用朴素贝叶斯分类器对数据集进行分类.实验证明,与未使用属性选择的实验结果相比,使用基于相关的属性选择算法进行属性选择后,朴素贝叶斯分类器平均分类正确率提高,分类效率显著提升.     

基于Foley-Sammon变换的朴素贝叶斯分类器

朴素贝叶斯分类器在机器学习领域中一种重要的分类算法,但是该算法的前提是:要求数据集在给出分类属性的情况下,其他属性之间是独立的。根据这个前提,利用Foley-Sammon变换算法进行特征提取,提出了一种基于Foley-Sammon变换的朴素贝叶斯分类器NBFST(Naive Bayesian classifier with Foley-Sammon Transform)。实验表明,NBFST能够在大多数数据集上具有较高的分类准确率。     

面向高维数据PCA-ReliefF的EP模式分类算法

针对高维数据集,文中提出一种PREP( PCA-ReliefF for EP)算法:首先采用PCA和ReliefF算法实现特征降维;然后利用EP模式思想,构造精度更高、规模更小的EP模式分类器;最后利用标准数据集对文中的方法进行测试.实验结果表明,在对高维数据进行分类时,该方法构造的分类器在预测精度和运行时间上均有较大幅度的提升.     

基于粗糙集理论的贝叶斯网络分类算法

面对生活中数据信息量大的问题,常使用粗糙集对数据进行知识约简,消除数据中冗余的部分。但大多数研究没有考虑约简后对原有分类的影响;常使用的朴素贝叶斯算法又难以获得其先验概率。基于上述问题,本文提出了一种基于粗糙集的贝叶斯分类算法：首先利用粗糙集中决策属性和条件属性之间的依赖关系,进行属性约简,消除冗余的数据,然后通过贝叶斯算法对约简后的数据进行知识挖掘,最后通过对故障源数据的对比分析。该方法既避开了朴素贝叶斯算法对先验概率的要求,又使得数据分类和预测能力有了明显提升。     

最大相关最小冗余限定性贝叶斯网络分类器学习算法

朴素贝叶斯分类器 (naive bayes) 是一种简单而有效的基于贝叶斯思想的分类方法,但它的属性条件独立性假设并不符合实际,影响了它的分类性能。BAN (bayesian network augmented naive bayes) 分类器扩展了朴素贝叶斯分类器,使其表示属性之间依赖关系的能力增强,但是其学习算法需要大量的高维计算,在小采样数据集上,影响BAN分类器的分类性能。基于改进的最大相关最小冗余特征选择技术,提出限定性贝叶斯网络分类器学习算法 (k-BAN)。本算法使用改进的最大相关最小冗余特征选择技术,通过选择属性结点的连接关系集合建立属性之间的依赖性关系。将该分类方法与NB,TAN和BAN分类器进行实验比较。实验结果表明,在小采样数据集上,本算法获得的限定性贝叶斯网络分类器具有更高的分类准确性。     

关系学习中贝叶斯分类算法的比较研究

数据分类是数据挖掘的主要内容之一,通过分析训练数据样本,产生关于类别的精确描述.贝叶斯分类是数据挖掘领域中一种常用的有效分类方法.在关系学习中,贝叶斯分类算法有很多种,对这些算法进行总结、比较,指出其优点与不足,对提高分类效率有很大帮助.本文对已有的关系学习中贝叶斯分类算法作了详细的比较,并进行归纳总结.在单关系学习中重点介绍了几种基于粗糙集的贝叶斯分类器和加权贝叶斯分类算法,并分析了各种方法的模型、权值确定方法、优缺点及进一步工作方向.在多关系学习中主要比较了几种基于语义关系图的贝叶斯分类算法,重点介绍了MI-MRNBC模型.最后对本文工作进行了总结与展望,提出进一步工作方向是研究基于粗糙集的多关系贝叶斯分类算法.     

一种基于遗传算法的加权朴素贝叶斯分类算法

朴素贝叶斯算法因其分类精度高、模型简单等优点而被得到普遍应用,但因为它需要具备很强的属性之间的条件独立性假设,使得其在实际分类学习中很难实现.针对这个缺点,提出了一种基于遗传算法的加权朴素贝叶斯分类算法(G_WNB).该算法将遗传算法(GA)与加权朴素贝叶斯分类算法(WNB)相结合,首先使用基于Rough Set的加权朴素贝叶斯分类算法,综合信息论与代数论给出的属性权值求解方法,计算出每个属性的权值,以初始权值作为初始种群,加权朴素贝叶斯的分类正确率为适应度函数,采用遗传算法优选,以使适应度函数最高的权值为数据集的最终权值,最后使用G_WNB进行分类.实验表明,该算法提高了分类准确率,同时提高了朴素贝叶斯分类器的性能.     

基于相关系数的加权朴素贝叶斯分类算法

朴素贝叶斯分类算法的条件独立性假设在很少情况下能够满足,为了克服该问题,提出了一种基于相关系数的加权朴素贝叶斯分类模型.通过计算条件属性和决策属性之间的相关系数,对不同的条件属性赋予不同的权重,从而在保持简单性的基础上有效地提高了朴素贝叶斯算法的分类性能.首先给出了基于相关系数的属性权值求解方法,然后描述了相应的算法,并对算法原理进行了分析与证明.通过在中医小儿肺炎病例数据集和UCI数据集上的仿真实验,验证了该方法的有效性.     

一种局部属性加权朴素贝叶斯分类算法

朴素贝叶斯模型具有的简单性和有效性,使其在诸多问题领域表现出优良的性能,但其属性条件独立性假设在实际应用中难以成立.而属性加权是降低属性条件独立性假设对分类器性能影响的主要途径.传统建立在整个数据集上的单一全局模型忽略了每个测试实例所具有的特点,同时从整个训练集上学习到的属性权重并不能准确反映每个属性对待分类实例的影响.为此提出一种基于数据驱动的懒惰式局部属性加权方法,它在每个测试实例的近邻集合上学习属性权重,并通过最优化方法建立相应的局部属性加权朴素贝叶斯模型.实验结果表明:和当前常见的准朴素贝叶斯模型相比,本文模型具有较高的分类准确率.     

基于Nesterov平滑的高阶路径朴素贝叶斯文本隐式分类研究

为提高电子文本分类效果,解决独立同分布模型在标记数据不足时存在的参数估计问题,提出了一种基于Nesterov平滑的高阶路径朴素贝叶斯文本分类算法.首先,利用传统意义的朴素贝叶斯事件模型构建高阶路径形式的文本分类模型,利用高阶路径中的隐式链接信息来提高文本分类模型的性能;其次,针对朴素贝叶斯事件模型中采用拉普拉斯平滑的二阶差分过程容易产生信息丢失、噪声增强的问题,提出基于Nesterov平滑的高阶路径朴素贝叶斯文本分类改进算法;最后,通过基准数据集和图书馆电子文本分类实验,验证了所提算法的有效性.     

一种改进的最大相关最小冗余选择性贝叶斯分类器

利用K均值聚类和增量学习算法扩大训练样本规模,提出一种改进的mRMR SBC.一方面,利用K均值聚类预测测试样本的类标签,将已标记的测试样本添加到训练集中,并在属性选择过程中引入一个调节因子以降低K均值聚类误标记带来的风险.另一方面,从测试样本集中选择有助于提高当前分类器精度的实例,把它加入到训练集中,来增量地修正贝叶斯分类器的参数.实验结果表明,与mRMR SBC相比,所提方法具有较好的分类效果,适于解决高维且含有较少类标签的数据集分类问题.     

基于权值调整的文本分类改进方法

文本分类是文本挖掘的基础与核心 ,可广泛应用于传统的情报检索和 Web信息的检索与挖掘等。提出了一种利用权值调整思想对向量空间法 (VSM)和朴素 Bayes分类器 (NBC)进行改进的文本分类方法 ,并探讨了利用 EM算法进行无导师 Bayes分类的方法 ,设计和实现了一个中英文文本分类系统 CZW。 3组实验数据表明 ,用某些评估函数调节单词权值可有效提高 VSM和 NBC等文本分类模型的精度 ,并且训练文本规模越大 ,改进的效果越明显。 NBC的分类精度最高可达 86 %。     

改进的EM算法及其在防洪决策中应用

在给定贝叶斯网络结构情况下,利用EM算法及改进的EM算法对防洪决策贝叶斯网络进行参数学习,改进的EM算法通过定义祖先集及计算该祖先集中变量的条件概率,降低期望计算的计算量．应用两种算法对防洪决策贝叶斯网络进行了性能比较,结果表明,改进的EM算法用于贝叶斯网络参数学习和决策支持具有较高的计算速度和精确度．     

基于提升的BAN组合分类器

提升是一种有效的分类器组合方法,它能够提高不稳定学习算法的分类性能,但对稳定的学习算法效果不明显.BAN(BN augmented Nave-Bayes)是一种增强的贝叶斯网络分类器,通过提升很容易提高其分类性能.文中比较了GBN(general BN)和BAN的打包分类器Wrapping-BAN-GBN与基于提升的BAN组合分类器Boosting-BAN,最后通过实验结果显示了在大多数实验数据上,Boosting-BAN分类器显示出较高的分类正确率.     

基于马尔可夫毯的贝叶斯网络结构学习算法

贝叶斯网络图结构的自动学习是机器学习中的一个挑战,针对传统算法学习效率低、难于去除冗余边及确定结构中边的方向等问题,提出了一种基于马尔可夫毯的贝叶斯网络结构学习算法.该算法改进了经典的马尔可夫毯学习算法,使之减少条件独立检验次数,并在后续确定有向结构方面更适应贝叶斯网络结构学习,同时给出了两种有向边方向确定的一般性解决方案,有效提高了学习算法的学习效率.最后建立了基于贝叶斯网络的互联云QoE评价模型,并进行了仿真实验,结果表明改进后的学习算法在预测准确率、学习效率上均优于传统算法.     

结构化EM算法在小样本贝叶斯网络学习中的应用

在贝叶斯网络学习中,合理数据集的存在可以大大降低贝叶斯网络学习对知识工程的过多依赖.但当数据集中样本数量不够大时,可能没有足够多的样本甚至不存在样本来代表变量间的某些条件独立关系,从而无法学习贝叶斯网络.将数据集修正与结构化-期望最大化算法相结合,得到一种有效的小样本上贝叶斯网络学习的方法,实验结果表明,该方法能够有效地进行小样本上贝叶斯网络学习.     

贝叶斯分类器集成的增量学习方法

针对基于决策树和神经网络的增量学习算法的过量匹配和分类精度有限的缺点,提出了一种基于贝叶斯分类器集成的增量学习方法.综合朴素贝叶斯的增量分类和集成的增量学习方法,采用随机属性选择训练初始SBC(simple Bayesian classifiers),通过判断是否带有类别标签,将增量样本自动分组,并利用遗传算法对结果进行优化.实验结果表明,贝叶斯分类器集成的增量学习方法有效.     

学习贝叶斯网络结构的混合粒子群算法

 针对直接使用粒子群算法进行结构学习效率较低的缺陷,基于无约束优化,提出一种贝叶斯网络结构学习的混合粒子群算法。该算法首先构造并求解一无约束优化问题,其最优解对应的无向图中的边可为结构学习提供一搜索范围,缩小粒子群算法的搜索空间,然后在缩小的空间中完成对贝叶斯网络的结构学习,从而提高了粒子群算法的学习效率。仿真试验结果表明,该混合粒子群算法可以快速、准确地学习到最优贝叶斯网络结构。     

贝叶斯网络结构学习的双重K2算法

贝叶斯网络源于人们对人工智能领域不确定性问题的研究,是进行不确定问题推理和数据分析的重要工具。结构学习是贝叶斯网络研究的核心内容,K2算法是结构学习的经典算法之一。为解决K2算法学习效果强烈依赖于节点序的问题,本文提出一种新的混合结构学习算法：双重K2算法。该算法首先将节点信息作为初始节点序,通过K2算法的搜索策略得到初始网络结构;然后在初始网络结构上利用拓扑排序得到修正后的节点序;最后K2算法通过修正后的节点序学习得到最优的网络结构。通过实验验证,在精度和效率上,双重K2算法效果优于其它经典算法。     

基于机器学习的数据库小数据集并行集成方法

为了解决传统方法不能按照训练样本量设计最优网络模型,集成效率低的弊端,通过机器学习方法研究数据库小数据集并行集成方法。机器学习选用朴素贝叶斯算法,依据条件独立性假设,通过计算目标先验概率,采用贝叶斯定理求出其后验概率,对后验概率进行比较,完成决策分类,对基分类器进行训练,把不同朴素贝叶斯基分类器当成集成分类器,在原始数据库上对基分类器进行训练,依据分类结果对数据库中小数据集样本分布进行调整,将其当成新数据集对基分类器进行训练,按照基分类器的表现,通过加权将其组合在一起,产生强分类器,实现对数据库小数据集的集成处理。通过MapReduce并行处理完成并行数据集成,输出并行集成结果。通过仿真实验与实例分析验证所提方法的有效性,结果表明:所提方法在训练样本规模相同的情况下有最高的分类精度和最小的波动,在不同集成规模下的分类精度一直最高,波动最小;所提方法可达到数据的最优集成,数据失效比降低,合成比提高。可见所提方法集成精度高,计算稳定性强,集成效果好,效率优。