贝叶斯分类器的集成学习方法及其在图像标注中的应用

针对贝叶斯(Naive Bayes,NB)分类器的集成学习方法,研究如何提高分类器集成中各成员分类器之间的多样性,同时提高分类器系统准确率。实现方法是把训练集的所有属性特征划分特征子集,并处理所划分的属性特征子集,最后为每个成员分类器构造出不同的完整特征属性训练集。研究结果表明采用的NB集成方法(Ensemble ofNaive Bayes,ENB)提高了分类性能,把ENB机器学习方法应用到自动图像标注中也获得了很好的效果。     

混合式朴素贝叶斯分类模型

为了降低朴素贝叶斯分类模型的独立性假设约束,提出一种混合式朴素贝叶斯分类模型(MBN:Mixed Naive Bayes)。通过分析贝叶斯定理,把条件属性集合划分成若干个独立的属性子集,用树增广朴素贝叶斯分类对属性子集分别进行分类学习,通过公式进行整合。将该模型算法与朴素贝叶斯及树增广朴素贝叶斯进行实验比较,实验结果表明MBN分类器在多数数据集上具有较高的分类正确率。     

基于粗集的贝叶斯分类器算法

C^3I系统在解决威胁度估计等问题时，应根据环境恰当确定影响威胁度等指标的诸属性，提出了基于粗集的贝叶斯分类器算法，该算法在基于粗集的属性约简方法的基础上，综合考虑条件属性和决策属性间的依赖性以及条件属性间的依赖性对约简的影响，通过基于依赖性的属性约简，改善属性变量间独立性限制，发挥贝叶斯分类器的鲁棒性潜能，优化贝叶斯分类器性能，实验证明该方法解决威胁度估计等C^3I系统中的问题，效果良好。     

基于属性相似度的云分类器

提出了属性相似度概念解决高维对象分类的权重问题,并结合云理论建立了基于属性相似度的云分类器.采用云理论建立训练集的各属性模型,表达各属性值隶属于其类别中心Ex的程度.分类模型由属性模型集成得到,属性权重根据属性相似度计算.各类别的同一属性间的相似度越大,此属性对分类的作用越小.基于粒子群优化方法对分类模型的中心位置Ex进行优化.将此分类器与普通云分类器应用于iris数据集的分类实验,该分类器的分类效果好于后者.     

基于机器学习的数据库小数据集并行集成方法

为了解决传统方法不能按照训练样本量设计最优网络模型,集成效率低的弊端,通过机器学习方法研究数据库小数据集并行集成方法。机器学习选用朴素贝叶斯算法,依据条件独立性假设,通过计算目标先验概率,采用贝叶斯定理求出其后验概率,对后验概率进行比较,完成决策分类,对基分类器进行训练,把不同朴素贝叶斯基分类器当成集成分类器,在原始数据库上对基分类器进行训练,依据分类结果对数据库中小数据集样本分布进行调整,将其当成新数据集对基分类器进行训练,按照基分类器的表现,通过加权将其组合在一起,产生强分类器,实现对数据库小数据集的集成处理。通过MapReduce并行处理完成并行数据集成,输出并行集成结果。通过仿真实验与实例分析验证所提方法的有效性,结果表明:所提方法在训练样本规模相同的情况下有最高的分类精度和最小的波动,在不同集成规模下的分类精度一直最高,波动最小;所提方法可达到数据的最优集成,数据失效比降低,合成比提高。可见所提方法集成精度高,计算稳定性强,集成效果好,效率优。     

基于属性聚类的网站集成检测及统计分析

收集大量网站的包含30个特征属性的数据,用k-means属性聚类方法将特征属性划分为不同类别,利用不同类别中的属性数据训练基础分类器,通过集成各基础分类器的结果对未知网站进行预测.采用简单投票和贝叶斯投票对结果进行组合预测,结果表明,k-means属性聚类方法大大增加了基础分类器的差异性,提高了分类检测的精度,其中基于贝叶斯投票策略的集成模型具有很高的检测精度.     

最大相关最小冗余限定性贝叶斯网络分类器学习算法

朴素贝叶斯分类器 (naive bayes) 是一种简单而有效的基于贝叶斯思想的分类方法,但它的属性条件独立性假设并不符合实际,影响了它的分类性能。BAN (bayesian network augmented naive bayes) 分类器扩展了朴素贝叶斯分类器,使其表示属性之间依赖关系的能力增强,但是其学习算法需要大量的高维计算,在小采样数据集上,影响BAN分类器的分类性能。基于改进的最大相关最小冗余特征选择技术,提出限定性贝叶斯网络分类器学习算法 (k-BAN)。本算法使用改进的最大相关最小冗余特征选择技术,通过选择属性结点的连接关系集合建立属性之间的依赖性关系。将该分类方法与NB,TAN和BAN分类器进行实验比较。实验结果表明,在小采样数据集上,本算法获得的限定性贝叶斯网络分类器具有更高的分类准确性。     

基于贝叶斯模型组合的随机森林预测方法

为了能够精准可靠地估计太阳能辐照度,本文提出一种基于贝叶斯模型组合的随机森林算法用于太阳能辐照度预测.首先,引入K-means聚类和K折交叉验证将气象数据训练集生成多个训练子集,以增加训练子集的多样性并保证均匀采样.其次,将随机森林作为基学习器建立集成学习预测模型,导入训练子集并训练各个随机森林.之后,依据各个随机森林在验证集上的预测性能,采用贝叶斯模型组合算法制定组合策略.个体随机森林在测试集上的预测值经过模型组合策略得到最终输出.最后,基于气象实测数据建立仿真实验,并引入其他四种预测方法进行对比仿真研究,通过实验结果验证了文中所提出预测方法在太阳能辐照度预测问题中的准确性和可靠性.     

基于属性相关的朴素贝叶斯分类算法

朴素贝叶斯分类器是一种简单、高效的分类算法,它以贝叶斯定理和最大后验假设为理论基础,然而朴素贝叶斯分类器属性之间相互独立的假设,影响了朴素贝叶斯分类器的性能.提出先使用基于相关的属性选择算法进行属性选择,然后在选择的属性集上,用朴素贝叶斯分类器对数据集进行分类.实验证明,与未使用属性选择的实验结果相比,使用基于相关的属性选择算法进行属性选择后,朴素贝叶斯分类器平均分类正确率提高,分类效率显著提升.     

基于属性相关性分析的扩展朴素贝叶斯分类器

朴素贝叶斯分类作为一种统计分类的方法,简单高效,但它是建立在属性独立性假设的基础上,有一定的局限性,影响了它的分类效果.x2统计是一种度量属性相关性的方法,通过属性相关的分析,可以对属性进行约简,去除冗余和无关属性,达到简化朴素贝叶斯分类器的目的.朴素贝叶斯分类器的扩展方法是在非类父子结点之间添加扩展弧,表示相关属性间的依赖关系,从而扩展朴素贝叶斯分类器的结构.在数据集上的实验结果显示,KEANBC分类器优于NBC分类器,提高了分类正确率.     

贝叶斯分类器集成的增量学习方法

针对基于决策树和神经网络的增量学习算法的过量匹配和分类精度有限的缺点,提出了一种基于贝叶斯分类器集成的增量学习方法.综合朴素贝叶斯的增量分类和集成的增量学习方法,采用随机属性选择训练初始SBC(simple Bayesian classifiers),通过判断是否带有类别标签,将增量样本自动分组,并利用遗传算法对结果进行优化.实验结果表明,贝叶斯分类器集成的增量学习方法有效.     

特征空间中的边缘检测及样本选择

将子空间分类法拓展到特征空间后，与核主成分分析结合提出了一种边缘检测的方法及其训练样本选择策略。是基于特征空间中的核方法，对图像特征表达建立了统一的模型，可处理非高斯分布的数据。可与经典的边缘检测算子或其他方法相结合，增强边缘检测的效果和稳定性。只需训练一次，便可将边缘特征从一幅与训练图完全不同的测试图中提取出来。实验结果表明，对噪声有很好的鲁棒性，能很好地适应小样本训练，其边缘检测的效果明显比经典算子，主成分分析，非线性主成分分析的效果好。     

基于核主元分析与支持向量机的监控诊断方法及其应用

为了及时反映密闭鼓风炉冶炼过程状态,实现对密闭鼓风炉炉况的监控与诊断,提出核主元分析和多支持向量机分类的相结合的过程监控与故障诊断方法.其原理是:首先,用核主元分析方法提取过程数据特征,建立核主元分析的监控模型;然后,将代表过程特征的核主元送入多支持向量机分类器中,利用"一对其余"算法对故障进行诊断与分类.实验结果表明,所提出的方法与传统的主元分析方法相比,整个样本集的可分性变大,分类正确率提高,能更准确地诊断炉子的各种故障,可有效地用于密闭鼓风炉冶炼过程的故障诊断.     

基于贝叶斯网络分类器的车牌相似字符识别

相似字符识别率低会影响整个车牌识别系统的性能,而相似字符之间只有局部特征差异较大,并且相似字符样本数目多少差异较大,目前常用的分类器表现得都不稳定.贝叶斯网络分类器充分利用和综合先验知识与样本信息,无论实验样本和特征数目多少,表现得都很稳定.通过使用几千个测试样本对分类器进行测试,并与其他分类器的识别结果作比较.实验结果表明,在相同的特征下,与AdaBoost分类器、BP神经网络分类器、SVM分类器相比,贝叶斯网络分类器对车牌相似字符的识别有较高的识别率和更高的稳定性.     

原点无关最近特征分类器及在人脸识别的应用

受最近特征线分类器的基本设计思想启发，将最近邻法向平面和空间推广，提出了原点无关最近特征平面和原点无关最近特征空间分类器．与最近特征平面、最近特征空间分类器相比，原点无关最近特征分类器最大的优势就在于其定义的特征子空间不依赖于原点位置，而仅由同模式的若干个特征点决定．这种定义提高了相应的模式相似性度量的合理性与有效性．以人脸识别为例，对多种分类器的性能进行比较．实验结果表明，原点无关最近特征分类器在识别率、稳定性等方面均优于同阶的最近特征分类器．     

基于多重假设检验市长公开电话文本的自动分类

提出一种基于多重假设检验的特征加权朴素贝叶斯分类算法, 该算法通过特征选择方法得到多个特征词集合, 再按多重假设检验错误率为每个特征词集合配以不同的权重系数并参与到分类器的构建中. 该方法已经应用到市长公开电话的文本分类中, 通过构建的3个特征加权朴素贝叶斯分类器实现了投诉文本的计算机自动分类, 且相对传统方法提高了分类器的效率和精度.     

基于粗糙集理论和BP神经网络的文本自动分类方法研究

结合粗糙集的属性约简和神经网络的分类机理，提出了一种混合算法. 首先应用粗糙集理论的属性约简作为预处理器，把冗余的属性从决策表中删去，然后运用神经网络进行分类. 这样可以大大降低向量维数，克服粗糙集对于决策表噪声比较敏感的缺点. 试验结果表明，与朴素贝叶斯、SVM、kNN传统分类方法相比，该方法在保持分类精度的基础上，分类速度有明显的提高，体现出较好的稳定性和容错性，尤其适用于特征向量多且难以分类的文本.     

基于贝叶斯网络的分类器研究

研究了贝叶斯分类器家族中具有代表性的分类器，即朴素(naIve)贝叶斯分类器、贝叶斯网络分类器和TAN(tree augmented Bayesian)分类器；发现属性变量之间的依赖相对于属性变量与类变量之间的依赖是可以忽略的，因此在所有树形分类器中TAN分类器是最优的．     

基于特征提取和最优加权集成策略的风机叶片结冰故障检测

针对风机叶片结冰检测中现有集成方法不能充分发挥不同个体分类器优势的问题,提出了一种基于特征提取和最优加权集成学习的叶片结冰检测模型。首先,用堆叠降噪自动编码器提取结冰关联特征后,考虑不同单一分类器在二分类应用中的表现及其差异,选择随机森林、极限梯度提升树、轻量梯度提升机、K-近邻算法作为个体学习器,并用贝叶斯算法对其进行超参数优化。然后提出基于序列二次规划的最优加权集成策略对叶片状态进行判别。最后利用金风科技提供的15号和21号风机的历史数据进行了仿真实验,结果表明：所提出的检测模型与个体学习器及其他集成模型相比多项指标均有所提升,准确度达到了99.2%,在结冰检测方面具有一定的有效性。