贝叶斯分类器集成的增量学习方法

针对基于决策树和神经网络的增量学习算法的过量匹配和分类精度有限的缺点,提出了一种基于贝叶斯分类器集成的增量学习方法.综合朴素贝叶斯的增量分类和集成的增量学习方法,采用随机属性选择训练初始SBC(simple Bayesian classifiers),通过判断是否带有类别标签,将增量样本自动分组,并利用遗传算法对结果进行优化.实验结果表明,贝叶斯分类器集成的增量学习方法有效.     

基尼指数结合K均值聚类的协同训练算法

【目的】针对在标准协同训练中不具有充分冗余的视图分割,致使分类器错误累计过多,以及一对基分类器标记样本类别不一致的问题,提出了基尼指数结合K均值聚类的协同训练算法。【方法】该算法首先计算已标记样本中各特征的基尼指数,将该指数升序排列后均等划分到两个视图,然后在基分类器所标记的样本中,运用K均值聚类确定标记不一致样本的类别后加入标记样本。【结果】通过9个UCI数据集在3组实验上的结果表明,所提算法相较于对比算法提升了分类效果。【结论】运用基尼指数均等划分关键特征于两个视图,有利于改善视图分割不充分冗余的缺陷;K均值聚类法对分类不一致样本进行重新标记,降低了协同训练算法中的误标记率。     

基于核均值漂移聚类的改进局部协同训练算法

【目的】针对协同训练算法不能直接应用于单视图数据，且在迭代过程中加入的无标记样本隐含有用信息不够的问题，提出基于核均值漂移聚类的改进局部协同训练算法。【方法】该算法先在有标记样本集中利用改进局部协同训练算法训练一个完整视图分类器h1，同时挑选出价值高的特征子集来训练局部视图分类器h2，然后在无标记样本集中采用核均值漂移算法选择聚类过程中指定带宽范围内的样本，交由分类器h2标记类别后再加入分类器h1的训练中，以此来优化分类模型。【结果】在UCI数据集上的3组对比实验证明了该算法的有效性，实验结果表明该算法具有更高的模型评价能力。【结论】改进局部协同训练算法将数据集划分为局部视图和完整视图，解决了单视图数据的视图划分问题。利用核均值漂移算法选出较好表现数据空间结构的无标记样本，降低了无标记样本带来的误差。     

基于蚁群SVDD和聚类方法的旋转机械故障诊断

摘要：
针对典型故障样本缺乏而使常规机器学习方法无法直接应用的难题,提出了一个基于支持向量数据描述（SVDD）新异类检测与基于Davies Bouldin指数（DBI）的K均值聚类方法相结合的旋转机械故障诊断框架.首先,针对正常状态样本建立SVDD模型,并利用蚁群算法对SVDD模型参数进行优化;然后,当拒绝样本数目累积到设定的阈值时,利用K均值聚类方法对其进行处理而获得能够进行标记的类别,其中,K均值聚类的类型数目由DBI辅助确定;最后,针对所标记的各类样本,分别建立SVDD模型并进行训练,将SVDD分类器按照二叉树形式构建系统状态的完整诊断模型.同时,利用滚动轴承多故障模式样本进行训练测试,以验证所提出算法的有效性.结果表明,所提出算法的训练速度为常规网格搜索算法的近10倍,DBI能够有效确定聚类的数目,对样本状态的识别率达到100%. 关键词：
蚁群支持向量数据描述; K均值聚类; Davies Bouldin指数; 旋转机械; 故障诊断 中图分类号： TP 183
文献标志码： A     

基于聚类和SVM的数据分类方法与实验研究简

提出一种新的数据分类方法,K-均值聚类分组支持向量机(CG-SVM)方法,在不删减任何样本信息的情况下,该方法使用轮廓系数作为类分离度量参数对数据的正、负类样本进行聚类、分组,对小组进行交叉结合训练,得到不同的SVM分类器,根据测试样本到聚类中心欧氏距离的加权来选择合适的SVM分类器进行类别判断,该方法实现了一个二分类问题转化为多个细分的二分类过程,效果由差变好.对所提方法分别进行了仿真数据和实际数据分类实验.实验结果表明,与传统的SVM方法相比,该算法可以有效地提高分类的准确率.     

基于聚类和SVM的数据分类方法与实验研究

提出一种新的数据分类方法,K-均值聚类分组支持向量机(CG-SVM)方法,在不删减任何样本信息的情况下,该方法使用轮廓系数作为类分离度量参数对数据的正、负类样本进行聚类、分组,对小组进行交叉结合训练,得到不同的SVM分类器,根据测试样本到聚类中心欧氏距离的加权来选择合适的SVM分类器进行类别判断,该方法实现了一个二分类问题转化为多个细分的二分类过程,效果由差变好.对所提方法分别进行了仿真数据和实际数据分类实验.实验结果表明,与传统的SVM方法相比,该算法可以有效地提高分类的准确率.     

一种基于协同训练半监督的分类算法

为提高少量样本情况下分类器的性能,提出一种基于多分类器协同的半监督样本选择方法,利用未标注样本实现样本增强,提高分类器泛化能力.依靠多分类器的互相监督和多分类器标签一致的原理,将已标记样本作为训练集,利用SVM和RF两个分类器协同训练,多分类器的类别标签和确定度值作为约束条件,从未标记样本集中筛选出最有代表性的样本构成增强样本集,以准确率为评价标准,验证本算法对分类器泛化性能的影响.本算法在手写数字数据集(Mnist字符库)和Landsat土壤数据集上测试,实验结果表明相比少量原始训练样本构建的分类器,增强样本构建分类器预测的全部类别准确率都得到提升.两个数据集的总体准确率分别提升5.97%和7.02%,Mnist数据集中数字5这类准确率提升最高(提升11.9%,从79.3%到91.2%),Landsat土壤数据集中土壤3这一类准确率提升最明显(提升15.8%,从73.5%到89.3%),结果证明了该算法显著提高了分类器的泛化性能.同时与经典的KNN、Co-training和Co-forest算法对比,所提出的算法能够最大限度地利用未标记样本信息,具有最好的精度表现,证明了该研究提出算法的优越性.     

一种改进的RAKEL多标签分类算法

RAKEL(random k-labelsets)算法是一种集成技术,能有效解决多标签分类问题.它将原始标签集随机选用一小部分标签子集构成的数据集来训练每个分类器,但由于RAKEL算法构造标签空间的随机性,并未充分考察到样本多个标签之间的相关性,从而造成分类精度不高,泛化性能受到一定影响.为此,提出了改进的LC-RAKEL算法.首先,通过标签聚类将原始标签集划分成标签簇,再从每个标签簇中各选择一个标签构成标签集,以此发现标签空间中重要且不频繁的映射关系;然后,利用出现次数较少的标签集合组成新的训练数据,训练相应的分类器.实验证明,改进的算法性能优于其他常用多标签分类算法.     

半监督学习在入侵检测系统中的应用

提出了一种基于半监督模糊聚类的异常入侵检测方法,半监督学习算法的训练样本包括已标记数据和未标记数据,在训练系统模型时使用少量已标记样本和大量未标记样本作为种子初始化入侵检测系统的分类器,在少量已标记数据的约束下利用模糊C均值方法生成聚类,无需提供大量标记数据,不易陷入局部最优.实验表明,与FCM算法相比具有较高的性能.     

脑-机接口系统的类协同式半监督学习

针对如何提高有标签样本不足时的分类精度问题。提出脑-机接口系统(BCI)的类协同半监督学习算法(LCTSSL),采用有监督和无监督两种算法提取双特征训练双分类器协同扩充有标签样本集。在训练前后阶段设置不同置信度度量,选择两分类器分类结果一样的高置信度样本进行标记,保持每类每次新标记样本数目一样,提高有标样本集的可信度及识别系统的鲁棒性。迭代更新两分类器、有监督提取系统及相应特征,充分利用新标签信息。最后利用BCI竞赛2005的数据I证明LCTSSL算法的有效性。     

一种新的动态SVM选择集成算法

针对动态选择集成算法存在当局部分类器无法对待测样本正确分类时避免错分的问题,提出基于差异聚类的动态SVM选择集成算法。算法首先对训练样本实施聚类,对于每个聚类,算法根据精度及差异度选择合适的分类器进行集成,并根据这些分类器集成结果为每个聚类标定错分样本区,同时额外为之设计一组分类器集合。在测试过程中,根据待测样本所属子聚类及在子聚类中离错分样本区的远近,选择合适的分类器集合为之分类,尽最大可能的减少由上一问题所带来的盲区。在UCI数据集上与Bagging-SVM算法及文献［10］所提算法比较,使用该算法在保证测试速度的同时,能有效提高分类精度。     

基于多重假设检验市长公开电话文本的自动分类

提出一种基于多重假设检验的特征加权朴素贝叶斯分类算法, 该算法通过特征选择方法得到多个特征词集合, 再按多重假设检验错误率为每个特征词集合配以不同的权重系数并参与到分类器的构建中. 该方法已经应用到市长公开电话的文本分类中, 通过构建的3个特征加权朴素贝叶斯分类器实现了投诉文本的计算机自动分类, 且相对传统方法提高了分类器的效率和精度.     

基于一类SVM概率密度估计的多分类贝叶斯算法研究

为降低训练分类器的运算复杂度，并解决支持向量机（SVM）对多类分类问题没有特别有效解决方法的问 题。提出了一种基于一类支持向量机的多分类贝叶斯算法，证明了基于径向基核函数的一类SVM的分类函数归 一化为密度函数，并将所得的概率密度函数用于构造二分类及多分类贝叶斯分类器。仿真实验将提出的多分类贝 叶斯算法应用于多类通信信号调制识别，结果表明：该算法的分类准确率不低于传统SVM多分类器，而在多类属、 每类训练样本数目较大的情况下训练所需的运算量和存储量仅是传统SVM多分类算法的0.5%大大减小了核 矩阵规模和     

面向多类学习问题的核最近表面分类方法

虽然最邻近决策规则能很好地解决数据集的非线性和非平衡性问题,但其没有学习过程.在此基础上,提出了一种利用聚类方法来浓缩训练样本,再根据最近邻准则进行决策的方法——核最近表面分类方法.通过实验将其与几种常用的统计分类方法进行对比,结果表明,核最近表面分类方法具有决策速度快、存储空间需求小等优点,同时也能够很好地处理非平衡...     

一种基于聚类和AdaBoost的自适应集成算法

为同时保证基分类器的准确性和差异性, 提出一种基于聚类和AdaBoost的自适应集成算法. 首先利用聚类算法将训练样本分成多个类簇; 然后分别在每个类簇上进行AdaBoost训练并得到一组分类器; 最后按加权投票策略进行分类器的集成. 每个分类器的权重是自适应的, 且为基于测试样本与每个类簇的相似性及分类器对此测试样本的分类置信度计算得到. 实验结果表明, 与AdaBoost,Bagging(bootstrap aggregating)和随机森林等代表性集成算法相比, 该算法可取得更高的分类精度.     

基于SBN模型的Internet应用协议识别方法

针对网络流量协议标注比较困难的问题,提出一种基于贝叶斯网络的半监督学习模型,以提高Inter-net协议的识别精度.该模型首先使用少量的标注样本训练贝叶斯网络分类模型,并对未标注样本进行初始分类,然后从未标注样本中挑选分类损失最小的样本加入到训练集中并重复训练分类模型,经过多次循环训练出最终的分类器.该模型可以使用未标注样本和标注样本共同训练分类模型,非常适合于标注比较困难的Internet应用协议的识别.实验结果表明：在标注样本较少的情况下,该模型的识别精度和稳定性均优于朴素贝叶斯模型和贝叶斯网络模型,对于提高Internet协议的识别精度是有效的.     

一种基于经验模态分解和流形学习的滚动轴承故障诊断方法

提出一种基于经验模态分解(EMD)和流形学习(LTSA)的滚动轴承故障诊断方法。首先,利用EMD对滚动轴承振动信号进行自适应分解,计算IMF分量的协方差矩阵特征值,组成滚动轴承状态原始特征集;然后利用LTSA对原始特征集进一步的融合提取;将所得新特征输入到K-means分类器中进行故障识别与聚类。实验分析结果表明:该方法可以有效地对滚动轴承的工作状态和故障类型进行识别。     

基于一类SVM的贝叶斯分类算法

提出一种基于一类支持向量机(one-class SVM)的贝叶斯分类算法,该算法用一类SVM对类条件概率密度进行估计以构造贝叶斯分类器. 证明采用高斯核的一类SVM,其解可以归一化为密度函数,并把该密度函数看作类条件概率密度的平滑估计,构造贝叶斯分类器. 实际数据集上的实验结果表明,提出的分类算法测试准确率高于简单贝叶斯分类器与贝叶斯网络分类器,不低于传统二类SVM;比传统二类SVM需要计算的核矩阵规模更小,训练时间更短.     

基于AP算法支持向量机的设计与应用

设计一种基于AP聚类算法和SVM分类器相融合的新的混合分类器, 使用AP聚类算法优化数据集, 得到了高质量、 小样本的SVM分类器训练集. 实验结果表明: 与传统的SVM分类器相比, 混合分类器具有更高的分类精度; 在心脏病预测上, 该分类器的效果较好.