基于k-means++的多分类器选择分类研究

【目的】机器学习中不同算法适用于具有不同分布特征的数据集。在用整个训练集上训练得到的单个分类器预测新样本类别时,由于缺少对局部区域样本的针对性,可能导致分类器对某一区域数据的预测能力较差而产生错误分类。为了解决这个问题,提出基于k-means+ +的多分类器选择算法。【方法】首先用3种分类综合性能较好的算法———Ada-Boost、SVM、随机森林(RF)在训练集上分别训练得到3个分类器作为候选基分类器,然后利用k-means++算法将训练数据集分为k个簇,用3个候选分类器分别对每个簇进行分类测试,选择对这一簇中数据分类精度最高的分类器作为与它的数据相似数据的分类器。在对新样本进行类别预测时,首先判定样本属于哪个簇,然后用它的分类器进行分类预测。【结果】实验结果表明,新算法在9个UCI数据集上优于单个分类算法。【结论】基于局部区域动态选择最优分类器可以提高模型分类准确性。
     

一种改进的不平衡数据流集成分类算法

本文提出了一种针对类分布不平衡数据流的分类算法。首先,针对数据流的类分布不平衡,采用改进的重采样方法,建立平衡的训练子集;然后,采用支持向量机在平衡的训练子集上建立基分类器;最后,采用WE集成模型组合基分类器,构建不平衡数据流的集成分类器。该算法通过设定相邻数据块的F-value的差值大于等于某一阈值作为更新分类器的标准,同时在更新分类器时引入错分正类实例重新训练基分类器。实验结果表明该算法不仅对正类有较好的分类性能,对整体也有较好的分类性能。     

基于加权主成分分析和改进密度峰值聚类的协同训练算法

[目的]针对协同训练算法在视图分割时未考虑噪声影响和两视图分类器对无标记样本标注不一致问题,提出了基于加权主成分分析和改进密度峰值聚类的协同训练算法.[方法]首先引入加权主成分分析对数据进行预处理,通过寻求初始有标记样本中特征和类标记之间的依赖关系求得各特征加权系数,再对加权变换后的数据进行降维并提取高贡献度特征进行视图分割,这一策略能较好地过滤视图分割时引入的噪声,同时保证数据中的关键特征能均衡划分到两个视图,从而更好地实现两个分类器的协同作用;同时,在密度峰值聚类上提出一种"双拐点"法来自动选择聚类中心,利用改进后的密度峰值聚类来确定标记不一致样本的最终类别,以降低样本被误分类的概率.[结果]与对比算法相比,所提算法在分类准确率和算法稳定性上有较大提升.[结论]通过加权主成分分析能有效地过滤掉视图分割中的噪声特征,同时改进后的密度峰值聚类减少了样本被误标记的概率.     

基于连续谱特征提取的被动声纳目标识别技术

目标噪声特征提取和目标分类器设计是被动声纳目标识别系统的关键技术 .针对被动声纳目标识别 ,提出了一种新的连续谱特征提取方法 .此外 ,为了训练神经网络目标分类器 ,将遗传算法和 BP算法相结合 ,提出了一种新的自适应遗传 BP算法 .最后 ,对海上实录的三类目标噪声进行了分类识别 .实验结果表明 ,设计的被动声纳目标识别系统具有很好的分类效果     

基于WLLE和SVM的植物叶片图像识别方法

针对局部线性嵌入(LLE)算法易受噪声影响,以及最近邻分类器不能有效识别植物叶片图像,提出一种基于加权局部线性嵌入(WLLE)和支持向量机(SVM)的植物叶片图像识别方法.首先利用WLLE算法对预处理后的含有高斯噪声叶片图像进行特征提取,然后采用SVM分类机制对叶片图像进行训练和识别,最后在真实的植物叶片图像数据库中提取植物叶片图像进行分类实验.实验结果表明该方法能提高叶片图像的分类率.     

基于WLLE和SVM的植物叶片图像识别方法

针对局部线性嵌入(LLE)算法易受噪声影响,以及最近邻分类器不能有效识别植物叶片图像,提出一种基于加权局部线性嵌入(WLLE)和支持向量机(SVM)的植物叶片图像识别方法.首先利用WLLE算法对预处理后的含有高斯噪声叶片图像进行特征提取,然后采用SVM分类机制对叶片图像进行训练和识别,最后在真实的植物叶片图像数据库中提取植物叶片图像进行分类实验.实验结果表明该方法能提高叶片图像的分类率.     

基于支持向量机的机械故障诊断方法研究

针对因缺少大量故障数据样本而制约机械故障智能诊断发展的问题，提出了一种基于支持向量机的机械故障诊断新方法，介绍了该方法的原理和算法，并利用模拟故障数据建立了多故障分类器。这种诊断方法只需要少量的时域故障数据样本来训练故障分类器，不必进行信号预处理以提取特征量，便可实现多故障的识别和诊断。测试结果表明，当数据样本中含有26％的噪声时，故障分类器仍然能正确分类多种故障。这种诊断方法具有算法简单、可对故障在张分类和故障分类能力强的优点。     

基于最小分类错误训练的神经网络分类器设计

提出了一种基于最小分类错误（MCE）训练的采用多层感知器（MLP）结构的模式分类器设计方法。这是一种以分类错误率最小化为目标的模式分类器设计方法，将它用于MLP分类器设计能够进一步提高分类器的性能。采用MLP实现MCE训练中的分类损失计算，从而将MCE训练过程与MLP分类器设计统一在一个神经网络结构中，通过BP算法予以实现。这不仅能达到提高MLP分类器性能的目的，而且简化了它的设计过程。     

半监督分类中的噪声控制及相关算法

为了更好地控制利用伪标签样本学习的这类半监督分类算法中的噪声,针对以往研究中分布噪声难以量化并被忽视的问题,提出一种基于高斯混合模型和伪验证集的噪声量化和分析的新方法.根据噪声下的泛化误差分析,提出一种可回溯的分类器迭代训练策略,可以有效降低伪标签样本带来的噪声影响.通过将该训练策略与集成学习相结合,提出一种ensemble self-learning(ESL)算法,能够进一步提高分类算法的泛化性能.在6个公开数据集上与同类先进算法进行了试验比较.结果表明,所提出的算法取得了最高的平均准确率,并且在75%的试验数据集上都取得了最好的准确率.     

面向不均衡小样本训练集的改进Boosting算法

传统的Boosting算法训练出的分类器常会出现过拟合和向多数类偏移.为此,提出一种基于自适应样本注入和特征置换的Boosting学习算法,通过在训练过程中加入人工合成样本,逐渐平衡训练集,并通过合成的样本对分类器学习进行扰动,使分类器选择更多有效的特征,提高了分类器的泛化能力.最后,在两类和多类图片分类问题上对该算法的有效性进行了考察,实验结果表明,该算法能够在样本数很少,且正负样本数量极不均衡的情况下,有效提高booting算法的泛化能力.     

多层感知器自监督在线学习非结构化道路识别

针对智能车辆非结构化道路识别中存在的环境自适应性和在线学习算法实时性问题,提出了一种结合多线程技术和多层感知器自监督在线学习技术的道路识别算法. 通过识别结果在线自动更新训练集,并利用评估函数判断是否触发重训分类器,确保当前分类器对行驶道路环境的有效识别. 同时,算法中道路图像采集、分类器训练、训练集更新、分类器识别等计算操作分别在各自线程中实现,利用信号量对数据流进行同步互斥,优化计算资源,充分利用了多层感知器分类计算快的特点,并克服其训练耗时问题. 实际道路检测实验结果表明,算法具有较好的自适应性及实时性,能够满足智能车辆非结构化道路导航需求.      

一种改进的最大相关最小冗余选择性贝叶斯分类器

利用K均值聚类和增量学习算法扩大训练样本规模,提出一种改进的mRMR SBC.一方面,利用K均值聚类预测测试样本的类标签,将已标记的测试样本添加到训练集中,并在属性选择过程中引入一个调节因子以降低K均值聚类误标记带来的风险.另一方面,从测试样本集中选择有助于提高当前分类器精度的实例,把它加入到训练集中,来增量地修正贝叶斯分类器的参数.实验结果表明,与mRMR SBC相比,所提方法具有较好的分类效果,适于解决高维且含有较少类标签的数据集分类问题.     

一种基于主成分分析的稀疏数据模式分类隐私保护算法

 模式分类过程涉及到对原始训练样本的学习,容易导致用户隐私的泄露。为了避免模式分类过程中的隐私泄露,同时又不影响模式分类算法的性能,提出一种基于主成分分析（PCA）的模式分类隐私保护算法。该算法利用PCA 提取原始训练数据的主成分,并将原始训练样本集合转化为主成分的新样本集合,然后利用新样本集合进行分类学习。选用Adult 数据集和KDDCUP 99 数据集进行仿真实验,并采用正确率和召回率进行性能评价,结果表明,该隐私保护算法通过PCA 提取原始数据特征属性的主成分,可避免原始属性的泄露,同时PCA 在一定程度上可实现去噪,从而使分类器的分类性能优于原始数据集的分类性能。与已有算法比较,该隐私保护算法具有更好的模式分类精度和隐私保护性能。     

Integrating genetic algorithm method with neural network for land use classification using SZ- 3 CMODIS data

This paper presents a methodology on land use mapping using CMODIS (Chinese Moderate Resolution Imaging Spectroradiometer) data on-board SZ-3 (Shenzhou 3) spacecraft. The integrated method is composed of genetic algorithm (GA) for feature extraction and neural network classifier for land use classification. In the data preprocessing, a moment matching method was adopted to remove the stripes in the images. Then by using the reproduction, crossover and mutation operators of GA based on the mechanism of “natural selection”, and with Jeffries-Matusita distance as its discriminate rule and the training samples, the optimal band combination for land use classification was obtained. To generate a land use map, the three layers back propagation neural network classifier is used for training the samples and classification. Compared with the Maximum Likelihood classification algorithm, the results show that the accuracy of land use classification is obviously improved by using our proposed method, the selected band number in the classification process is reduced, and the computational performance for training and classification is improved. The result also shows that the CMODIS data can be effectively used for land use/land cover classification and change monitoring at regional and global scale.     

基于一类SVM概率密度估计的多分类贝叶斯算法研究

为降低训练分类器的运算复杂度，并解决支持向量机（SVM）对多类分类问题没有特别有效解决方法的问 题。提出了一种基于一类支持向量机的多分类贝叶斯算法，证明了基于径向基核函数的一类SVM的分类函数归 一化为密度函数，并将所得的概率密度函数用于构造二分类及多分类贝叶斯分类器。仿真实验将提出的多分类贝 叶斯算法应用于多类通信信号调制识别，结果表明：该算法的分类准确率不低于传统SVM多分类器，而在多类属、 每类训练样本数目较大的情况下训练所需的运算量和存储量仅是传统SVM多分类算法的0.5%大大减小了核 矩阵规模和     

一种融合特征选择的AdaBoost集成算法

针对Ada Boost算法训练分类器的特征具有大量冗余问题,提出了一种融合特征选择的Ada Boost集成算法.首先,使用一种特征选取方法,选择图像特征之间冗余度最小的特征,构造最优训练集;其次,采用Ada Boost算法训练分类器,构建分类模型;最后,使用分类模型实现待标注图像的自动标注.实验使用华盛顿大学用于图像自动标注的数据集,结果验证算法的有效性,并且相比其他传统算法,该算法具有更高的分类精度.     

基于AP算法支持向量机的设计与应用

设计一种基于AP聚类算法和SVM分类器相融合的新的混合分类器, 使用AP聚类算法优化数据集, 得到了高质量、 小样本的SVM分类器训练集. 实验结果表明: 与传统的SVM分类器相比, 混合分类器具有更高的分类精度; 在心脏病预测上, 该分类器的效果较好.     

采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.     

朴素Bayes分类器文本特征向量的参数优化

采用朴素Bayes算法建立中文文本自动分类器, 并研究相关参数的选择问题, 以实现中文文本的高效分类. 首先在模型训练阶段, 采用N-gram模型处理训练数据集提取特征向量; 然后使用朴素Bayes算法建立文本分类器; 最后在模型测试阶段, 为提高分类准确率, 使用词频反文档频率算法对测试样本进行特征向量提取. 实例分析结果表明, 在提取训练集特征向量时, 2-gram模型和4-gram模型的特征提取效果最佳; 在选取特征向量长度时, 长度为25 000的特征向量可使分类准确率出现最大增幅并保证较高准确率; 在确定特征项词性方面, 同时选取动词和名词可使分类器准确率达到最高, 仅选取动词时准确率最低.