基于AdaBoost的神经元形态分类的研究

根据神经元形态的几何特征,使用AdaBoost算法对其进行分类,采用决策树、贝叶斯和关联规则分类模型作为基分类器。算法首先采用直接面向纽舍分类器分类精度提升的集成学刁算法选取基分类器,其次利用分类过程中生成样本的孱升权值来调整前K次（K〉1）被错误分类样本的权重,并提留双重阎值法对样本的最终投票表决结果进行判定。对20个测试样本进行分类,得出高可信度分类数为18个。     

基于多分类器动态集成的电信客户流失预测

本文提出了一种新的基于多分类器动态选择与优化集成的电信客户流失预测集成模型.首先使用K均值聚类算法对训练集样本进行分区;然后分别使用Naive-Bayes算法、多层感知机算法和J48算法构建各分区客户流失预测子分类器;最后对各分区子分类器进行线性集成,并使用人工蜂群算法优化其集成权重.当测试样本由聚类算法判断出其归属区域后,再分别使用分区子分类器进行预测,最后使用优化权重进行线性集成.实验结果表明:动态集成模型优于单模型;基于人工蜂群算法优化集成模型优于其它集成模型.     

基于属性约简-聚类分析的集成神经网络

如何构造具有较大差异性的单神经网络是提高集成神经网络分类性能的一个重要问题.这里通过研究在特征空间和样本空间上均有差异的基础上提取训练样本的方法,提出了-种新的基于粗糙集的属性约简和聚类分析的集成神经网络的序列目标分类算法,由于训练单分类器时样本的差异性较大,所以能够有效的保证集成分类器的分类性能.该方法首先在训练视频中连续提取单帧图像中的目标一人,人群,汽车,提取轮廓特征,几何特征作为目标的描述属性;其次对所提取的三类目标样本数据进行属性约简,得到三类样本的特征分布子空间;再次采用基于时手惩罚策略的竞争学习算法(RPCL)进行聚类分析,得到在相应样本空间中的样本分布;最后采用提出的单个神经网络生成算法得到单个神经网络并采用相对多数方法对神经网络进行集成.这里采用基于boosting、Bagging方法的集成神经网络和算法进行比较,结果表明本方法的分类精度要高于传统方法,是一种有效的目标分类算法.     

基于Markov blanket和互信息的集成特征选择算法

针对大量无关和冗余特征的存在可能降低分类器性能的问题,提出一种基于近似Markov blanket和动态互信息的特征选择算法并将其应用于集成学习,进而得到一种集成特征选择算法。该集成特征选择算法运用Bagging方法结合提出的特征选择方法生成基分类器,并引入基分类器差异度进行选择性集成,最后用加权投票法融合所选基分类器的识别结果。通过仿真实验验证算法的有效性,以支持向量机(support vector machine, SVM)为分类器,在公共数据集UCI上进行试验,并与单SVM及经典的Bagging集成算法和特征Bagging集成算法进行对比。实验结果显示,该方法可获得较高的分类精度。     

基于熵的自适应加权投票HRRP融合识别方法

基于不同分类器对同一样本分类能力不同,同一分类器对不同样本可分程度不同的思想,为不同样本赋予不同融合权重,提出了一种基于熵的自适应加权投票高分辨距离像(high range resolution profile, HRRP)融合识别方法。该方法将二分类相关向量机(relevance vector machine,RVM)扩展为多类分类RVM概率模型,并对不同HRRP特征样本进行分类,利用每个多类分类RVM输出的样本后验概率信息计算出的熵值自适应为各个样本赋予权重,使得不同分类器以及同一分类器对不同样本的决策占有不同的比重,熵值越大的样本赋予的融合权重越低,最后通过加权投票方法实现融合识别,得到目标的最终识别结果。仿真实验结果验证了所提方法的有效性。     

基于集成深度学习的有源干扰智能分类

针对现有基于机器学习的雷达有源干扰分类大多需要构建人工特征集且小样本情况下分类精度低的问题, 提出一种基于多通道特征融合的集成卷积神经网络(convolutional neural network, CNN)分类方法。首先, 建立多种有源干扰的数学模型, 仿真并利用短时傅里叶变换获得其时频分布图; 其次, 提取时频分布图的实部、虚部和模值三通道特征, 通过多种特征组合方式建立不同特征组合的样本集; 最终, 构建以CNN为基分类器的集成深度学习模型, 每个CNN分别提取不同样本集的特征, 对所有基分类器的预测结果做多数投票得到集成模型的整体预测结果。实验表明, 该方法能够有效实现小样本情况下多类有源干扰的高精度智能化识别。     

ECOC多类分类中基分类器non-competence问题研究

在纠错输出编码(error-correcting output code, ECOC)多类分类中,当待识别样本的真实类别不属于对应二类子类划分时,训练得到的基分类器将不具备对此类样本进行分类的能力,此时的基分类器在解码融合时面临着non-competence问题。如何衡量基分类器是否具备对样本的分类能力,以及如果不具备,如何减少此种情况下对分类效果的影响是基于ECOC多类分类面临的新问题。针对解码框架中non-competent基分类器的分类融合问题,提出一种基于基分类器对样本是否具有分类能力的加权解码方法。该方法利用支持向量数据描述衡量待识别样本与各划分子类之间的距离,同时利用加权解码,通过对基分类器权重的学习，进而增强对类别拥有分类能力的基分类器的影响,减少不具备分类能力的基分类器产生的误差。基于UCI数据集的实验表明所提方法的有效性和实用性。     

一种基于高斯过采样的集成学习算法

在数据挖掘研究领域,分类任务广泛存在着数据分布不均衡问题,例如制造状态检测,医疗诊断,金融服务,等等.SMOTE是处理不均衡数据分类问题的常用技术,与Boosting算法相结合可进一步提升分类系统性能,但是这种集成学习容易导致基分类器多样性缺失.基于此,本文提出了一种基于高斯过程SMOTE过采样的Boosting集成学习算法(Gaussian-based smote in boosting,GSMOTEBoost).该算法在Boosting集成框架下构建不均衡学习模型,为了提高分类系统的鲁棒性,采用基于高斯过程SMOTE过采样技术来增加基分类器训练样本的多样性,从而提高基分类器之间的差异.为了验证算法的有效性,以常用的处理不均衡分类问题的算法作为对比方法,采用KEEL数据库里的20个标准数据集对算法进行测试,以G-mean,F-measure以及AUC作为算法的评价指标,利用统计检验手段对实验结果进行分析.实验结果表明,相对于其他算法,本文提出的GSMOTEBoost具有显著的优势.     

基于新型集成分类器的非平衡数据分类关键问题研究

针对非平衡数据分类问题,提出了一种基于差异采样率的重采样算法（differentiated sampling rate algorithm, DSRA）,基于DSRA设计了一种新的集成分类器(SVM-Ripper ensemble classifier, SREC）。SREC采用独特的分类器选择策略、分类器集成策略、分类决策方案,可获得较高的分类精度。同时,利用SREC对影响非平衡数据分类的关键问题进行了研究。结果表明,非平衡数据分类问题本质上是由正负样本类间非平衡、类内非平衡、样本规模以及样本非平衡度等诸多因素引起的,只有综合考虑这些因素才能更好地解决非平衡数据分类问题。     

基于集成学习与特征降维的小样本调制识别方法

针对有标签样本较少条件下的通信信号调制识别问题, 提出一种基于集成学习与特征降维的小样本调制方式分类模型。首先,通过集成人工特征与深度学习自动提取特征构成特征集合。然后,设计特征选择算法对特征合集进行优选生成高效特征子集。最后, 利用可快速收敛的高性能分类器对信号进行区分, 实现在少量有标签样本和大量无标签样本条件下的调制方式分类。仿真结果表明, 通过对8种数字信号进行调制识别, 在信噪比为20 dB时, 所提算法可将信号最高识别率提升至96%, 同时该算法设计简单, 具有较大应用价值。     

Novel ensemble learning based on multiple section distribution in distributed environment

Because most ensemble learning algorithms use the centralized model, and the training instances must be centralized on a single station, it is difficult to centralize the training data on a station. A distributed ensemble learning algorithm is proposed which has two kinds of weight genes of instances that denote the global distribution and the local distribution. Instead of the repeated sampling method in the standard ensemble learning, non-balance sampling from each station is used to train the base classifier set of each station. The concept of the effective nearby region for local integration classifier is proposed, and is used for the dynamic integration method of multiple classifiers in distributed environment. The experiments show that the ensemble learning algorithm in distributed environment proposed could reduce the time of training the base classifiers effectively, and ensure the classify performance is as same as the centralized learning method.     

基于集成学习的复杂仿真模型验证方法

针对复杂仿真模型验证中海量数据的相似性分析问题,提出了一种基于集成学习的仿真模型验证方法。将仿真时间序列与参考时间序列的相似性分析问题转换为相似性等级分类问题,进而利用神经网络、支持向量机、集成学习等机器学习方法,设计了一种集成分类系统对时间序列的相似性等级进行分类。为了增强基分类器的多样性,提出了基于惩罚因子的多样性筛选准则;通过挑选具有最大差异性的基分类器,构造高性能集成分类系统。最后利用相关数据,对所提出的方法进行应用研究,验证了方法的有效性。     

Ensemble of multiple kNN classifiers for societal risk classification

Societal risk classification is a fundamental and complex issue for societal risk perception. To conduct societal risk classification, Tianya Forum posts are selected as the data source, and four kinds of representations: string representation, term-frequency representation, TF-IDF representation and the distributed representation of BBS posts are applied. Using edit distance or cosine similarity as distance metric, four k-Nearest Neighbor (kNN) classifiers based on different representations are developed and compared. Owing to the priority of word order and semantic extraction of the neural network model Paragraph Vector, kNN based on the distributed representation generated by Paragraph Vector (kNN-PV) shows effectiveness for societal risk classification. Furthermore, to improve the performance of societal risk classification, through different weights, kNN-PV is combined with other three kNN classifiers as an ensemble model. Through brute force grid search method, the optimal weights are assigned to different kNN classifiers. Compared with kNN-PV, the experimental results reveal that Macro-F of the ensemble method is significantly improved for societal risk classification.     

基于多域特征与随机子空间集成的脑电分类

针对脑机接口(Brain-Computer Interface,BCI)中脑电信号预处理、特征提取、分类识别等过程,提出一种基于多域特征的随机子空间集成方法实现运动想象脑电分类。该方法的基本思想是通过事件相关同步/事件相关去同步特性分析,提取出最佳时频段的多域特征作为特征向量,结合交叉验证自适应地选择特征随机子空间的集成规模,集成线性判别分析分类器实现脑电信号分类。实验结果表明,多域特征和随机子空间集成分类正确率可达90.71%、Kappa系数可达0.63,均优于BCI竞赛第一名成绩,从而证明了该算法在脑电分类中的有效性和实用性。     

代价敏感的客户流失预测半监督集成模型研究

客户流失预测是企业客户关系管理的重要内容.在现实的很多客户流失预测建模过程中,由于数据类别的高度不平衡现象的存在,使得模型的分类性能低下,不能很好地进行分类预测.同时由于现实情况中只有少量有类别标签的样本,更多的是无类别标签数据的存在,造成了大量有用信息的浪费.为了解决以上两个问题,本研究将元代价敏感学习,半监督学习和Bagging集成等技术结合,提出了代价敏感的客户流失预测半监督集成模型(semi-supervised ensemble based on metacost,SSEM).该模型主要包括三个阶段:1)用Metacost方法修改初始有标签训练集L的类别标签,得到新的训练集Lm,并将其随机的分为模型训练集Ltr和模型验证集Va;2)使用Va挑选分类精度最高的三个基分类器,并用其选择性标记无类别标签U中的样本,并将它们添加到Ltr中;3)用新的模型训练集Ltr训练N个基本分类模型,并对测试集样本进行分类,进一步将分类结果进行集成.在两个客户流失预测数据集上进行实证分析,将SSEM模型与常用的监督式集成模型以及半监督式集成模型相比,结果表明,SSEM具有更好的客户流失预测性能.     

一种基于Boosting的集成学习算法在不均衡数据中的分类

针对多类别不均衡数据的分类问题,从数据集的特征选择和集成学习两个角度出发,提出了一种新的针对不均衡数据的分类方法—BPSO-Adaboost-KNN算法,算法采用基于多分类问题的可视化的AUCarea作为分类评价指标.为了测试算法的性能,本文选取了10组UCI和KEEL选取的测试数据集进行测试,结果表明本算法在有效提取关键特征后提高了Adaboost的稳定性,在十组数据的分类精度上相比单纯使用KNN分类器有20%~40%不等的提高.在本算法和其他state-of-the-art集成分类算法对比中,BPSO-Adaboost-KNN能够取得较优或相当的结果.最后,本文将该算法应用到石油储层含油性的识别中,成功提取了声波、孔隙度和含油饱和度三个关键属性,在分类精度上相比传统分类算法有了大幅度提高,在江汉油田五口油井oilsk81~oilsk85上的分类精度均达到98%以上,比单纯使用KNN的精度高出了20%,尤其在最易错分的油层和差油层中有良好的分类效果.     

基于佳点萤火虫算法与BP神经网络并行集成学习的旱情预测模型

针对传统BP神经网络在旱情预测的实际应用中随机初始权值和阈值导致网络学习速度慢、易陷入局部解以及计算精度低等缺陷,提出一种基于数论佳点集萤火虫(good point set glowworm swarm optimization,GPSGSO)算法与BP神经网络(back propagation neural network,BPNN)并行集成学习算法(GPSGSO-BPNN)的旱情预测模型.首先,借鉴数论中佳点集理论构造初始均匀分布的萤火虫种群,并引入惯性权重函数动态修正移动步长,生成基于数论佳点集理论萤火虫算法,并从理论上分析算法的有效性;其次,将GPSGSO算法与BPNN相结合构建并行集成学习算法,实现两种算法的并行交互集成.最后,将并行集成学习算法应用于农业干旱灾害预测中,构建基于GPSGSO-BPNN并行集成学习算法的旱情预测模型.通过8个Benchmark函数验证了GPSGSO算法在收敛速度、计算精度及稳定性等方面的有效性.同时,以皖北农业干旱气象数据作为仿真数据,实验结果表明GPSGSO-BPNN算法在计算速度、精度及稳定性方面较传统BPNN、GSO-BPNN及GA-BPNN等算法有较明显的优势,提高了旱情等级预测的准确性.