集成学习的多分类器动态融合方法研究

AdaBoost集成学习方法中,分类器一经学习成功,其投票权值就已确定,同一分类器对所有待测样本均有相同的投票权值。对于难于分类样本,具有良好分类性能的少数分类器权值却较低。提出适用于集成学习方法的权重自适应调整多分类器集成算法。根据多分类器行为信息,产生待测样本局部分类精度的有效判定区域,基于有效判定区域选择不同的分类器组合,并调整其相应权重,利用样本集上的统计信息来动态指导分类集成判决。实验结果表明,该算法提高了集成分类性能。     

一种基于高斯过采样的集成学习算法

在数据挖掘研究领域,分类任务广泛存在着数据分布不均衡问题,例如制造状态检测,医疗诊断,金融服务,等等.SMOTE是处理不均衡数据分类问题的常用技术,与Boosting算法相结合可进一步提升分类系统性能,但是这种集成学习容易导致基分类器多样性缺失.基于此,本文提出了一种基于高斯过程SMOTE过采样的Boosting集成学习算法(Gaussian-based smote in boosting,GSMOTEBoost).该算法在Boosting集成框架下构建不均衡学习模型,为了提高分类系统的鲁棒性,采用基于高斯过程SMOTE过采样技术来增加基分类器训练样本的多样性,从而提高基分类器之间的差异.为了验证算法的有效性,以常用的处理不均衡分类问题的算法作为对比方法,采用KEEL数据库里的20个标准数据集对算法进行测试,以G-mean,F-measure以及AUC作为算法的评价指标,利用统计检验手段对实验结果进行分析.实验结果表明,相对于其他算法,本文提出的GSMOTEBoost具有显著的优势.     

基于多分类器动态集成的电信客户流失预测

本文提出了一种新的基于多分类器动态选择与优化集成的电信客户流失预测集成模型.首先使用K均值聚类算法对训练集样本进行分区;然后分别使用Naive-Bayes算法、多层感知机算法和J48算法构建各分区客户流失预测子分类器;最后对各分区子分类器进行线性集成,并使用人工蜂群算法优化其集成权重.当测试样本由聚类算法判断出其归属区域后,再分别使用分区子分类器进行预测,最后使用优化权重进行线性集成.实验结果表明:动态集成模型优于单模型;基于人工蜂群算法优化集成模型优于其它集成模型.     

基于样本重采样的电路非平衡数据预处理方法

针对机载设备电子电路故障状态测试数据少、整体测试数据不均衡的问题,提出了一种基于样本重采样的数据预处理方法。首先,采用超限学习机对原始数据集进行训练以挑选出分类准确的样本。然后,对其中的少数类和多数类分别采用合成少数类过采样技术(synthetic minority oversampling technique, SMOTE)进行过采样和局部密度欠采样处理;并将错误分类的多数类样本作为干扰因素进行删除。通过以上两种手段可以均衡数据集,并控制数据规模防止过拟合,提高对故障样本的检测率。实测数据处理结果表明,相比于其他重采样算法,所提算法整体效果优良且稳定,对电子电路故障诊断具有一定的应用价值。     

基于样本重采样的电路非平衡数据预处理方法

针对机载设备电子电路故障状态测试数据少、整体测试数据不均衡的问题,提出了一种基于样本重采样的数据预处理方法。首先，采用超限学习机对原始数据集进行训练以挑选出分类准确的样本。然后，对其中的少数类和多数类分别采用合成少数类过采样技术(synthetic minority oversampling technique, SMOTE)进行过采样和局部密度欠采样处理;并将错误分类的多数类样本作为干扰因素进行删除。通过以上两种手段可以均衡数据集,并控制数据规模防止过拟合,提高对故障样本的检测率。实测数据处理结果表明,相比于其他重采样算法,所提算法整体效果优良且稳定,对电子电路故障诊断具有一定的应用价值。     

基于新型集成分类器的非平衡数据分类关键问题研究

针对非平衡数据分类问题,提出了一种基于差异采样率的重采样算法（differentiated sampling rate algorithm, DSRA）,基于DSRA设计了一种新的集成分类器(SVM-Ripper ensemble classifier, SREC）。SREC采用独特的分类器选择策略、分类器集成策略、分类决策方案,可获得较高的分类精度。同时,利用SREC对影响非平衡数据分类的关键问题进行了研究。结果表明,非平衡数据分类问题本质上是由正负样本类间非平衡、类内非平衡、样本规模以及样本非平衡度等诸多因素引起的,只有综合考虑这些因素才能更好地解决非平衡数据分类问题。     

基于类Haar特征与级联AdaBoost算法的防震锤识别

提出将类Haar特征与级联AdaBoost算法应用于输电线路防震锤的识别,以解决目前仅能针对单一防震锤进行识别的问题。首先,基于积分图计算快速得到图像的扩展类Haar特征,然后利用AdaBoost算法选取关键的具有较强分类特性的特征,产生一系列弱分类器以构成强分类器,最后通过级联的方式将强分类器组成级联AdaBoost分类器进行防震锤的分类识别。以实际的航拍图像作为测试样本进行实验,结果表明,该方法能够在复杂背景中有效地识别出防震锤,为后续的防震锤故障的诊断工作奠定了基础。     

基于抽样和规则的不平衡数据关联分类方法

不平衡数据的出现给传统关联分类算法带来了巨大的挑战.为了提高关联分类方法对不平衡数据集的分类精度,本文分别从数据和规则层次着手,提出了关键值抽样法(key value sampling,KVS)和规则验证法(rule validation,RV).关键值抽样法通过增加与少数类相关性强的数据,减少与多数类相关性弱的数据来达到数据类分布平衡.避免了大量有效信息的流失,并且增强了与少数类相关性强的数据信息.规则验证法对初步生成的分类器进行了规则验证,并对分类性能不好的规则进行调整,从而保证了分类器中规则的质量.实验表明,本文中的研究方法能够有效提高关联分类方法处理不平衡数据的精度.     

基于Markov blanket和互信息的集成特征选择算法

针对大量无关和冗余特征的存在可能降低分类器性能的问题,提出一种基于近似Markov blanket和动态互信息的特征选择算法并将其应用于集成学习,进而得到一种集成特征选择算法。该集成特征选择算法运用Bagging方法结合提出的特征选择方法生成基分类器,并引入基分类器差异度进行选择性集成,最后用加权投票法融合所选基分类器的识别结果。通过仿真实验验证算法的有效性,以支持向量机(support vector machine, SVM)为分类器,在公共数据集UCI上进行试验,并与单SVM及经典的Bagging集成算法和特征Bagging集成算法进行对比。实验结果显示,该方法可获得较高的分类精度。     

基于AdaBoost改善虹膜分类性能

针对虹膜图像分辨率不同引起虹膜分类难的问题,提出了通过AdaBoost训练虹膜分类器的方法,利用训练集数据调整分类器参数使类内相似度达到最大,将虹膜分类器从弱分类器逐步提升为强分类器,最终为每类虹膜建立一个具有强分类能力的特征模板.仿真结果表明,在已有的特征提取算法和分类算法的基础上,利用训练数据通过自适应增强算法能进一步改善分类器分类性能,提高虹膜分类正确率,增大虹膜分类阈值的选择范围.     

2v-SSPC-一种不平衡数据分类方法

针对现有分类算法通常对不平衡数据挖掘表现出有偏性,即正类样本(通常是更重要的一类)的分类和预测性能差于负类样本的分类和预测性能,提出一种不平衡数据分类方法。该方法通过一个超球面将两类数据以最大分离比率分离,并且引入两个参数来分别控制两类错分率的上界,不仅提高了不平衡数据集的分类和预测的性能,而且大大缩小了参数的选择范围。在UCI真实数据上进行了实验,并采用ROC曲线下面积作为评估指标进行比较,结果验证了该方法的有效性。     

遗传算法选择性集成多分类器的企业财务困境预测

为了更加有效地进行企业财务困境预测,本文提出了基于遗传算法选择性集成的多分类器系统。与事先静态给定系统内部基本分类器组成不同,该方法以组合系统预测准确率为优化目标,无需度量各基本分类器之间的差异性,可以动态挖掘最优组合系统。实证研究中以中国上市公司为研究对象,以10折交叉验证准确率作为评价标准,结果表明该方法显著优于全集成以及单分类器最优模型。     

基于完备模糊规则集的混沌时间序列预测

基于数据挖掘思想，使用置信度度量和改进的梯度下降法，提出一种新的构造完备．模糊规则集的方法来建模和预测混沌时间序列。所提方法通过确定最优输出模糊子集的质心和模糊规则的置信度度量，能够推理数据未覆盖区域的空缺规则，并构造一个完备的模糊规则集，进而解决了混沌时间序列的可预测问题。仿真结果表明新方法是有效和准确的。它能很好地辨识系统的特征，并且提供了一种混沌时间序列预测的新方法。     

最优聚类中心雷达目标一维距离像识别

提出了一种基于最优聚类中心的雷达目标一维距离像识别方法。该方法利用训练数据集建立最小平方距离准则下的最优变换矩阵 ,使用该变换矩阵可增大同类目标的特征聚合性 ,从而减少同类之间差异 ,同时 ,通过在子像空间选定一组最优聚类中心来增大异类目标特征的可分离性 ,加大异类之间差异 ,提高雷达目标识别率。仿真实验结果表明了该方法的有效性。     

支持向量回归机预测误差校正方法

针对传统的ε不敏感支持向量回归机(ε insensitive support vector regression, ε-SVR)未充分考虑局部支持向量对回归预测结果的影响,不利于提高回归预测精度的问题,提出了一种εSVR预测误差校正方法。该方法以期望预测值与εSVR回归预测值及局部支持向量间的欧氏距离和最小为目标函数,以ε不敏感损失带(εtube)宽度为约束条件,通过利用高维特征空间中εtube边界上和边界外的局部支持向量对εSVR的回归预测值进行误差校正。利用人工产生的不同分布数据集和UCI数据集进行的仿真结果表明,与传统的εSVR相比,该文方法具有更高的预测精度和更强的泛化能力。     

Improved scheme to accelerate sparse least squares support vector regression

The pruning algorithms for sparse least squares support vector regression machine are common methods,and easily comprehensible,but the computational burden in the training phase is heavy due to the retraining in performing the pruning process,which is not favorable for their applications.To this end,an improved scheme is proposed to accelerate sparse least squares support vector regression machine.A major advantage of this new scheme is based on the iterative methodology,which uses the previous training results instead of retraining,and its feasibility is strictly verified theoretically.Finally,experiments on benchmark data sets corroborate a significant saving of the training time with the same number of support vectors and predictive accuracy compared with the original pruning algorithms,and this speedup scheme is also extended to classification problem.     

一类基于神经网络的非线性模型预测控制

在研究非线性对象输入/输出数据的基础上，将对象输出的Taylor级数展开式取线性项作为预测模型，提出一种非线性系统模型预测控制算法，为了保证预测模型的准确性，以神经网络做辩识器估计系统建模误差，对非线性对象进行单频预测控制，理论上已证明三层BP网能任意逼近L2上的非线性函数，本文通过仿真研究也表明了当神经网络逼近系统建模误差时，所提出的预测控制算法对复杂非线性对象能达到良好的控制效果。     

基于紧耦合像元的自适应增强类内稀疏表示高光谱图像分类

为了充分利用稀疏表示分类算法中重构残差包含的特征信息,将重构残差的波段信息反馈到测试样本中,自适应增强样本的稀疏特征提取。但反馈调整过程可能会出现特征过拟合的问题,为了进一步提高算法的稳定性和分类精度,提出了紧耦合像元生成算法(close coupled set of pixels, CCSP)来平滑特征分布以解决过拟合问题,并最终提出了基于紧耦合像元的自适应增强类内稀疏表示高光谱图像分类方法(close coupled set of pixels based adaptive boosting class wise sparse representation classifier, CCSP ABCWSRC)。在Indian Pines,University of Pavia,Salinas三个高光谱数据集上的实验结果表明,提出的算法对高光谱图像进行了稳定有效的分类并且其分类精度优于同类算法。     

基于朴素贝叶斯和EM算法的软件工作量缺失数据处理方法

软件工作量数据缺失是软件工作估算的一个难题.本文在朴素贝叶斯模型和EM(expectation maximization)算法的基础上,提出了针对软件工作量数据缺失的处理方法.首先,本文介绍了数据缺失的内在机理;然后,本文提出了基于朴素贝叶斯和EM算法的软件工作量预测的方法;之后,本文提出了两种软件工作量数据缺失处理方法:容忍数据缺失方法和修复缺失数据方法;最后,本文利用ISBSG和CSBSG软件工作量数据集验证了本文所提出的数据缺失处理方法.实验结果表明:本文所提出的两种缺失数据处理方法的性能要优于MINI修复方法结合SVM的分类模型;修复缺失数据方法的预测性能要优于容忍数据缺失方法;对于两个数据集来说,其每一类别的工作量数据都来自于一个高斯组件.     

基于集成深度学习的有源干扰智能分类

针对现有基于机器学习的雷达有源干扰分类大多需要构建人工特征集且小样本情况下分类精度低的问题, 提出一种基于多通道特征融合的集成卷积神经网络(convolutional neural network, CNN)分类方法。首先, 建立多种有源干扰的数学模型, 仿真并利用短时傅里叶变换获得其时频分布图; 其次, 提取时频分布图的实部、虚部和模值三通道特征, 通过多种特征组合方式建立不同特征组合的样本集; 最终, 构建以CNN为基分类器的集成深度学习模型, 每个CNN分别提取不同样本集的特征, 对所有基分类器的预测结果做多数投票得到集成模型的整体预测结果。实验表明, 该方法能够有效实现小样本情况下多类有源干扰的高精度智能化识别。