基于集成学习的复杂仿真模型验证方法

针对复杂仿真模型验证中海量数据的相似性分析问题,提出了一种基于集成学习的仿真模型验证方法。将仿真时间序列与参考时间序列的相似性分析问题转换为相似性等级分类问题,进而利用神经网络、支持向量机、集成学习等机器学习方法,设计了一种集成分类系统对时间序列的相似性等级进行分类。为了增强基分类器的多样性,提出了基于惩罚因子的多样性筛选准则;通过挑选具有最大差异性的基分类器,构造高性能集成分类系统。最后利用相关数据,对所提出的方法进行应用研究,验证了方法的有效性。     

基于Markov blanket和互信息的集成特征选择算法

针对大量无关和冗余特征的存在可能降低分类器性能的问题,提出一种基于近似Markov blanket和动态互信息的特征选择算法并将其应用于集成学习,进而得到一种集成特征选择算法。该集成特征选择算法运用Bagging方法结合提出的特征选择方法生成基分类器,并引入基分类器差异度进行选择性集成,最后用加权投票法融合所选基分类器的识别结果。通过仿真实验验证算法的有效性,以支持向量机(support vector machine, SVM)为分类器,在公共数据集UCI上进行试验,并与单SVM及经典的Bagging集成算法和特征Bagging集成算法进行对比。实验结果显示,该方法可获得较高的分类精度。     

基于属性约简-聚类分析的集成神经网络

如何构造具有较大差异性的单神经网络是提高集成神经网络分类性能的一个重要问题.这里通过研究在特征空间和样本空间上均有差异的基础上提取训练样本的方法,提出了-种新的基于粗糙集的属性约简和聚类分析的集成神经网络的序列目标分类算法,由于训练单分类器时样本的差异性较大,所以能够有效的保证集成分类器的分类性能.该方法首先在训练视频中连续提取单帧图像中的目标一人,人群,汽车,提取轮廓特征,几何特征作为目标的描述属性;其次对所提取的三类目标样本数据进行属性约简,得到三类样本的特征分布子空间;再次采用基于时手惩罚策略的竞争学习算法(RPCL)进行聚类分析,得到在相应样本空间中的样本分布;最后采用提出的单个神经网络生成算法得到单个神经网络并采用相对多数方法对神经网络进行集成.这里采用基于boosting、Bagging方法的集成神经网络和算法进行比较,结果表明本方法的分类精度要高于传统方法,是一种有效的目标分类算法.     

基于模糊积分的支持向量机动态集成方法

确定模糊密度是应用模糊积分进行融合的核心问题。分析了目前存在的各类模糊密度赋值方法存在的不足,在探索证据相互关系的基础上,提出了证据支持度的概念,并基于证据支持度给出了一种动态模糊密度赋值方法,分析了分类器之间的差异性对证据支持度的影响,引入了影响因子,进一步完善了证据支持度的内涵。实验表明,本文算法较之单支持向量机、基于投票的支持向量机、以基分类器精度作为模糊密度的静态模糊积分支持向量机集成以及一种基于自适应模糊密度赋值的模糊积分方法用于支持向量机集成,分类精度均得到提升。     

一种基于高斯过采样的集成学习算法

在数据挖掘研究领域,分类任务广泛存在着数据分布不均衡问题,例如制造状态检测,医疗诊断,金融服务,等等.SMOTE是处理不均衡数据分类问题的常用技术,与Boosting算法相结合可进一步提升分类系统性能,但是这种集成学习容易导致基分类器多样性缺失.基于此,本文提出了一种基于高斯过程SMOTE过采样的Boosting集成学习算法(Gaussian-based smote in boosting,GSMOTEBoost).该算法在Boosting集成框架下构建不均衡学习模型,为了提高分类系统的鲁棒性,采用基于高斯过程SMOTE过采样技术来增加基分类器训练样本的多样性,从而提高基分类器之间的差异.为了验证算法的有效性,以常用的处理不均衡分类问题的算法作为对比方法,采用KEEL数据库里的20个标准数据集对算法进行测试,以G-mean,F-measure以及AUC作为算法的评价指标,利用统计检验手段对实验结果进行分析.实验结果表明,相对于其他算法,本文提出的GSMOTEBoost具有显著的优势.     

遗传算法选择性集成多分类器的企业财务困境预测

为了更加有效地进行企业财务困境预测,本文提出了基于遗传算法选择性集成的多分类器系统。与事先静态给定系统内部基本分类器组成不同,该方法以组合系统预测准确率为优化目标,无需度量各基本分类器之间的差异性,可以动态挖掘最优组合系统。实证研究中以中国上市公司为研究对象,以10折交叉验证准确率作为评价标准,结果表明该方法显著优于全集成以及单分类器最优模型。     

集成学习的多分类器动态融合方法研究

AdaBoost集成学习方法中,分类器一经学习成功,其投票权值就已确定,同一分类器对所有待测样本均有相同的投票权值。对于难于分类样本,具有良好分类性能的少数分类器权值却较低。提出适用于集成学习方法的权重自适应调整多分类器集成算法。根据多分类器行为信息,产生待测样本局部分类精度的有效判定区域,基于有效判定区域选择不同的分类器组合,并调整其相应权重,利用样本集上的统计信息来动态指导分类集成判决。实验结果表明,该算法提高了集成分类性能。     

基于新型集成分类器的非平衡数据分类关键问题研究

针对非平衡数据分类问题,提出了一种基于差异采样率的重采样算法（differentiated sampling rate algorithm, DSRA）,基于DSRA设计了一种新的集成分类器(SVM-Ripper ensemble classifier, SREC）。SREC采用独特的分类器选择策略、分类器集成策略、分类决策方案,可获得较高的分类精度。同时,利用SREC对影响非平衡数据分类的关键问题进行了研究。结果表明,非平衡数据分类问题本质上是由正负样本类间非平衡、类内非平衡、样本规模以及样本非平衡度等诸多因素引起的,只有综合考虑这些因素才能更好地解决非平衡数据分类问题。     

基于Bagging-SVM动态集成的多极化HRRP识别

针对多极化高分辨率一维距离像（high range resolution profile, HRRP）在目标识别过程中存在计算量和数据量大、识别算法复杂的问题,提出一种基于Bagging-SVM动态集成的目标识别方法。该方法首先提取多极化HRRP平移不变特征向量,然后运用Bagging方法结合基于动态互信息的特征选择方法生成基分类器,最后引入基分类器差异度进行选择性集成。实验验证该方法在缩减数据规模和计算量的同时,能有效利用多极化特征信息,得到较高的分类正确率,并且松弛了HRRP目标的姿态敏感性。     

柑桔溃疡病自动识别方法及其仿真研究

研究基于Boosting的柑桔溃疡病自动识别算法.提出了一种基于特征选择准则的Boosting 学习算法,采用对称交叉熵作为弱分类器的相似度评价.将弱分类器相似度与Boosting学习过程相结合学习出更优化的弱分类器,对溃疡病斑图象进行特征选取和学习,建立了自适应的病斑特征模型,最后利用该模型完成溃疡病自动识别.实验结果表明,这种算法避免了Boosting算法进行特征提取时的缺点,减少了选取结果中的冗余,尤其在进行高维特征选取时,能够提高特征选取速度,使选取的特征更具代表性.     

一种基于Boosting的集成学习算法在不均衡数据中的分类

针对多类别不均衡数据的分类问题,从数据集的特征选择和集成学习两个角度出发,提出了一种新的针对不均衡数据的分类方法—BPSO-Adaboost-KNN算法,算法采用基于多分类问题的可视化的AUCarea作为分类评价指标.为了测试算法的性能,本文选取了10组UCI和KEEL选取的测试数据集进行测试,结果表明本算法在有效提取关键特征后提高了Adaboost的稳定性,在十组数据的分类精度上相比单纯使用KNN分类器有20%~40%不等的提高.在本算法和其他state-of-the-art集成分类算法对比中,BPSO-Adaboost-KNN能够取得较优或相当的结果.最后,本文将该算法应用到石油储层含油性的识别中,成功提取了声波、孔隙度和含油饱和度三个关键属性,在分类精度上相比传统分类算法有了大幅度提高,在江汉油田五口油井oilsk81~oilsk85上的分类精度均达到98%以上,比单纯使用KNN的精度高出了20%,尤其在最易错分的油层和差油层中有良好的分类效果.     

Novel ensemble learning based on multiple section distribution in distributed environment

Because most ensemble learning algorithms use the centralized model, and the training instances must be centralized on a single station, it is difficult to centralize the training data on a station. A distributed ensemble learning algorithm is proposed which has two kinds of weight genes of instances that denote the global distribution and the local distribution. Instead of the repeated sampling method in the standard ensemble learning, non-balance sampling from each station is used to train the base classifier set of each station. The concept of the effective nearby region for local integration classifier is proposed, and is used for the dynamic integration method of multiple classifiers in distributed environment. The experiments show that the ensemble learning algorithm in distributed environment proposed could reduce the time of training the base classifiers effectively, and ensure the classify performance is as same as the centralized learning method.     

A KELM-Based Ensemble Learning Approach for Exchange Rate Forecasting

In this paper, a KELM-based ensemble learning approach, integrating Granger causality test, grey relational analysis and KELM(Kernel Extreme Learning Machine), is proposed for the exchange rate forecasting. The study uses a set of sixteen macroeconomic variables including, import,export, foreign exchange reserves, etc. Furthermore, the selected variables are ranked and then three of them, which have the highest degrees of relevance with the exchange rate, are filtered out by Granger causality test and the grey relational analysis, to represent the domestic situation. Then, based on the domestic situation, KELM is utilized for medium-term RMB/USD forecasting. The empirical results show that the proposed KELM-based ensemble learning approach outperforms all other benchmark models in different forecasting horizons, which implies that the KELM-based ensemble learning approach is a powerful learning approach for exchange rates forecasting.     

Combining classifiers for credit risk prediction

Credit risk prediction models seek to predict quality factors such as whether an individual will default (bad applicant) on a loan or not (good applicant). This can be treated as a kind of machine learning (ML) problem. Recently, the use of ML algorithms has proven to be of great practical value in solving a variety of risk problems including credit risk prediction. One of the most active areas of recent research in ML has been the use of ensemble (combining) classifiers. Research indicates that ensemble individual classifiers lead to a significant improvement in classification performance by having them vote for the most popular class. This paper explores the predicted behaviour of five classifiers for different types of noise in terms of credit risk prediction accuracy, and how could such accuracy be improved by using pairs of classifier ensembles. Benchmarking results on five credit datasets and comparison with the performance of each individual classifier on predictive accuracy at various attribute noise levels are presented. The experimental evaluation shows that the ensemble of classifiers technique has the potential to improve prediction accuracy.     

代价敏感的客户流失预测半监督集成模型研究

客户流失预测是企业客户关系管理的重要内容.在现实的很多客户流失预测建模过程中,由于数据类别的高度不平衡现象的存在,使得模型的分类性能低下,不能很好地进行分类预测.同时由于现实情况中只有少量有类别标签的样本,更多的是无类别标签数据的存在,造成了大量有用信息的浪费.为了解决以上两个问题,本研究将元代价敏感学习,半监督学习和Bagging集成等技术结合,提出了代价敏感的客户流失预测半监督集成模型(semi-supervised ensemble based on metacost,SSEM).该模型主要包括三个阶段:1)用Metacost方法修改初始有标签训练集L的类别标签,得到新的训练集Lm,并将其随机的分为模型训练集Ltr和模型验证集Va;2)使用Va挑选分类精度最高的三个基分类器,并用其选择性标记无类别标签U中的样本,并将它们添加到Ltr中;3)用新的模型训练集Ltr训练N个基本分类模型,并对测试集样本进行分类,进一步将分类结果进行集成.在两个客户流失预测数据集上进行实证分析,将SSEM模型与常用的监督式集成模型以及半监督式集成模型相比,结果表明,SSEM具有更好的客户流失预测性能.     

基于佳点萤火虫算法与BP神经网络并行集成学习的旱情预测模型

针对传统BP神经网络在旱情预测的实际应用中随机初始权值和阈值导致网络学习速度慢、易陷入局部解以及计算精度低等缺陷,提出一种基于数论佳点集萤火虫(good point set glowworm swarm optimization,GPSGSO)算法与BP神经网络(back propagation neural network,BPNN)并行集成学习算法(GPSGSO-BPNN)的旱情预测模型.首先,借鉴数论中佳点集理论构造初始均匀分布的萤火虫种群,并引入惯性权重函数动态修正移动步长,生成基于数论佳点集理论萤火虫算法,并从理论上分析算法的有效性;其次,将GPSGSO算法与BPNN相结合构建并行集成学习算法,实现两种算法的并行交互集成.最后,将并行集成学习算法应用于农业干旱灾害预测中,构建基于GPSGSO-BPNN并行集成学习算法的旱情预测模型.通过8个Benchmark函数验证了GPSGSO算法在收敛速度、计算精度及稳定性等方面的有效性.同时,以皖北农业干旱气象数据作为仿真数据,实验结果表明GPSGSO-BPNN算法在计算速度、精度及稳定性方面较传统BPNN、GSO-BPNN及GA-BPNN等算法有较明显的优势,提高了旱情等级预测的准确性.