基于Voting机制的IMA-BP不平衡数据分类算法

针对传统分类模型在实际应用中对提取到的不平衡数据特征进行分类时分类结果精度低的问题，提出使用蜉蝣算法(Mayfly Algorithm, MA)优化的BP神经网络分类模型。同时为了提升算法前期全局搜索能力和后期局部搜索能力，引入阻尼比系数和非线性惯性权重因子，构建出改进蜉蝣算法(Improved Mayfly Algorithm, IMA)优化的BP神经网络（IMA-BP）分类器。根据该分类器分类具有随机的特点，引入集成学习中的投票（Voting）机制，将IMA-BP作为弱分类器，将各弱分类器的分类结果通过软投票方法融合，构成了一个Voting机制的IMA-BP分类模型。为验证分类模型的性能，使用UCI 数据库中的数据集将该模型与其他的模型进行比较，结果表明Voting机制的IMA-BP分类模型对4个数据集的分类准确率分别为88.67%、96.67%、91.25%、93.52%，都要高于其他模型，说明该分类模型具有较好准确性和可行性，对一些分类任务具有较强的指导作用和应用价值。     

一种加入动态权重的AdaBoost算法

【目的】由于AdaBoost算法弱分类器对各待测样本其投票权重是固定不变的,这会导致使用该算法进行分类时准确性不高,于是针对该问题提出了一种结合静态权重与动态权重的学习算法AdaBoost＿DW。【方法】该算法保留了AdaBoost算法训练阶段产生的全部弱分类器,在预测阶段加入了能度量待测样本与各个弱分类器适应性的动态权重,通过双权重共同决定该弱分类器的投票权重。【结果】实验结果表明,AdaBoost＿DW算法的分类精度绝大多数情况下高于原AdaBoost算法。【结论】证明了动态权重的加入能够提高原AdaBoost算法在各数据集上的分类准确率。     

基于改进Real AdaBoost算法的软件可靠性预测

针对基于单一神经网络的软件可靠性模型预测精度低和可信性差的问题,提出一种基于加权信息熵(WIE)的Real BP-AdaBoost算法。首先,用BP神经网络个体代替Real AdaBoost算法的基分类器,构建Real BP-AdaBoost算法。然后,对Real BP-AdaBoost算法的加权方式进行改进,以基分类器对训练样本的整体分类权值与基分类器对测试样本的个体分类权值的乘积作为最终的加权系数,得到WIE Real BP-AdaBoost算法。最后,通过2组软件实际失效数据对WIE Real BP-AdaBoost算法的有效性进行验证,并与SVM、BP网络、Elman网络和Real BP-AdaBoost算法进行比较研究。实验结果显示,WIE Real BP-AdaBoost算法对2组数据预测的均方误差分别为0.442 87和0.284 71,均低于4个对比模型的均方误差,说明了WIE Real BP-AdaBoost算法模型具有更高的预测精度和可信性。     

基于模型决策树的AdaBoost算法

AdaBoost算法是一种将多个基学习器通过合理策略结合生成强学习器的集成算法,其性能取决于基学习器的准确率和多样性。但弱学习器分类精度不高往往也导致了最终强分类器性能较差,因此进一步为了提高算法的分类精确率,本文提出一种MDTAda模型,首先利用基尼指数迭代构造一棵不完全决策树,然后在决策树的非纯伪叶结点上添加简单分类器,生成MDT(模型决策树),将MDT作为AdaBoost算法的基分类器,加权平均生成强分类器。在标准数据集上的实验表明,相比传统的AdaBoost算法,本文提出的算法拥有更好的泛化性能和更优的间隔分布,且在与AdaBoost算法达到相同精度时所需迭代次数更少。     

一种新的多分类代价敏感算法

为了提高代价敏感分类算法MetaCost的准确率,降低错分代价,提出了多类别问题下的一种代价敏感分类算法(简称D-MetaCost算法).该算法利用MetaCost算法,通过多次取样生成多个模型,依据它们的分类准确率,选择其中准确率较高的前几个基分类器,将它们与最后阶段新生成的分类器聚集在一起得到最终分类模型.实验表明,D-MetaCost算法在准确率和代价方面比经典的MetaCost算法有明显的改进和提高.     

基于AdaBoost的弱分类器选择和整合算法

针对传统AdaBoost算法在人脸检测中训练耗时和误检率高的问题,提出一种改进的AdaBoost算法.新算法在基于PSO的AdaBoost算法基础上对弱分类器的选择和整合两个阶段进行改进.弱分类器选择阶段,在使用PSO迭代选择最佳弱分类器之前,剔除部分无用特征,缩小粒子搜索空间;弱分类器整合阶段,在采用基于核函数的非线性感知器算法优化调节弱分类器参数的过程中使用一种新的与正样本分类能力有关的弱分类器初始参数.采用基于MIT数据库的实验结果表明,本文算法比基于PSO的AdaBoost算法在检测性能上有明显提高.     

一种改进的BP-Adaboost算法及在雷达多目标分类上的应用

基于BP-Adaboost的目标分类算法用于雷达目标分类具有良好的效果.随着训练样本以及测试样本数增加,经典"一对多(One vs.Rest,OvR)"BP-Adaboost算法所需用时也随之增加.提出一种改进的多分类BP-Adaboost算法应用在雷达多目标分类上,在提高分类准确率的同时,有效地解决经典算法在多分类上时间开销过大的问题.该方法采用二进制方法重新表示样本数据类别,使用Adaboost算法将多个BP神经网络弱分类器集成起来学习,通过修改经典算法中的损失函数连续调整训练样本分布和弱分类器的权重,最终形成一个强分类器.对雷达高分辨率距离像(High Resolution Range Profile,HRRP)数据集进行分类仿真结果表明,相比于单个BP神经网络基学习器,所提算法的分类准确率提高了5%~10%,相比于经典的"一对多"BP-Adaboost算法,该算法所需用时仅为传统算法的1/2~1/3.     

HSEC:基于聚类的启发式选择性集成

提出一种基于聚类的启发式选择性集成学习算法.集成学习通过组合多个弱分类器获得比单一分类器更好的学习效果,把多个弱分类器提升为一个强分类器.理论上来说弱分类器的个数越多,组合的模型效果越好,但是随着弱分类器的增多,模型的训练时间和复杂度也随之递增.通过聚类的方法去除相似的弱分类器,一方面有效降低模型的复杂度,另一方面选出差异性较大的弱分类器作为候选集合.之后采用启发式的选择性集成算法,对弱分类器进行有效的组合,从而提升模型的分类性能.同时采用并行的集成策略,提高集成学习选取最优分类器子集效率,可以有效地减少模型的训练时间.实验结果表明,该算法较传统方法在多项指标上都有着一定的提升.     

一种基于协同训练半监督的分类算法

为提高少量样本情况下分类器的性能,提出一种基于多分类器协同的半监督样本选择方法,利用未标注样本实现样本增强,提高分类器泛化能力.依靠多分类器的互相监督和多分类器标签一致的原理,将已标记样本作为训练集,利用SVM和RF两个分类器协同训练,多分类器的类别标签和确定度值作为约束条件,从未标记样本集中筛选出最有代表性的样本构成增强样本集,以准确率为评价标准,验证本算法对分类器泛化性能的影响.本算法在手写数字数据集(Mnist字符库)和Landsat土壤数据集上测试,实验结果表明相比少量原始训练样本构建的分类器,增强样本构建分类器预测的全部类别准确率都得到提升.两个数据集的总体准确率分别提升5.97%和7.02%,Mnist数据集中数字5这类准确率提升最高(提升11.9%,从79.3%到91.2%),Landsat土壤数据集中土壤3这一类准确率提升最明显(提升15.8%,从73.5%到89.3%),结果证明了该算法显著提高了分类器的泛化性能.同时与经典的KNN、Co-training和Co-forest算法对比,所提出的算法能够最大限度地利用未标记样本信息,具有最好的精度表现,证明了该研究提出算法的优越性.     

非线性同伦LM算法及在软测量建模中的应用

综合同伦方法与Levenberg-Marquardt(LM)优化方法,提出了一种新型非线性同伦LM神经网络学习算法以改善现有神经网络学习算法的学习效率,分析了不同类型的过渡函数对神经网络泛化性能的影响.该算法具有稳定性强、收敛性能好的特点.结合工业过程实际要求,将提出的改进算法用于丙烯腈收率神经网络软测量建模并与几种常见建模方法比较,结果表明:基于改进算法的软测量模型具有更高的测量精度和更好的泛化性能,满足现场测量要求.     

基于改进GA-BP的移动通信用户流失预测算法

BP神经网络(BPNN)模型对移动通信用户流失的预测有较好的效果,但其全局搜索能力相对较弱,对初始网络权重非常敏感,因此本文通过对用户通信行为的分析,提出一种基于改进GA-BP的移动用户流失预测算法:用改进的遗传算法对BPNN的权值和阈值进行初始化,从而提高预测模型的准确率.改进的遗传算法采用一种自适应的交叉概率和变异概率计算策略,提高了遗传算法寻找全局最优解的能力.通过对比实验发现,本文构建的移动用户流失预测模型,在预测准确率上有着很好的表现.     

采用MEA-AdaBoost-BP模型的工程结构可靠性分析方法

针对工程结构可靠性设计中算法和计算存在的问题,提出基于MEA-AdaBoost-BP神经网络算法模型的可靠性求解方法. 运用思维进化算法(MEA)求解训练集权值和阈值优化的BP神经网络,并构造为弱预测器函数.然后,运用AdaBoost算法将多个优化后的BP神经网络弱预测器函数迭代训练,形成MEA-AdaBoost-BP神经网络算法模型强预测器函数. 最后,利用逼近隐性功能函数求解可靠性指标,并将其与AdaBoost-BP算法和Monte-Carlo算法进行比较.研究结果表明:所提算法在计算中与Monte-Carlo算法相比,其迭代次数分别仅为16次和46次,效率高,计算精度与Monte-Carlo法接近;而和AdaBoost-BP法相比,其可靠性指标误差分别仅为1.59%和1.88%,计算结果更精确.     

基于集成学习的交通流短时特性分析与神经网络预测方法

为揭示交通流的内在动态特性,利用分析法对交通流分形特性进行研究,表明该城市交通流序列具有长程相关性;为达到更精准的短期交通预测效果,同时提出一种基于思维进化算法(MEC)对神经网络最优初始参数的定向搜索,解决神经网络易陷入局部最优的问题;并用自适应增强算法(adaptive enhancement algorithm,Adaboost)对优化过的神经网络集成,弥补神经网络对新样本集的泛化性能差缺陷,在此基础上通过预测误差平方和倒数准则重新调整Adaboost算法对弱预测器权值分布,使每个预测器最大程度提高网络预测精度.验证结果表明,改进MEC-BP_Adaboost模型与BP模型相比,均方误差和平均绝对误差分别下降78.2％和46.4％,证明本文改进方法对交通流预测具有合理性,对不同的交通流状态具有较好的适应性.     

Integrating genetic algorithm method with neural network for land use classification using SZ- 3 CMODIS data

This paper presents a methodology on land use mapping using CMODIS (Chinese Moderate Resolution Imaging Spectroradiometer) data on-board SZ-3 (Shenzhou 3) spacecraft. The integrated method is composed of genetic algorithm (GA) for feature extraction and neural network classifier for land use classification. In the data preprocessing, a moment matching method was adopted to remove the stripes in the images. Then by using the reproduction, crossover and mutation operators of GA based on the mechanism of “natural selection”, and with Jeffries-Matusita distance as its discriminate rule and the training samples, the optimal band combination for land use classification was obtained. To generate a land use map, the three layers back propagation neural network classifier is used for training the samples and classification. Compared with the Maximum Likelihood classification algorithm, the results show that the accuracy of land use classification is obviously improved by using our proposed method, the selected band number in the classification process is reduced, and the computational performance for training and classification is improved. The result also shows that the CMODIS data can be effectively used for land use/land cover classification and change monitoring at regional and global scale.     

基于改进蚁群算法与遗传算法组合的网络入侵检测

为提高网络入侵检测的检测效果,提出一种基于改进蚁群算法与遗传算法组合的网络入侵检测方法.该方法采用遗传算法(genetic algorithm,GA)对网络入侵的特征集进行快速选取,为后续特征提取打下基础;对传统蚁群算法(ant colony optimization,ACO)的节点选择策略和信息素更新策略进行改进,提出一种改进的蚁群算法,提高对最优特征的选择效果,采用改进的蚁群算法对特征进一步选择;采用支持向量机(support vector machine,SVM)统计机器学习方法建立各类网络入侵的检测分类器.仿真实验结果表明,新的网络入侵检测方法综合GA和改进蚁群算法的优势,能够获得更好的入侵特征,从检测正确率、误报率和漏报率3个方面综合比较,新的网络入侵检测方法具有更好的网络入侵检测效果,且提高了检测速率.     

基于改进人工蜂群算法优化小波神经网络的短时交通流预测

为了提高城市道路短时交通流量的预测精度,克服小波神经网络预测过程中存在收敛速度较慢、容易陷入局部最优的缺点,提出改进的人工蜂群算法优化小波神经网络预测模型。该算法引入差分进化算法中的自适应变异操作和遗传算法中的选择算子、交叉算子与变异算子来优化传统的人工蜂群算法,改善人工蜂群算法后期收敛速度慢、局部搜索能力弱的缺点。本文使用该算法优化小波神经网络的参数并对短时交通流进行预测,模型的仿真结果表明,改进人工蜂群算法优化小波神经网络预测的结果误差更小,精确度更高,训练次数少,具有较高的实际应用价值。     

基于最小分类错误训练的神经网络分类器设计

提出了一种基于最小分类错误（MCE）训练的采用多层感知器（MLP）结构的模式分类器设计方法。这是一种以分类错误率最小化为目标的模式分类器设计方法，将它用于MLP分类器设计能够进一步提高分类器的性能。采用MLP实现MCE训练中的分类损失计算，从而将MCE训练过程与MLP分类器设计统一在一个神经网络结构中，通过BP算法予以实现。这不仅能达到提高MLP分类器性能的目的，而且简化了它的设计过程。