基于主成份分析的Bagging集成学习方法

机器学习中数据集的冗余特征会影响学习器的泛化能力，一些流行方法如支持向量机和集成学习也难免于此．研究了利用主成份分析进行特征变换对Bagging集成学习算法的影响，提出一种称为PCA—Bagging的算法，并与其它算法比如单个支持向量机、支持向量机Bagging集成、带有特征变换的单个支持向量机等进行了性能比较．在多个UCI标准数据集上的实验表明PCA—Bagging算法具有更好的性能，这说明即使是泛化能力很强的集成学习方法其学习的数据也需要进行适当的特征变换。     

基于Bagging的交通拥堵预测研究

针对交通拥堵原因的多元性及单个神经网络拥堵模型准确率不高的特点,设计了一个以BP经网络为弱学习算法、基于Bagging集成学习方法的交通拥堵预测模型．与单个神经网络模型相比,Bagging后的预测模型具有更加优良的性能,可为市内交通预警决策提供分析与支持。     

一种基于Bagging算法的高斯过程集成建模方法

针对单一高斯过程在化工过程软测量建模中存在估计精度不高的问题,利用Bagging和高斯过程回归算法,提出一种基于Bagging算法的集成高斯过程软测量建模方法.该算法使用Bagging技术从训练样本集中选取若干子训练样本集,利用该若干子集形成多个高斯过程模型,并通过加权组合方式进行集成,得到最终的模型输出.将该方法应用...     

基于自适应权值的SVM集成学习方法

提出一种自适应权值的支持向量机集成学习方法。该方法以Bagging方法为基础,结合部分AdaBoost算法权值更新的思想,给各个子分类器赋予权值,同时结合支持向量机本身的特性,对训练数据进行选择,加大训练样本的差异性。相比较传统的Bagging方法,结合SVM的特性来更有针对性的训练错分样本。文中使用4个UCI数据集进行对比实验,结果表明本文算法相比较传统的Bagging算法可以在一定程度上提高分类器的泛化能力。     

基于粗糙集和集成学习的聊天知识抽取算法

聊天机器人是当前网络机器人的一个热点问题.从在线论坛自动抽取<帖子标题,回复对作为聊天知识,将粗糙集方法应用于相关回复的判断,同时结合基于Bagging的集成学习方法,进一步提高了识别效果.实验结果显示,抽取出来的(帖子标题,回复)对,具有较高的质量,可以作为聊天知识.     

基于RSBRA离散化方法的支持向量机集成

提出一种新的基于离散化方法的支持向量机集成算法,该算法采用粗糙集和布尔推理离散化方法构造有差异的基分类器,进一步提高了集成学习机的分类性能.实验结果表明,所提算法具有明显优于单一支持向量机的分类性能,并能取得比传统的集成学习算法Bagging和Adaboost更高的分类正确率.     

神经网络紧凑集成模式

在分析现有神经网络集成构造过程的基础上，提出了一种神经网络紧凑集成模式，集成中成员网络的训练和网络组合权重的优化在同一个学习过程中进行，各参数的调整以提高集成泛化性能为目的．与现有神经网络集成模式相比，集成构造过程更加紧凑，它将个体网络生成阶段与结论合成阶段合二为一，并且网络之间的信息交互建立在实时动态的集成结构基础上，保证了成员网络训练与结论合成之间信息传递的始终一致性．为验证该模式的有效性及优越性，采用4种典型的分类数据集对神经网络紧凑集成模式与CNNE、Bagging、Boosting等现有的集成模式在泛化性能上进行了比较，结果表明神经网络集成模式在测试数据集上的错误率降低了8％～16％．     

神经网络集成模型在广东省海洋生产总值预测中的应用

海洋生产总值预测是一项极其复杂但又非常重要的工作,本文探讨了神经网络集成模型在广东省海洋生产总值预测中的应用.通过采集广东省2000—2010年海洋统计年鉴数据,借助Bagging方法生成仿真数据训练网络个体,将12个个体网络集成对广东省2010年海洋生产总值进行预测分析,该模型解决了海洋经济数据非线性、时变性、样本量少和偏差大等问题.与线性回归方法的比较结果表明,神经网络集成模型预测海洋生产总值的结果更可靠.     

基于Bagging集成策略和多元状态估计的风电机组齿轮箱状态监测

风电机组齿轮箱的故障率和维护成本相对较高,有必要对其运行状态进行实时监测。多元状态估计(multivariate state estimate technique, MSET)是一种常用的状态监测方法,但在记忆矩阵规模较大时,MSET在线计算的实时性较差。为此,提出一种基于Bagging集成策略和MSET的新方法:首先基于Bagging集成策略,对训练数据进行多次随机抽样,构造多个记忆矩阵规模较小的MSET子模型,最终将子模型的结果平均后作为集成模型的输出。以某2 MW风电机组的运行数据为算例,对集成MSET的性能进行了对比实验。结果表明:在精度相当的前提下,集成方法的计算时间仅为常规方法的60%;结合统计过程控制技术设计了预警阈值和滑动窗口异常率,并对集成MSET的故障预警能力进行验证,结果表明,集成方法能够提前约10 d预警齿轮箱的实际故障。     

一种新的选择集成算法

针对一般的选择性集成学习算法在选择分类器阶段需要独立设置验证集因而损失了一定的训练数据的缺点,提出了一种新的选择性集成分类算法FPSE,该算法采用一种基于排序的策略,这种策略在选择阶段就存在速度上的优势;其优势在于不必独立设置验证集,而采取一种将个体选择评估融入在原始数据本身的方法.实验验证了FPSE算法在个体评估策略的有效性,以及较好的泛化性能;对比试验说明了该算法的分类预测表现要优于Bagging算法和AdaBoost算法.     

A rough sets based pruning method for bagging ensemble

Ensemble techniques train a set of component classifiers and then combine their predictions to classify new patterns. Bagging is one of the most popular ensemble techniques for improving weak classifiers. However, it is hard to deploy in many real applications because of the large memory requirement and high computation cost to store and vote the predictions of component classifiers. Rough set theory is a formal mathematical tool to deal with incomplete or imprecise information, which has attracted a lot of attention from theory and application fields. In this paper, a novel rough sets based method is proposed to prune the classifiers obtained from bagging ensemble and select a subset of the component classifiers for aggregation. Experiment results show that the proposed method not only decreases the number of component classifiers but also obtains acceptable performance.     

基于Elman神经网络集成的诺西肽发酵过程建模

针对单神经网络模型外推效果不理想、泛化能力较差的缺点,将神经网络集成用于诺西肽发酵过程的建模.采用Bagging技术进行重复取样用于个体神经网络的训练,结论生成时采用加权平均法,各子网络的权重利用差分进化算法来确定.个体神经网络选用典型的动态神经网络Elman网络,通过对多个Elman神经网络模型的输出进行融合,建立了基于神经网络集成的诺西肽发酵产物浓度模型.最后将所建立的模型与基于单神经网络的模型进行了比较,结果说明该模型具有更高的精度和泛化能力.     

基于改进Fisher准则与极限学习机集成的图像隐写分析

集成分类器是目前图像隐写分析中广泛使用的分类器。针对集成分类器中基分类器受离群样本影响较大,集成策略效果不佳的缺点,提出一种基于改进Fisher准则与极限学习机集成的图像隐写分析算法。首先,通过重新定义类内散度矩阵以提高Fisher准则模型的准确性,之后基于改进的Fisher准则并使用Bagging算法训练若干基分类器,最后使用极限学习机作为元分类器来建立基分类器集合与正确决策之间的联系。实验结果表明,在不同的隐写算法与嵌入率的条件下,与传统集成分类器和基于选择性集成的集成分类器相比,所提算法降低了3.5%与1.8%的检测错误率,说明能够有效提高集成分类器的检测精度。     

增量构造负相关异构神经网络集成的方法

基于负相关异构网络,提出了一种增量构造异构神经网络集成(NNE)的方法.该方法在训练成员网络时,不仅调整网络的连接权值,而且动态调整网络的结构,从而在提高单个网络精度的同时增加各成员网络之间的差异度,减小网络集成的泛化误差.该方法包括构造最佳异构网络(BHNN)和构造异构网络集成(HNNE)两个部分,BHNN基于负相关学习动态构造多个最佳网络,HNNE利用训练好的最佳网络增量地构造异构NNE.使用网络泛化误差和集成泛化误差,整个集成过程可自动完成,无需预先确定成员网络的结构.分别对回归和分类问题进行了实验,相对于单个网络,该方法在测试数据集上的错误率降低了17%～85%,与已有的Boosting、Bagging等网络集成方法相比,错误率也有不同程度的改善.     

结合扰动集成RBF的故障识别方法

为提高旋转机械故障识别精度,将神经网络与集成学习方法进行结合,提出结合扰动方式的集成RBF故障模式识别方法.首先,通过ReliefF算法计算所提取出的转子故障特征数据集各个特征的权重,并且将权重值进行降序排列,从而筛选出权重趋大的系列特征构成低维特征数据集;其次,将较大权重作为无放回轮盘赌法的输入,对权重所对应的低维特征数据集进行特征扰动,产生系列化低维数据子集并将其划分为训练集和测试集;然后,采用Bagging算法中的自助采样法对训练集进行样本扰动,以此形成新的训练集并用于训练对应个数的RBF神经网络,完成差异性子分类器的构建;最终,对各个神经网络的测试数据辨识结果通过相对多数投票法进行结合,得到故障识别结果.实验结果表明,对于转子系统的故障识别,该方法相较于未集成RBF神经网络、集成BP神经网络具有较高的识别精度,并且拥有较好的泛化性能.     

一种基于聚类和AdaBoost的自适应集成算法

为同时保证基分类器的准确性和差异性, 提出一种基于聚类和AdaBoost的自适应集成算法. 首先利用聚类算法将训练样本分成多个类簇; 然后分别在每个类簇上进行AdaBoost训练并得到一组分类器; 最后按加权投票策略进行分类器的集成. 每个分类器的权重是自适应的, 且为基于测试样本与每个类簇的相似性及分类器对此测试样本的分类置信度计算得到. 实验结果表明, 与AdaBoost,Bagging(bootstrap aggregating)和随机森林等代表性集成算法相比, 该算法可取得更高的分类精度.     

基于复合神经网络的网络业务分类算法

针对目前计算机网络业务流管理问题,提出了一种基于复合神经网络的网络业务分类方案．将复合神经网络用于网络业务源特征提取与分类的研究中,打包法和BP算法结合用于复合神经网络的训练．并分析比较与单个神经网络和模糊神经网络算法用于网络业务分类效果．计算机仿真结果表明,复合神经网络分类收敛快、误差小,比单个神经网络算法和模糊神经网络算法更优越；同时,研究结果为解决网络业务源特征提取与分类提供了一种有效的途径．