基于最大方差组合的选择性神经网络集成

为进一步提高神经网络集成的泛化能力,提出一种基于最大方差组合的选择性神经网络集成构造方法：首先训练出若干神经网络个体,其次,利用离散人工蜂群算法对这些神经网络个体进行组合优化的全局搜索,选出一个最大方差的个体组合,最后,将具有最大方差的神经网络个体使用简单平均方法进行神经网络集成.将该模型应用与广西东南部的区域降水预报试验,实验结果表明,笔者提出的神经网络集成方法比常用的Bagging集成方法提高了8％以上,能有效地提高神经网络的泛化能力.     

基于神经网络免疫集成的非线性时间序列故障预报

针对神经网络集成对个体差异性的要求 ,提出了集成网络间的结构差异度的概念 .在此基础上设计了一种基于反向选择的免疫算法 ,该算法可以在减小集成网络各自训练误差的同时保持网络间的结构差异度 ,从而提高神经网络集成的泛化能力 .同时证明了该算法对最优个体的收敛性 .将该方法应用于受噪声污染的非线性时间序列故障预报 ,根据预测误差可以方便准确地检测系统的缓变故障和突变故障 ,实现对微小故障的快速故障预报 ,降低误检率 .仿真结果证明了该方法的有效性 .     

基于神经网络免疫集成的非线性时间序列故障预报

针对神经网络集成对个体差异性的要求，提出了集成网络间的结构差异度的概念．在此基础上设计了一种基于反向选择的免疫算法，该算法可以在减小集成网络各自训练误差的同时保持网络间的结构差异度，从而提高神经网络集成的泛化能力．同时证明了该算法对最优个体的收敛性．将该方法应用于受噪声污染的非线性时间序列故障预报，根据预测误差可以方便准确地检测系统的缓变故障和突变故障，实现对微小故障的快速故障预报，降低误检率．仿真结果证明了该方法的有效性．     

基于覆盖的神经网络集成在语音识别中的应用

神经网络集成通过训练多个神经网络并将各网络的结论进行合成,从而得到最终结果.集成可以显著的提高学习系统的泛化能力.讨论了基于覆盖思想而设计的神经网络集成方法,并将其应用于汉语孤立数码语音识别系统中,通过在集成过程中加入基于覆盖思想的控制算法降低系统的泛化误差,从而使系统的识别效果有了进一步的提高.     

神经网络动态集成技术及其应用

针对当前神经网络集成方法在提高泛化能力方面的不足,提出了神经网络动态集成技术。该技术首先对神经网络集成中的个体之间进行负相关处理提高个体的差异度,然后选择训练误差较小的个体来提高个体的精确度。最后,以广东省某市的宏观经济数据为例,证明了该技术的有效性。     

基于神经网络集成的经济预测模型

针对单个BP神经网络用于经济预测存在的不足,提出了一种新的更有效的经济预测模型--神经网络集成.神经网络集成通过训练多个神经网络并将各网络输出进行合成,能够显著提高网络的泛化能力.以广东省江门市的经济数据为例,采用Bagging算法训练了五个BP神经网络,构建了一个神经网络集成的GDP预测模型,并运用MATLAB 7.0语言程序实现.预测结果令人满意,优于单个神经网络预测方法.实证表明,神经网络集成用于经济预测是有效可行的,同时在一定程度上克服了单个神经网络的缺陷.     

基于特征选择的神经网络集成方法

将特征选择技术ReliefF引入Bagging方法中,提出了一种新的神经网络集成方法——ReBag．实验结果表明,本方法的泛化能力优于Bagging方法,与Attribute Bagging方法相当但效率更高．     

基于神经网络集成的P2P流量识别研究

提出一种新的基于神经网络集成的P2P流量识别方法,利用CFS特征选择算法提取P2P流量特征,使用动态加权集成方法将6个神经网络集成应用于P2P流量识别.通过在实际网络流数据集上与单一BP神经网络、决策树、朴素贝叶斯和支持向量机算法的对比实验,结果表明该方法具有较高的P2P流量识别准确率和稳定性.     

一种基于加权kappa增益的有序分类的选择性集成算法

选择性集成方法预测速度快,所需存储空间小,泛化能力强。有序分类方法在解决分级决策,竞标决策等问题上是一种行之有效的方法,针对有序分类选择集成问题定义了加权kappa增益,充分考虑标签之间序差距与集成机制,并用来对bagging生成的有序基学习机进行选择性集成。提出的基于加权kappa增益的选择集成方法与bagging随机集成,不加权kappa选择集成和reduce-error选择集成在四组人造数据集和六组真实数据集进行比较,结果表明该方法的测试误差在集成很少数目的基学习机时就达到最小值,且在三组人造数据集和五组真实数据集上获得最小的测试误差,较bagging方法,不加权kappa方法,reduce-error方法误差分别最大程度降低了7.54%,1.68%,1.10%。     

基于最小最大策略的集成特征选择

特征选择是机器学习和数据挖掘中的一个关键问题,它可以实现数据维度的约减,从而提高学习模型的泛化能力.近年来,为了提高特征选择算法的性能,集成思想被应用到特征选择算法中,即将多个基特征选择器进行集成.本文从提高特征选择算法对大规模数据处理能力的角度出发,提出了一种基于最小最大策略的集成特征选择方法.它主要包括三个步骤:第一,将原始数据根据类别信息划分成多个相对较小的平衡数据子集;第二,在每一个数据子集上进行特征选择,得到多个特征选择结果;第三,对多个特征选择结果依据最小—最大策略进行集成,得出最终的特征选择结果.通过实验对比了该集成策略与其它三种集成策略对分类准确率的影响,结果表明最小最大集成策略在大部分情况下能够获得较好的性能,且基于最小最大策略的集成特征选择可以有效处理大规模数据.     

集成学习中特征选择技术

集成学习和特征选择是当前机器学习领域中的研究热点.集成学习通过重复采样可产生个体学习器之间差异度,从而提高个体学习器的泛化能力,特征选择应用到集成学习可进一步提高集成学习技术的效果,该研究有3个方面：数据子集的特征选择、个体学习器的选择和多任务学习.该文对近几年集成学习中特征选择技术的研究进行回顾,尤其对以上3个方面的研究分别进行总结,提出一些共性的技术指导以后的研究.     

基于主成份分析的Bagging集成学习方法

机器学习中数据集的冗余特征会影响学习器的泛化能力，一些流行方法如支持向量机和集成学习也难免于此．研究了利用主成份分析进行特征变换对Bagging集成学习算法的影响，提出一种称为PCA—Bagging的算法，并与其它算法比如单个支持向量机、支持向量机Bagging集成、带有特征变换的单个支持向量机等进行了性能比较．在多个UCI标准数据集上的实验表明PCA—Bagging算法具有更好的性能，这说明即使是泛化能力很强的集成学习方法其学习的数据也需要进行适当的特征变换。     

神经网络紧凑集成模式

在分析现有神经网络集成构造过程的基础上，提出了一种神经网络紧凑集成模式，集成中成员网络的训练和网络组合权重的优化在同一个学习过程中进行，各参数的调整以提高集成泛化性能为目的．与现有神经网络集成模式相比，集成构造过程更加紧凑，它将个体网络生成阶段与结论合成阶段合二为一，并且网络之间的信息交互建立在实时动态的集成结构基础上，保证了成员网络训练与结论合成之间信息传递的始终一致性．为验证该模式的有效性及优越性，采用4种典型的分类数据集对神经网络紧凑集成模式与CNNE、Bagging、Boosting等现有的集成模式在泛化性能上进行了比较，结果表明神经网络集成模式在测试数据集上的错误率降低了8％～16％．     

基于边际的组合分类器选择算法

研究表明,具有较大边际分别的组合分类器泛化性能更高.根据该结论,论文构造了一个新的基于边际的度量指标(MM)以充分考虑基分类器和组合分类器的分类能力,进而提出了一种新的组合分类器选择方法.该方法初始化组合分类器为空(或满),迭代的加入(或移除)具有最大(或最小)MM值的分类器,以降低组合分类器规模并提高它的分类准确率.在随机选择的24个UCI数据集上的实验表明,与其他一些高级的贪心组合选择算法相比,该方法具有更好的泛化能力.     

基于文化算法的神经网络集成方法

提出了一种基于文化算法的神经网络集成方法,在训练好个体神经网络后,使用文化算法选择部分网络来组成神经网络集成.该方法将遗传算法纳入文化算法框架,充分利用优秀个体的经验知识来指导算法的搜索过程,从而提高了算法的搜索速度.实验结果表明,使用文化算法进行集成,能够提高构造差异性大的神经网络集成的效率.     

基于属性相似度的连续型特征选择方法

特征选择作为模式识别领域的研究热点,是一种重要的降维方法.对于连续型特征,目前主要采用离散化方法或特征分类能力的"相关性"评估进行特征选择.引入区间数相似度的概念,提出一种连续型特征选择方法.该方法以区间数相似度为基础,定义每个特征的属性相似度,以此作为特征选择的启发信息,对特征全集进行排序,选择特征子集,实现特征选择.相关实验表明了该方法的有效性.     

基于模糊划分的神经网络集成

基于模糊聚类思想,提出了一种神经网络集成方法.由训练数据的模糊聚类结果,把训练数据划分成相交子集,基于各子集生成集成的个体神经网络.由于各子集所包含的数据和数据的类别各不相同,因而个体神经网络性能和结构存在差异.子集个数确定集成中个体神经网络个数.另外,基于隶属度函数计算公式,提出了个体神经网络输出结论结合方法.理论分析和实验结果表明,此方法对模式分类能取得较好的效果.     

结合扰动集成RBF的故障识别方法

为提高旋转机械故障识别精度,将神经网络与集成学习方法进行结合,提出结合扰动方式的集成RBF故障模式识别方法.首先,通过ReliefF算法计算所提取出的转子故障特征数据集各个特征的权重,并且将权重值进行降序排列,从而筛选出权重趋大的系列特征构成低维特征数据集;其次,将较大权重作为无放回轮盘赌法的输入,对权重所对应的低维特征数据集进行特征扰动,产生系列化低维数据子集并将其划分为训练集和测试集;然后,采用Bagging算法中的自助采样法对训练集进行样本扰动,以此形成新的训练集并用于训练对应个数的RBF神经网络,完成差异性子分类器的构建;最终,对各个神经网络的测试数据辨识结果通过相对多数投票法进行结合,得到故障识别结果.实验结果表明,对于转子系统的故障识别,该方法相较于未集成RBF神经网络、集成BP神经网络具有较高的识别精度,并且拥有较好的泛化性能.