一种快速选择性神经网络集成方法

选择性集成通过选择部分个体能够获得比传统全部集成更好的泛化性能．已有的一些选择性集成方法实现的时间复杂性较高，或没有充分利用个体的先验信息．提出了一种新的选择性集成方法FASEN（fast approach to selective ENsemble）．该方法在独立训练出一批神经网络后，采用一种近似搜索策略，只选择与其他个体差异较大且估计泛化误差较小的网络参加集成，把个体选择的搜索空间从2^N降到N．理论分析与实验结果表明，该方法简单高效，泛化性能与已有的几种选择性集成方法相当甚至占优．     

基于差异性度量的选择性神经网络集成

基于神经网络间的差异性,提出一种选择性神经网络集成方法.该方法利用差异性度量,选择满足一定条件的个体神经网络组成神经网络集成,选出的个体神经网络既满足个体的精度要求,又满足个体神经网络之间的差异性要求.理论分析和实验结果表明,利用该方法能够提高神经网络集成的分类识别率.     

基于最大方差组合的选择性神经网络集成

为进一步提高神经网络集成的泛化能力,提出一种基于最大方差组合的选择性神经网络集成构造方法：首先训练出若干神经网络个体,其次,利用离散人工蜂群算法对这些神经网络个体进行组合优化的全局搜索,选出一个最大方差的个体组合,最后,将具有最大方差的神经网络个体使用简单平均方法进行神经网络集成.将该模型应用与广西东南部的区域降水预报试验,实验结果表明,笔者提出的神经网络集成方法比常用的Bagging集成方法提高了8％以上,能有效地提高神经网络的泛化能力.     

基于二次选择匹配的神经网络集成构造方法研究

研究12种基于二次选择匹配的选择性神经网络二次集成构造方法.分析了两次集成中所用选择方法的匹配关系及第1级结构中选择性神经网络集成个体的个数对神经网络集成效果的影响.仿真结果表明,通过采用二次选择匹配以及一定的集成个数可以保证个体具有较高的精度、差异度,并减少过拟合对集成结果的影响,提高神经网络的集成精度.     

一种新的选择集成算法

针对一般的选择性集成学习算法在选择分类器阶段需要独立设置验证集因而损失了一定的训练数据的缺点,提出了一种新的选择性集成分类算法FPSE,该算法采用一种基于排序的策略,这种策略在选择阶段就存在速度上的优势;其优势在于不必独立设置验证集,而采取一种将个体选择评估融入在原始数据本身的方法.实验验证了FPSE算法在个体评估策略的有效性,以及较好的泛化性能;对比试验说明了该算法的分类预测表现要优于Bagging算法和AdaBoost算法.     

基于神经网络免疫集成的非线性时间序列故障预报

针对神经网络集成对个体差异性的要求，提出了集成网络间的结构差异度的概念．在此基础上设计了一种基于反向选择的免疫算法，该算法可以在减小集成网络各自训练误差的同时保持网络间的结构差异度，从而提高神经网络集成的泛化能力．同时证明了该算法对最优个体的收敛性．将该方法应用于受噪声污染的非线性时间序列故障预报，根据预测误差可以方便准确地检测系统的缓变故障和突变故障，实现对微小故障的快速故障预报，降低误检率．仿真结果证明了该方法的有效性．     

选择性集成学习模型在岩性-孔隙度预测中的应用

储层是油藏地质建模的主要对象,储层属性参数的预测是建模的重要基础和主要难点之一。利用机器学习方法建立预测模型是目前研究的一个热点。针对单一机器学习方法在孔隙度预测方面存在的容错率低、过拟合等缺点,提出了融合岩性分类进行选择性集成学习建立预测模型的方法。该方法首先使用支持向量机进行岩性分类,并将岩性分类结果作为孔隙度选择性集成预测模型的输入。然后在研究分析典型机器学习方法的基础上,通过主成分方法分析法从支持向量回归、径向基(radial basis function,RBF)神经网络、随机森林、岭回归和K近邻回归等经典模型中选择出一组表现优异的个体学习模型组成集成学习模型,个体在集成模型中的权重由"主成分权重平均"法获得,最终采用加权平均法得到集成学习模型的输出。该方法考虑了岩性对孔隙度的影响,克服了单一模型存在的不足,模型的泛化能力强。研究结果表明,该方法的预测精度明显优于其他单一机器学习方法,适应性好。     

神经网络动态集成技术及其应用

针对当前神经网络集成方法在提高泛化能力方面的不足,提出了神经网络动态集成技术。该技术首先对神经网络集成中的个体之间进行负相关处理提高个体的差异度,然后选择训练误差较小的个体来提高个体的精确度。最后,以广东省某市的宏观经济数据为例,证明了该技术的有效性。     

基于选择性的贝叶斯分类器集成方法

提出一种基于选择性的贝叶斯分类器集成方法．该方法为避免数据预处理时的属性约简对分类效果的直接影响，在训练集上通过随机属性选取生成若干属性子集，并以这些子集训练不同的贝叶斯分类器，进而采用遗传算法优选贝叶斯分类器集成，其适应度函数综合了分类器的精度和差异度两项指标．实验中，将该方法与已有方法在UCI的标准数据集上进行了性能比较，并将该方法用于C^3I系统中的威胁度估计。     

神经网络分类器动态集成方法

提出一种神经网络分类器的动态集成方法.基于bootstrapping构建不同的个体神经网络,针对混合属性,通过不同的加权最近邻设计评估单个网络的分类精度,在此基础上动态选择误差率较小的神经网络,经过投票形成集成分类结果.将该方法与其它几种集成方法在10个UCI数据集上进行了分类性能比较.实验结果表明,该方法在上述所有数据集上的平均分类精度最佳,同时发现,Bagging比隐层神经元数法能更好地生成个体网络,而将两者结合起来训练个体神经网络,并不能明显提高集成性能.     

基于重采样策略的选择性谱聚类集成学习算法

提出了一种新的基于双重采样的选择性集成学习算法。针对集成学习要求学习器个体的差异性分布在样本空间的不同部分,对得到的聚类个体学习器输出进行重采样,以此来计算聚类个体的差异性。针对集成学习要求得到的个体学习器具有一定的精确性,对所有得到的学习器个体集合进行重采样来评估聚类个体精确性。在此基础上选择出集成学习所需的个体集合。以谱聚类算法作为基学习器,用聚类集成策略部分解决了谱聚类算法存在的尺度参数敏感问题,在UCI数据集上的仿真实验验证了算法的有效性。     

基于改进Fisher准则与极限学习机集成的图像隐写分析

集成分类器是目前图像隐写分析中广泛使用的分类器。针对集成分类器中基分类器受离群样本影响较大,集成策略效果不佳的缺点,提出一种基于改进Fisher准则与极限学习机集成的图像隐写分析算法。首先,通过重新定义类内散度矩阵以提高Fisher准则模型的准确性,之后基于改进的Fisher准则并使用Bagging算法训练若干基分类器,最后使用极限学习机作为元分类器来建立基分类器集合与正确决策之间的联系。实验结果表明,在不同的隐写算法与嵌入率的条件下,与传统集成分类器和基于选择性集成的集成分类器相比,所提算法降低了3.5%与1.8%的检测错误率,说明能够有效提高集成分类器的检测精度。     

采用仿射传播的聚类集成算法

针对K均值聚类随机初始聚类中心导致的聚类结果不稳定问题,提出一种基于仿射传播的聚类集成算法.该算法把每个聚类集成的成员个体结果看成是原始数据的一个属性,然后在其基础上对聚类成员个体的聚类结果进行加权集成,集成算法采用简单高效的仿射传播聚类,并且提出了直接集成、利用平均规范化互信息(NMI)和聚类有效性Silhouette指标进行加权集成.最后,运用Hungarian算法对仿射传播聚类集成的结果进行类别标签的统一和匹配.在加州大学尔湾分校数据集上进行了实验,结果表明,与集成前的K均值聚类及其他聚类集成算法相比,该算法能有效地提高聚类结果的准确性、鲁棒性和稳定性,建立起来的聚类集成算法具有良好的扩展性和灵活性,而且简单有效.     

面向复合材料带隙预测的两段式集成学习模型构建

带隙是钙钛矿型复合氧化物材料重要的特征参数, 对材料的物理化学性质起决定性作用, 如导电性能和光电性能等. 为了寻找适合不同应用领域的钙钛矿型材料, 利用机器学习进行带隙预测是一种重要的研究手段. 构建了一个两阶段异质集成学习模型, 在第一阶段使用多种不同的基础机器学习器(回归模型)进行预测; 在第二阶段把对预测结果影响较大的描述子和基础机器学习器进行集成学习.利用该模型对 210 种钙钛矿型复合氧化物材料的带隙进行预测, 并与多种独立的机器学习算法以及不同集成策略模型的预测性能相对比, 评估了本模型的预测性能. 结果表明, 这种两段式的集成学习模型能够更好地学习到材料数据的内在关系, 并具有较好的预测效果和较强的泛化能力.     

量子粒子群优化神经网络集成股市预测模型研究

利用量子粒子群优化神经网络集成个体的网络结构和连接权值,对集成个体进行支持向量机回归集成,建立一个新的量子粒子群优化神经网络集成股市预测模型。新模型能有效提高神经网络集成系统的泛化能力,易操作,稳定性好,预测精度高,具有良好的应用前景。     

神经网络紧凑集成模式

在分析现有神经网络集成构造过程的基础上，提出了一种神经网络紧凑集成模式，集成中成员网络的训练和网络组合权重的优化在同一个学习过程中进行，各参数的调整以提高集成泛化性能为目的．与现有神经网络集成模式相比，集成构造过程更加紧凑，它将个体网络生成阶段与结论合成阶段合二为一，并且网络之间的信息交互建立在实时动态的集成结构基础上，保证了成员网络训练与结论合成之间信息传递的始终一致性．为验证该模式的有效性及优越性，采用4种典型的分类数据集对神经网络紧凑集成模式与CNNE、Bagging、Boosting等现有的集成模式在泛化性能上进行了比较，结果表明神经网络集成模式在测试数据集上的错误率降低了8％～16％．     

基于粒子群优化算法的并行学习神经网络集成构造方法

为了提高神经网络集成中个体网络的差异性,并减少将集成用于预测时的计算量,本文结合粒子群优化算法和个体网络的并行学习机制,提出了一种基于粒子群优化的并行学习神经网络集成构造方法。实验表明,和传统的集成构造方法相比,该构造方法具有比较好的性能。     

基于粗糙集的决策树集成学习算法

【目的】为提高决策树集成的泛化能力和效率,解决集成全部决策树的情况下有时并不显著提高精度、反而导致额外存储和计算开销的问题,提出一种基于粗糙集的决策树集成学习算法。【方法】该算法基于粗糙集理论,从训练的全部决策树中选择一部分进行集成。【结果】与目前流行的集成学习算法Bagging和Boosting相比,本文提出的算法有效地减小了集成规模,并获得更好的泛化能力。【结论】该算法提高了决策树集成的泛化能力和效率。     

基于协同学的人脸分类集成

提出了一种基于协同学的人脸分类集成方法.选择不同的训练样本作为原型模型,以增加原型模型的多样性;识别时,将序参量转化为后验概率,分别运用投票法和基于和的后验概率集成方法进行识别,并提出了一种改进的基于和的后验概率集成方法,来提高集成的效果.另外,将核主分量分析和协同模式识别进行结合,在运用协同模式识别之前,先采用核主分量分析获得原始图像的最优非线性表示,以提高模式的可分性,并消除图像冗余信息的影响,然后再进行协同人脸分类.对Y a le人脸库中的图像进行识别实验,结果表明所提方法的有效性,取得了比经典的协同模式识别方法和核主成分分析更好的结果.     

基于异质矩阵完全的缺失数据恢复混合集成算法

缺失数据广泛存在于现实世界中，它对后续的数据分析有很大的影响，有可能导致结果完全错误。近年来，很多基于压缩传感理论的矩阵完全算法被提出并用于缺失数据恢复，但不同的算法在不同的数据集上产生的结果有很大不同，都有自己的优缺点和适用场景。为此提出一种基于异质矩阵完全算法和最大多样性的集成策略的混合集成学习算法，实验结果表明，此算法在不同的数据集上优于那些单个算法。