神经网络紧凑集成模式

在分析现有神经网络集成构造过程的基础上，提出了一种神经网络紧凑集成模式，集成中成员网络的训练和网络组合权重的优化在同一个学习过程中进行，各参数的调整以提高集成泛化性能为目的．与现有神经网络集成模式相比，集成构造过程更加紧凑，它将个体网络生成阶段与结论合成阶段合二为一，并且网络之间的信息交互建立在实时动态的集成结构基础上，保证了成员网络训练与结论合成之间信息传递的始终一致性．为验证该模式的有效性及优越性，采用4种典型的分类数据集对神经网络紧凑集成模式与CNNE、Bagging、Boosting等现有的集成模式在泛化性能上进行了比较，结果表明神经网络集成模式在测试数据集上的错误率降低了8％～16％．     

基于新型进化规划的异构神经网络集成算法

提出一种基于新型进化规划的异构神经网络集成算法。首先利用改进的进化规划,克服传统的进化规划及EPNet模型的不足,生成多个异构的最优网络,然后对异构网络进行组合求解。该集成算法充分利用了Bootstrap采样的天然特性实现了网络间的异构和差异度,同时又保证了单个成员网络的精度,克服了传统Bagging,Boosting算法中成员网络结构固定,缺乏个体精度的缺点。通过仿真实验证明,该方法较传统集成算法具有更好的泛化性能并减少了传统集成算法中的随机不确定因素。     

神经网络二次集成预测算法研究

针对常用预测算法不同程度地存在泛化能力不足的缺陷，提出了基于神经网络二次集成的优化算法(NNE2-QQ).该算法在第一次集成时采用量子粒子群算法进行个体网络的选择优化，在第二次集成时采用量子免疫算法进行集成结论生成优化，并通过多次迭代自适应寻求个体和权值的最佳组合，实现神经网络二次集成模型的性能最优，最后实验验证了NNE2-QQ算法的有效性和实用性. NNE2-QQ可从海量数据中发现各种因素之间的联系及其规律，为预测判断提供支持.     

神经网络动态集成技术及其应用

针对当前神经网络集成方法在提高泛化能力方面的不足,提出了神经网络动态集成技术。该技术首先对神经网络集成中的个体之间进行负相关处理提高个体的差异度,然后选择训练误差较小的个体来提高个体的精确度。最后,以广东省某市的宏观经济数据为例,证明了该技术的有效性。     

神经网络分类器动态集成方法

提出一种神经网络分类器的动态集成方法.基于bootstrapping构建不同的个体神经网络,针对混合属性,通过不同的加权最近邻设计评估单个网络的分类精度,在此基础上动态选择误差率较小的神经网络,经过投票形成集成分类结果.将该方法与其它几种集成方法在10个UCI数据集上进行了分类性能比较.实验结果表明,该方法在上述所有数据集上的平均分类精度最佳,同时发现,Bagging比隐层神经元数法能更好地生成个体网络,而将两者结合起来训练个体神经网络,并不能明显提高集成性能.     

基于神经网络免疫集成的非线性时间序列故障预报

针对神经网络集成对个体差异性的要求 ,提出了集成网络间的结构差异度的概念 .在此基础上设计了一种基于反向选择的免疫算法 ,该算法可以在减小集成网络各自训练误差的同时保持网络间的结构差异度 ,从而提高神经网络集成的泛化能力 .同时证明了该算法对最优个体的收敛性 .将该方法应用于受噪声污染的非线性时间序列故障预报 ,根据预测误差可以方便准确地检测系统的缓变故障和突变故障 ,实现对微小故障的快速故障预报 ,降低误检率 .仿真结果证明了该方法的有效性 .     

基于神经网络集成的经济预测模型

针对单个BP神经网络用于经济预测存在的不足,提出了一种新的更有效的经济预测模型--神经网络集成.神经网络集成通过训练多个神经网络并将各网络输出进行合成,能够显著提高网络的泛化能力.以广东省江门市的经济数据为例,采用Bagging算法训练了五个BP神经网络,构建了一个神经网络集成的GDP预测模型,并运用MATLAB 7.0语言程序实现.预测结果令人满意,优于单个神经网络预测方法.实证表明,神经网络集成用于经济预测是有效可行的,同时在一定程度上克服了单个神经网络的缺陷.     

基于神经网络免疫集成的非线性时间序列故障预报

针对神经网络集成对个体差异性的要求，提出了集成网络间的结构差异度的概念．在此基础上设计了一种基于反向选择的免疫算法，该算法可以在减小集成网络各自训练误差的同时保持网络间的结构差异度，从而提高神经网络集成的泛化能力．同时证明了该算法对最优个体的收敛性．将该方法应用于受噪声污染的非线性时间序列故障预报，根据预测误差可以方便准确地检测系统的缓变故障和突变故障，实现对微小故障的快速故障预报，降低误检率．仿真结果证明了该方法的有效性．     

基于即时学习的集成神经网络及其干点预测

针对单个神经网络泛化能力差、对不同样本预测精度波动大的问题,提出了一种基于即时学习集成神经网络方法。首先,基于训练样本,建立多个不同的神经网络模型。其次,根据即时学习的思想,在对样本进行预测时,在训练样本中寻找与预测样本最接近的若干邻近样本,根据各网络对邻近样本的训练误差,即时形成各神经网络的集成权重,实时构造集成神经网络模型,对预测样本进行预测。最后,将该方法应用于初顶石脑油干点的预测,相比于文献中提出的方法,得到了更好的预测结果 。     

一种快速选择性神经网络集成方法

选择性集成通过选择部分个体能够获得比传统全部集成更好的泛化性能．已有的一些选择性集成方法实现的时间复杂性较高，或没有充分利用个体的先验信息．提出了一种新的选择性集成方法FASEN（fast approach to selective ENsemble）．该方法在独立训练出一批神经网络后，采用一种近似搜索策略，只选择与其他个体差异较大且估计泛化误差较小的网络参加集成，把个体选择的搜索空间从2^N降到N．理论分析与实验结果表明，该方法简单高效，泛化性能与已有的几种选择性集成方法相当甚至占优．     

基于覆盖的神经网络集成在语音识别中的应用

神经网络集成通过训练多个神经网络并将各网络的结论进行合成,从而得到最终结果.集成可以显著的提高学习系统的泛化能力.讨论了基于覆盖思想而设计的神经网络集成方法,并将其应用于汉语孤立数码语音识别系统中,通过在集成过程中加入基于覆盖思想的控制算法降低系统的泛化误差,从而使系统的识别效果有了进一步的提高.     

基于模糊划分的神经网络集成

基于模糊聚类思想,提出了一种神经网络集成方法.由训练数据的模糊聚类结果,把训练数据划分成相交子集,基于各子集生成集成的个体神经网络.由于各子集所包含的数据和数据的类别各不相同,因而个体神经网络性能和结构存在差异.子集个数确定集成中个体神经网络个数.另外,基于隶属度函数计算公式,提出了个体神经网络输出结论结合方法.理论分析和实验结果表明,此方法对模式分类能取得较好的效果.     

基于粒子群优化算法的并行学习神经网络集成构造方法

为了提高神经网络集成中个体网络的差异性,并减少将集成用于预测时的计算量,本文结合粒子群优化算法和个体网络的并行学习机制,提出了一种基于粒子群优化的并行学习神经网络集成构造方法。实验表明,和传统的集成构造方法相比,该构造方法具有比较好的性能。     

基于文化算法的神经网络集成方法

提出了一种基于文化算法的神经网络集成方法,在训练好个体神经网络后,使用文化算法选择部分网络来组成神经网络集成.该方法将遗传算法纳入文化算法框架,充分利用优秀个体的经验知识来指导算法的搜索过程,从而提高了算法的搜索速度.实验结果表明,使用文化算法进行集成,能够提高构造差异性大的神经网络集成的效率.     

手写数字识别中组合式神经网络的构建方法

将聚类技术和遗传算法相结合, 提出一种基于相似度传播算法和遗传算法的神经网络集成方法应用于手写数字识别问题. 先分别利用主成分分析和Fisher线性判别分析对数据集进行特征提取, 得到两类特征数据集, 再利用Bagging方法分别为这两类特征数据集训练简单的BP神经网络, 然后采用相似度传播算法对这些BP神经网络进行聚类, 找到作为类簇中心的网络(中心网络), 最后利用遗传算法对所有中心网络的权值进行训练, 将中心网络进行加权线性集成作为最终分类器. 在标准手写数字数据集MNIST上进行测试的实验结果表明, 该方法的识别率优于单个神经网络的识别率, 并兼顾了分类效率.