基于最大方差组合的选择性神经网络集成

为进一步提高神经网络集成的泛化能力,提出一种基于最大方差组合的选择性神经网络集成构造方法：首先训练出若干神经网络个体,其次,利用离散人工蜂群算法对这些神经网络个体进行组合优化的全局搜索,选出一个最大方差的个体组合,最后,将具有最大方差的神经网络个体使用简单平均方法进行神经网络集成.将该模型应用与广西东南部的区域降水预报试验,实验结果表明,笔者提出的神经网络集成方法比常用的Bagging集成方法提高了8％以上,能有效地提高神经网络的泛化能力.     

基于特征加权的神经网络集成及其应用

泛化能力是机器学习关注的基本问题之一.特征加权是特征选择的更一般情况,它能更加细致地区分特征对结果影响的程度,往往能够获得比特征选择更好的或者至少相等的性能,已经成为普遍的提高学习器的泛化能力的方法之一.该文提出一种基于特征加权的神经网络集成方法FWEART,该方法通过自适应遗传算法的优胜劣汰机制为输入属性确定了特征权值,提高了集成中各个体Category ART网络的精度和差异度,从而提高了神经网络集成的泛化能力.在UCI标准数据集上验证了有效性后,FWEART被应用在地震序列类型预报上,取得了较好的预报效果.     

基于信度分配的串行集成CMAC及其仿真

针对Albus CMAC在学习精度与存贮容量之间的矛盾,借鉴神经网络集成思想,并引入可信度的概念,提出了基于信度分配的串行集成CMAC,以提高学习系统的泛化能力和网络收敛速度。通过对复杂非线性函数的逐级降维,分步逼近,有效地提高了网络的学习精度。仿真研究进一步验证了该方案的可行性和有效性。     

负相关算法在模拟电路故障诊断中的应用

传统的BP神经网络泛化能力较差,易于陷入局部最优。为此,提出并将基于负相关学习法的神经网络集成应用于模拟电路故障诊断的研究。实验结果表明基于负相关学习法的神经网络集成比单个子网和传统神经网络集成更能有效地泛化能力。     

基于Elman神经网络集成的诺西肽发酵过程建模

针对单神经网络模型外推效果不理想、泛化能力较差的缺点,将神经网络集成用于诺西肽发酵过程的建模.采用Bagging技术进行重复取样用于个体神经网络的训练,结论生成时采用加权平均法,各子网络的权重利用差分进化算法来确定.个体神经网络选用典型的动态神经网络Elman网络,通过对多个Elman神经网络模型的输出进行融合,建立了基于神经网络集成的诺西肽发酵产物浓度模型.最后将所建立的模型与基于单神经网络的模型进行了比较,结果说明该模型具有更高的精度和泛化能力.     

基于神经网络免疫集成的非线性时间序列故障预报

针对神经网络集成对个体差异性的要求 ,提出了集成网络间的结构差异度的概念 .在此基础上设计了一种基于反向选择的免疫算法 ,该算法可以在减小集成网络各自训练误差的同时保持网络间的结构差异度 ,从而提高神经网络集成的泛化能力 .同时证明了该算法对最优个体的收敛性 .将该方法应用于受噪声污染的非线性时间序列故障预报 ,根据预测误差可以方便准确地检测系统的缓变故障和突变故障 ,实现对微小故障的快速故障预报 ,降低误检率 .仿真结果证明了该方法的有效性 .     

基于神经网络集成的经济预测模型

针对单个BP神经网络用于经济预测存在的不足,提出了一种新的更有效的经济预测模型--神经网络集成.神经网络集成通过训练多个神经网络并将各网络输出进行合成,能够显著提高网络的泛化能力.以广东省江门市的经济数据为例,采用Bagging算法训练了五个BP神经网络,构建了一个神经网络集成的GDP预测模型,并运用MATLAB 7.0语言程序实现.预测结果令人满意,优于单个神经网络预测方法.实证表明,神经网络集成用于经济预测是有效可行的,同时在一定程度上克服了单个神经网络的缺陷.     

基于神经网络球面领域覆盖构造法及其应用

针对大模式类识别问题 ,介绍基于神经网络球面领域覆盖构造方法的思想 ,并给出覆盖构造法在典型大模式类识别问题的应用 ;通过比较覆盖方法在实际应用中的效果 ,说明基于神经网络球面覆盖构造法从根本上解决了前馈神经网络大模式类识别遇到的学习训练慢、不收敛的问题 .同时 ,与其他方法的有机集成 ,能极大地提高解决大模式类识别问题的速度和准确度 .     

乙炔羰基化合成丙烯酸甲酯催化性能的人工神经网络模拟

通过神经网络技术可找出催化工艺与催化性能之间的关联性,从而对催化性能进行预测,达到提高研究效率的目的.本文针对训练样本中奇异样本对神经网络模型预测能力和泛化能力的影响,将遗传算法思想引入神经网络,构建神经网络模型动态训练集,建立了遗传算法-神经网络模型(GARBF);利用GARBF模型对乙炔羰基化合成丙烯酸甲酯催化性能进行预测模拟.结果表明:与RBF相比,GARBF的预测精度明显提高,对于六组测试集,平均相对误差从2.94％降低到1.18％,体现了更强的泛化能力.     

基于改进的PSO算法的神经网络集成

提出了一种新的神经网络集成结论生成方法,即基于可重复采样技术(Bootstrap)的粒子群优化(PSO)算法——BPSO算法,通过限制组合权值的范围来减小“多维共线性”的影响,还利用采样技术构造不同的适应度函数,增加“粒子”的多样性从而便于在一定范围内灵活调节组合权值,并减小噪声对集成的影响．实验表明。BPSO算法是优化组合权值的有效方法,提高了神经网络集成的泛化能力．     

基于遗传算法神经网络集成股票市场预测研究

神经网络集成技术能有效地提高神经网络的学习能力和泛化能力,已经成为机器学习和神经计算领域的一个研究热点.本文利用不同的神经网络算法产生神经网络集成个体,以误差平方和最小为准则,用遗传算法动态求解集成个体的非负权重系数,进行最优组合集成建模研究,并以此建立股市预测模型.通过上证指数开盘价、收盘价进行实例分析,计算结果表明该方法相对传统的简单平均集成模型,具有预测精度高、稳定性好,易于操作的特点.     

基于模糊划分的神经网络集成

基于模糊聚类思想,提出了一种神经网络集成方法.由训练数据的模糊聚类结果,把训练数据划分成相交子集,基于各子集生成集成的个体神经网络.由于各子集所包含的数据和数据的类别各不相同,因而个体神经网络性能和结构存在差异.子集个数确定集成中个体神经网络个数.另外,基于隶属度函数计算公式,提出了个体神经网络输出结论结合方法.理论分析和实验结果表明,此方法对模式分类能取得较好的效果.     

基于粒子群优化算法的并行学习神经网络集成构造方法

为了提高神经网络集成中个体网络的差异性,并减少将集成用于预测时的计算量,本文结合粒子群优化算法和个体网络的并行学习机制,提出了一种基于粒子群优化的并行学习神经网络集成构造方法。实验表明,和传统的集成构造方法相比,该构造方法具有比较好的性能。     

结合扰动集成RBF的故障识别方法

为提高旋转机械故障识别精度,将神经网络与集成学习方法进行结合,提出结合扰动方式的集成RBF故障模式识别方法.首先,通过ReliefF算法计算所提取出的转子故障特征数据集各个特征的权重,并且将权重值进行降序排列,从而筛选出权重趋大的系列特征构成低维特征数据集;其次,将较大权重作为无放回轮盘赌法的输入,对权重所对应的低维特征数据集进行特征扰动,产生系列化低维数据子集并将其划分为训练集和测试集;然后,采用Bagging算法中的自助采样法对训练集进行样本扰动,以此形成新的训练集并用于训练对应个数的RBF神经网络,完成差异性子分类器的构建;最终,对各个神经网络的测试数据辨识结果通过相对多数投票法进行结合,得到故障识别结果.实验结果表明,对于转子系统的故障识别,该方法相较于未集成RBF神经网络、集成BP神经网络具有较高的识别精度,并且拥有较好的泛化性能.     

关于泛化神经网络与支持向量机的研究

人工神经网络(ANN)的泛化特性是神经网络最重要的特性,同时也是最不容易保证的特性。本文对改进泛化的神经网络算法以及新兴的机器学习算法——支持向量机算法进行研究,并分别用BP神经网络、改进泛化能力的神经网络、支持向量机对人体脂肪测试实例进行仿真预测分析,结果表明,支持向量机比神经网络、改进泛化神经网络具有更好的预测(泛化)能力,是人工神经网络的替代方法。     

基于文化算法的神经网络集成方法

提出了一种基于文化算法的神经网络集成方法,在训练好个体神经网络后,使用文化算法选择部分网络来组成神经网络集成.该方法将遗传算法纳入文化算法框架,充分利用优秀个体的经验知识来指导算法的搜索过程,从而提高了算法的搜索速度.实验结果表明,使用文化算法进行集成,能够提高构造差异性大的神经网络集成的效率.     

神经网络动态集成技术及其应用

针对当前神经网络集成方法在提高泛化能力方面的不足,提出了神经网络动态集成技术。该技术首先对神经网络集成中的个体之间进行负相关处理提高个体的差异度,然后选择训练误差较小的个体来提高个体的精确度。最后,以广东省某市的宏观经济数据为例,证明了该技术的有效性。     

增量构造负相关异构神经网络集成的方法

基于负相关异构网络,提出了一种增量构造异构神经网络集成(NNE)的方法.该方法在训练成员网络时,不仅调整网络的连接权值,而且动态调整网络的结构,从而在提高单个网络精度的同时增加各成员网络之间的差异度,减小网络集成的泛化误差.该方法包括构造最佳异构网络(BHNN)和构造异构网络集成(HNNE)两个部分,BHNN基于负相关学习动态构造多个最佳网络,HNNE利用训练好的最佳网络增量地构造异构NNE.使用网络泛化误差和集成泛化误差,整个集成过程可自动完成,无需预先确定成员网络的结构.分别对回归和分类问题进行了实验,相对于单个网络,该方法在测试数据集上的错误率降低了17%～85%,与已有的Boosting、Bagging等网络集成方法相比,错误率也有不同程度的改善.     

神经网络紧凑集成模式

在分析现有神经网络集成构造过程的基础上，提出了一种神经网络紧凑集成模式，集成中成员网络的训练和网络组合权重的优化在同一个学习过程中进行，各参数的调整以提高集成泛化性能为目的．与现有神经网络集成模式相比，集成构造过程更加紧凑，它将个体网络生成阶段与结论合成阶段合二为一，并且网络之间的信息交互建立在实时动态的集成结构基础上，保证了成员网络训练与结论合成之间信息传递的始终一致性．为验证该模式的有效性及优越性，采用4种典型的分类数据集对神经网络紧凑集成模式与CNNE、Bagging、Boosting等现有的集成模式在泛化性能上进行了比较，结果表明神经网络集成模式在测试数据集上的错误率降低了8％～16％．     

基于集成卷积神经网络的交通标志识别

以交通标志识别为研究目的,提出一种基于集成卷积神经网络的交通标志识别算法,通过对多个不同结构的卷积神经网络进行集成以提高算法识别率。为了缩短网络训练和测试时间以及提高网络识别率,对单个卷积神经网络的结构进行了优化。使用ReLU(rectified linear unit)激活函数来代替传统的激活函数,使用批量归一化(batch normalization,BN) 方法对卷积层输出数据进行归一化处理,将卷积神经网络的分类器用支持向量机(support vector machine,SVM)代替。使用德国交通标志识别数据库(german traffic sign recognition benchmark,GTSRB)进行训练和测试,实验结果表明,提出的算法识别率为98.29%,单幅交通标志图像测试时间为1.32 ms,对交通标志具有良好的识别性能。