采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.     

基于覆盖的神经网络集成在语音识别中的应用

神经网络集成通过训练多个神经网络并将各网络的结论进行合成,从而得到最终结果.集成可以显著的提高学习系统的泛化能力.讨论了基于覆盖思想而设计的神经网络集成方法,并将其应用于汉语孤立数码语音识别系统中,通过在集成过程中加入基于覆盖思想的控制算法降低系统的泛化误差,从而使系统的识别效果有了进一步的提高.     

一种新的选择性支持向量机集成学习算法

针对支持向量机(SVM)在应用于集成学习中会失效的问题,提出一种选择性SVM集成学习算法(SE-SVM),利用ξα误差估计法估计个体SVM泛化性度量,并基于负相关学习理论引入差异性度量,通过递归删除法选择出一组泛化性能优良、相互间差异性大的SVM参与集成学习.基于UCI数据的仿真实验表明,SE-SVM能够平均提高SVM的分类正确率0.4%,比常规的Bag-ging集成学习方法和负相关集成学习方法的分类正确率分别提高了0.24%和0.16%.     

改进的集成神经网络学习优化研究

AdaBoosting算法是一种集成学习算法，用来提高不稳定学习器的泛化能力．本文基于神经网络是一种不稳定分类器的机理结合最小二乘算法和遗传算法，提出了对集成神经网络分类器权值进行优化的新方法．     

基于Elman神经网络集成的诺西肽发酵过程建模

针对单神经网络模型外推效果不理想、泛化能力较差的缺点,将神经网络集成用于诺西肽发酵过程的建模.采用Bagging技术进行重复取样用于个体神经网络的训练,结论生成时采用加权平均法,各子网络的权重利用差分进化算法来确定.个体神经网络选用典型的动态神经网络Elman网络,通过对多个Elman神经网络模型的输出进行融合,建立了基于神经网络集成的诺西肽发酵产物浓度模型.最后将所建立的模型与基于单神经网络的模型进行了比较,结果说明该模型具有更高的精度和泛化能力.     

神经网络动态集成技术及其应用

针对当前神经网络集成方法在提高泛化能力方面的不足,提出了神经网络动态集成技术。该技术首先对神经网络集成中的个体之间进行负相关处理提高个体的差异度,然后选择训练误差较小的个体来提高个体的精确度。最后,以广东省某市的宏观经济数据为例,证明了该技术的有效性。     

基于遗传算法神经网络集成股票市场预测研究

神经网络集成技术能有效地提高神经网络的学习能力和泛化能力,已经成为机器学习和神经计算领域的一个研究热点.本文利用不同的神经网络算法产生神经网络集成个体,以误差平方和最小为准则,用遗传算法动态求解集成个体的非负权重系数,进行最优组合集成建模研究,并以此建立股市预测模型.通过上证指数开盘价、收盘价进行实例分析,计算结果表明该方法相对传统的简单平均集成模型,具有预测精度高、稳定性好,易于操作的特点.     

基于集成学习的用户信用卡违约预测模型研究

用户信用卡违约预测任务有助于银行等金融机构平衡经济风险与经济利益,对于银行信用卡业务的风险管控具有重要作用。针对用户信用卡违约预测问题,提出了一种基于集成学习的预测模型,有异于传统集成学习中的弱学习器。该模型采用集成模型和神经网络模型作为基学习器,从而提升模型整体的预测效果。首先通过预处理提取用户信用卡数据集的相关特征,然后分别采用优化后的决策树、随机森林、GBDT、XGBoost、CatBoost和SPE六种机器学习模型与神经网络模型进行并行训练和预测,最后通过加权软投票法集成基学习器结果并输出最终预测结果。结果表明,相对于基学习器,该模型在各项评估指标上均有所提升,且拥有更好的模型泛化能力。     

基于最大方差组合的选择性神经网络集成

为进一步提高神经网络集成的泛化能力,提出一种基于最大方差组合的选择性神经网络集成构造方法：首先训练出若干神经网络个体,其次,利用离散人工蜂群算法对这些神经网络个体进行组合优化的全局搜索,选出一个最大方差的个体组合,最后,将具有最大方差的神经网络个体使用简单平均方法进行神经网络集成.将该模型应用与广西东南部的区域降水预报试验,实验结果表明,笔者提出的神经网络集成方法比常用的Bagging集成方法提高了8％以上,能有效地提高神经网络的泛化能力.     

基于特征加权的神经网络集成及其应用

泛化能力是机器学习关注的基本问题之一.特征加权是特征选择的更一般情况,它能更加细致地区分特征对结果影响的程度,往往能够获得比特征选择更好的或者至少相等的性能,已经成为普遍的提高学习器的泛化能力的方法之一.该文提出一种基于特征加权的神经网络集成方法FWEART,该方法通过自适应遗传算法的优胜劣汰机制为输入属性确定了特征权值,提高了集成中各个体Category ART网络的精度和差异度,从而提高了神经网络集成的泛化能力.在UCI标准数据集上验证了有效性后,FWEART被应用在地震序列类型预报上,取得了较好的预报效果.     

增量构造负相关异构神经网络集成的方法

基于负相关异构网络,提出了一种增量构造异构神经网络集成(NNE)的方法.该方法在训练成员网络时,不仅调整网络的连接权值,而且动态调整网络的结构,从而在提高单个网络精度的同时增加各成员网络之间的差异度,减小网络集成的泛化误差.该方法包括构造最佳异构网络(BHNN)和构造异构网络集成(HNNE)两个部分,BHNN基于负相关学习动态构造多个最佳网络,HNNE利用训练好的最佳网络增量地构造异构NNE.使用网络泛化误差和集成泛化误差,整个集成过程可自动完成,无需预先确定成员网络的结构.分别对回归和分类问题进行了实验,相对于单个网络,该方法在测试数据集上的错误率降低了17%～85%,与已有的Boosting、Bagging等网络集成方法相比,错误率也有不同程度的改善.     

基于信度分配的串行集成CMAC及其仿真

针对Albus CMAC在学习精度与存贮容量之间的矛盾,借鉴神经网络集成思想,并引入可信度的概念,提出了基于信度分配的串行集成CMAC,以提高学习系统的泛化能力和网络收敛速度。通过对复杂非线性函数的逐级降维,分步逼近,有效地提高了网络的学习精度。仿真研究进一步验证了该方案的可行性和有效性。     

基于量子粒子群的神经网络集成股市预测模型研究

利用量子粒子群改进神经网络集成个体的网络结构和连接权值,利用主成分分析法提高集成个体差异度,形成一组优良的神经网络集成个体,利用支持向量机回归集成生成输出结论,求出非线性时序函数的全局最优解,随即建立一个基于量子粒子群的神经网络集成股市预测模型。试验表明,该模型能有效提高神经网络集成系统的泛化能力,预测精度高,稳定性好。     

基于粗糙集的决策树集成学习算法

【目的】为提高决策树集成的泛化能力和效率,解决集成全部决策树的情况下有时并不显著提高精度、反而导致额外存储和计算开销的问题,提出一种基于粗糙集的决策树集成学习算法。【方法】该算法基于粗糙集理论,从训练的全部决策树中选择一部分进行集成。【结果】与目前流行的集成学习算法Bagging和Boosting相比,本文提出的算法有效地减小了集成规模,并获得更好的泛化能力。【结论】该算法提高了决策树集成的泛化能力和效率。     

基于支持向量回归集成的陀螺仪参数漂移预测

泛化能力是智能方法用于参数预测的最重要的问题之一,提出了支持向量回归集成方法。为了增加个体之间的差异性,提出了基于聚类方法的个体生成方法。首先利用聚类方法将样本分为若干子类,然后用不同结构的支持向量回归学习不同的样本子类,权值由个体在验证集上的泛化误差决定。将ESVR陀螺仪参数飘移数据的预测,并与单支持向量回归,单神经网络,神经网络集成以及组合预测方法进行比较。结果证实,ESVR的预测精度总体高于其他方法。     

带后续迭代的双极S函数激励的WASD神经网络

结合Levenberg-Marquardt算法以及权值直接确定法这两种用于神经网络学习训练的方法,提出了一种带后续迭代、面向双极S(sigmoid)激励函数神经网络的权值与结构确定(weights-and-structure-determination,WASD)方法。该方法与MATLAB软件神经网络工具箱相结合,可以解决传统神经网络普遍存在的学习时间长、网络结构难以确定、学习能力和泛化能力有待提高等不足,同时具有较好的可行性和可操作性。以非线性函数的数据拟合为例,计算机数值实验和对比结果证实了WASD方法确定出最优隐神经元数和最优权值的优越性,最终得到的WASD神经网络具有更为优异的学习性能和泛化性能。     

一种基于动态模糊神经网络的飞行数据模型辨识方法

针对飞行数据的特点,提出了一种基于动态模糊神经网络(DFNN)的飞行数据模型辨识方法。该方法采用在线学习方式,通过动态增加和删除神经元节点的策略实现网络结构学习,采用递推最小二乘法实现网络权值的在线调整,以最终得到一个结构简单、泛化能力强的神经网络。以某特定时间段的飞参数据为仿真样本,将该DFNN用于参数关联模型的辨识,实验结果表明该辨识方法收敛速度快、泛化能力强。     

一种改进的决策规则生成算法

将神经网络集成与C4.5Rule方法相结合,提出了一种改进的决策规则生成算法.该算法以神经网络集成作为C4.5Rule学习的前端,利用其产生用于C4.5Rule学习的数据集,在此基础上进行决策规则的生成.在UCI机器学习数据库上的实验结果表明,该算法可以产生泛化能力较强的决策规则.     

基于即时学习的集成神经网络及其干点预测

针对单个神经网络泛化能力差、对不同样本预测精度波动大的问题,提出了一种基于即时学习集成神经网络方法。首先,基于训练样本,建立多个不同的神经网络模型。其次,根据即时学习的思想,在对样本进行预测时,在训练样本中寻找与预测样本最接近的若干邻近样本,根据各网络对邻近样本的训练误差,即时形成各神经网络的集成权重,实时构造集成神经网络模型,对预测样本进行预测。最后,将该方法应用于初顶石脑油干点的预测,相比于文献中提出的方法,得到了更好的预测结果 。     

基于RBFNN的强化学习在机器人导航中的应用

在复杂连续环境下,强化学习系统的状态空间面临维数灾难问题,需要采取量化的方法,降低输入空间的复杂度。径向基神经网络(RBFNN:Radial Basis Function Neural Networks)具有较强的函数逼近能力及泛化能力,由此提出了基于径向基神经网络的Q学习方法,并将其应用于单机器人的自主导航。在基于径向基神经网络的强化学习系统中,用径向基神经网络逼近状态空间和Q函数,使学习系统具有良好的泛化能力。仿真结果表明,该导航方法具有较强的避碰能力,提高了机器人对环境的适应能力。