最小学习机

针对极端学习机(ELM)不能用于多层前向神经网络学习的问题,通过揭示单层前向神经网络(SLFN)的ELM与岭回归以及中心化的岭回归之间的关系,提出了SLFN的最小学习机.通过证明核化的中心化岭回归与核化的PCA之间的关系.提出以无限可微的核函数为激励函数的多层前向神经网络(MLFN)的最小学习机LLM.SLFN/MLFN的最小学习机能够保持ELM的上述优势.     

ELM岭回归软测量建模方法

ELM(极限学习机)是一种新型的前馈神经网络,可有效处理函数的回归问题.针对ELM学习算法隐含层输出可能存在的复共线性问题,提出了ELM岭回归(ELMRR)软测量建模方法.该算法利用岭回归方法代替原有的线性回归算法,以误差平方和均值为性能指标,采用粒子群优化算法确定最佳岭参数,克服了传统岭回归算法最佳岭参数难以确定的缺...     

一种基于粒子群优化的极限学习机

极限学习机(ELM)是一种新型的前馈神经网络,相比于传统的单隐含层前馈神经网络(SLFN),ELM具有速度快、误差小的优点.由于随机给定输入权值和偏差,ELM通常需要较多隐含层节点才能达到理想精度.粒子群极限学习机算法为使用粒子群算法(particle swarm optimization,PSO)选择最优的输入权值矩阵和隐含层偏差,从而计算出输出权值矩阵.一维Sinc函数拟合实验表明,相比于ELM算法和传统神经网络算法,粒子群极限学习机算法依靠较少的隐含层节点能够获得较高精度.     

基于邻域粗糙集的极速学习机算法

将基于单隐层前馈神经网络(SLFN)提出的极速学习机(ELM)算法和邻域粗糙集理论进行结合,提出基于邻域粗糙集的极速学习机算法,采用邻域粗糙集对样本集进行属性约简,去掉冗余属性,利用ELM对约简后的数据集进行学习,并对数据样本进行预测。实验表明ELM算法相比具有更高的训练精度和测试精度。     

基于SVM技术的精简极速学习机

针对极速学习机(ELM)性能过分依赖于隐层节点稠密的单隐层前馈神经网络(SLFN)问题,提出了适用于多类分类的精简型ELM,即SVM-ELM(基于支持向量机优化的ELM).该方法大幅削减隐层节点数为类别数,同时通过SVM技术优化每个节点的线性决策函数,显著提高单个节点的决策水平,为ELM的宏观决策提供有利条件.在HCL2000,MNIST和USPS等公共数据集上的实验表明:该方法能够减少节点数目而不损害学习精度,当类别数为10时,基于SVM-ELM方法构造的10节点SLFN泛化性能即可超越基于原始ELM方法构造的包含成千上万个隐层节点SLFN的泛化性能.     

逐步线性回归与神经网络预测的算法对比分析

逐步线性回归能较好地克服多重共线性现象的发生,因此逐步回归分析是探索多变量关系的最常用的分析方法,智能算法是现代数据分析的主要方法。本文通过一个实例进行了对比研究,预测结果显示:在预测的精度上,在隐含层数目相同时,RBF径向神经网络BP神经网络逐步线性回归ELM极限学习机。通过对比分析,发现神经网络方法较回归分析预测效果更好,误差相对较小。     

集成Dropout极限学习机数据分类方法

极限学习机(Extreme Learning Machine,ELM)是一种速度快,泛化能力强的训练单隐含层前馈神经网络(Single-hidden Layer Feed-forward Neural-network,SLFN)的算法.但是在应用ELM解决实际问题时,需要先确定合适的SLFN结构.然而,对于给定的问题,确定合适的SLFN结构是非常困难的.针对这一问题,本文提出了一种集成学习方法.用该方法解决问题时,不需要事先确定SLFN的结构.提出的方法包括3步:(1)初始化一个比较大的SLFN;(2)用ELM重复训练若干个Dropout掉若干个隐含层结点的SLFNs;(3)用多数投票法集成训练好的SLFNs,并对测试样例进行分类.在10个数据集上进行了实验,比较了本文提出的方法和传统的极限学习机方法.实验结果表明,本文提出的方法在分类性能上优于传统的极限学习机算法.     

基于PSO-ELM的双目视觉摄像机标定

针对极限学习机( extreme learning machine,ELM)在隐层节点数较少时标定精度较低的问题,利用粒子群优化算法( particle swarm optimization,PSO)与极限学习机相结合的方法对双目视觉摄像机进行标定。在标定过程中,ELM直接描述图像信息与三维信息之间的非线性关系,然后利用PSO优化ELM的输入权值与隐层阈值。实验结果表明,与ELM相比较,基于粒子群极限学习机( PSO-ELM)的双目视觉摄像机标定方法能仅用较少隐层节点数获得较高精度。     

比例延迟微分方程的极限学习机算法

目的 针对比例延迟微分方程,提出一种基于极限学习机(ELM)算法的单隐藏层前馈神经网络训练方法,并将该方法推广到求解双比例延迟微分系统。方法 首先,构建一个单隐藏层前馈神经网络并随机生成输入权值和隐藏层偏置;然后,通过计算系数矩阵使其满足比例延迟微分方程及其初值条件,将其转化为最小二乘问题,利用摩尔-彭罗斯广义逆解出输出权值;最后,将输出权值代入构建的神经网络便可获得具有较高精度的比例延迟微分方程数值解。结果 通过数值实验与已有方法的结果进行比较,验证了该方法对处理比例延迟微分方程与双比例延迟微分系统的有效性,且随着选取的训练点和隐藏层节点数量增多,所得到的数值解精度和收敛速度也随之增加。结论 ELM算法对处理比例延迟微分方程以及双比例延迟微分系统具有较好的效果。     

基于二叉级联结构的并行极速学习机算法

为解决因庞大的矩阵存储和计算,ELM（Extreme Learning Machines）难以应用到大规模、高维数据集的问题,提出一种基于“分而治之”策略的并行极速学习机算法。
该算法利用二叉级联结构,将大规模数据集分派到多个计算节点上,并行地更新单隐层前馈网络的输出权值,且能有限步地单调收敛到最小二乘解。实验结果表明,该算法不仅泛化性能优异,并且具有非常高的加速比和并行效率。     

我们还需要前馈神经网络技术？

定义了前馈核神经网络的体系结构。从实际应用的需求出发。所定义的网络涵盖了目前多数前馈神经网络。从理论上证明了该网络的批量学习过程实际上所表达的是一种核学习机,进而证明了网络的学习仅需在最后一层实施即可,而在隐含层的参数可任意赋值。因此,该结论事实上是现有LLM及ELM的拓广。同时,发现在逼近精度要求不是太高的情况下,目前的前馈神经网络学习技术因过于繁琐而没有必要,仅需对网络最后一层进行学习即可。而前馈神经网络技术目前最前沿的应用是解决大样本及深度知识表达问题。针对这两个热点问题,分别提出了大样本下的廉价学习策略和深度知识挖掘下的灵巧学习策略。在此,作者希望该文能引起广泛讨论甚至争论。     

基于极限学习机的氧化镁熔池尺寸软测量研究

在电弧炉中建立大小合适的氧化镁熔池是制备氧化镁单晶的基础.为了实现对氧化镁熔池大小的控制,通过对电弧炉传热理论的分析,找出影响氧化镁熔池尺寸的主要因素,采用极限学习机对氧化镁熔池进行软测量研究,并通过与使用支持向量机的软测量模型进行比较检测了该模型的学习能力和泛化性能.实验结果表明,应用极限学习机极大地提高了前向神经网络的学习速度,同时具有较好的预测结果,有助于提高氧化镁熔池的控制精度.     

前馈网络的一种高精度鲁棒在线贯序学习算法

基于离散傅里叶变换-极限学习机(DFT-ELM)提出了一种新的单隐层前馈神经网络在线贯序学习算法,命名为"在线贯序-离散傅里叶变换-极限学习机"(OS-DFT-ELM).该算法能够逐个或逐段学习数据,随着新数据的逐渐到达,单隐层前馈神经网络的内权矩阵和外权矩阵得到逐步调整.该算法与在线贯序-极限学习机(OS-ELM)相比,具有更高的精度和鲁棒性.同时,通过实验和分析,表明OS-DFT-ELM具有优良性能.     

一种基于AdaBoost的极限学习机分类方法

极限学习机是一种新型的单隐层前馈神经网络,在训练网络的过程中随机给定输入层权值和隐藏层偏差,所以训练速度非常快,但却导致了输出不稳定.提出了一种基于AdaBoost的极限学习机,把极限学习机作为AdaBoost的基本分类器,通过改变输入数据的权重,使得极限学习机的分类性能得到提升.实验结果表明了该方法与极限学习机和传统的神经网络相比,能够提高极限学习机的学习性能,并且使极限学习机输出更加稳定.     

融合BVM与ELM的网络异常检测方法

针对用单一分类器对网络进行异常检测时存在的检测率低、虚警率高等问题,提出了一种新的融合球向量机(BVM,Ball Vector Machine)与极限学习机(ELM,Extreme Learning Machine)的异常检测方法.该方法分别用BVM与ELM对三类网络特征进行学习,通过BP神经网络训练出相应权值来融合标签.实验表明:使用该融合方法进行网络异常检测的性能要优于使用单一的BVM或ELM;相对于融合传统的SVM与BP网络的方法,融合BVM与ELM网络异常检测方法的检测率与虚警率与传统方法相当,但其训练速度快、整体性更优.     

大坝变形预报的神经网络极限学习方法

针对大坝变形具有强非线性的特点以及在采用传统BP神经网络模型进行预报时存在学习速度慢、易陷入局部极小等问题,提出将极限学习机(ELM)方法用于大坝变形预报。该方法不仅可以简化网络参数选择过程,而且可以明显提高网络的训练速度,并具有良好的泛化性能。工程实例结果分析表明了ELM方法应用于大坝变形预报具有可行性和有效性。     

基于极限学习机的谐波电流检测方法

谐波电流检测的实时性和准确度直接影响有源电力滤波器的谐波补偿效果.针对基于传统神经网络谐波检测方法的不足,提出了一种基于极限学习机的谐波电流检测新方法.首先详细给出了极限学习机的训练样本的组成和训练方法,然后构造检测模型实现对谐波电流幅值和相位的检测.仿真结果表明,该谐波电流检测方法的检测精度普遍达到10-6,在有白噪声影响的情况下检测精度达到10-4,与基于传统神经网络的谐波检测方法相比具有更高的检测精度和更强的泛化能力,更加适用于谐波源固定的场合.     

基于极限学习机的中医脉象识别方法

针对中医脉象模糊性强、种类繁多、特征复杂的特点,以及传统模糊聚类方法、BP神经网络识别方法的不足,提出了一种基于极限学习机(extreme learning machine,ELM)的脉象识别方法.该方法通过提取脉象信号的特征向量,然后利用ELM对特征向量进行了训练和分类.实验结果表明,本文所提出的脉象识别方法与传统模糊聚类方法、BP神经网络方法和支持向量机方法相比,识别正确率分别提高21%,9%和5%.这表明所提出的方法对脉象的分类判别能取得良好的效果.     

基于小波-ELM神经网络的短期停车泊位预测

采用小波变换与极限学习机(ELM)相结合的方法对短时空余停车泊位进行预测.首先通过小波函数对有效停车泊位时间序列进行小波分解和重构;然后用ELM对分解后所得的各时间序列进行预测;最后对各神经网络的预测结果进行合成,得到最终的预测结果.预测实例结果表明,该方法缩短了训练时间,提高了预测结果.