多隐层输出矩阵极限学习机

得益于隐层节点学习参数的随机选择,极限学习机（extreme learning machine, ELM）在学习速度极快的基础上,可以达到较为良好的分类性能。但是,当隐层节点参数完全随机选择时,ELM的性能并不总能达到最优。本文提出多隐层输出矩阵极限学习机（multiple hidden layer output matrices extreme learning machine, M-ELM）方法解决这一问题,该方法通过对不同输出矩阵加权运算以优化隐层节点结构,其中权系数与输出权值在学习过程中同时分析确定。另外,利用该方法可以实现特征级融合ELM。实验证明,对于真实分类问题,M-ELM可以提供比ELM更为准确的分类结果。     

一种优化计算确定神经网络结构的方法

对于一个具体的多层前向神经网络设计问题,网络的输入输出以及标准样本数为已知,网络的隐层结构,即隐层层数和每个隐层神经元个数如何选择是神经网络设计中的关键.根据代数方程理论,通过权值和阈值与隐层结构的关系,建立了以权值和阈值为设计变量的目标函数表达式,通过分析,提出了多层前向神经网络合理的隐层层数和每个隐层神经元个数的一般确定方法,给出了确定多层前向神经网络合理结构的优化目标函数及其约束条件.仿真研究结果表明所提出方法确定的多层前向神经网络结构是合理的.     

一种新的结构自适应竞争神经网络

针对一般竞争神经网络进行聚类分析时需要事先指定聚类数目 ,并且聚类结果依赖于神经网络初始权值的缺点 ,提出了一种结构自适应的竞争神经网络 ,根据聚类结果的MH(modificationHuber)标记值 ,自适应地调整神经网络输出神经元数目以得到最优的聚类数目。仿真结果表明 ,该网络具有良好的动态聚类效果。     

基于改进粒子群优化极限学习机的弹丸参数辨识

针对随机产生输入权重和隐含层神经元阈值导致利用极限学习机辨识弹丸气动参数时会出现辨识结果发散问题,本文将粒子群算法与极限学习机结合,并且引入自适应更新策略以及粒子变异策略,提出了一种自适应变异粒子群优化极限学习机算法。该算法利用自适应变异粒子群算法寻优产生极限学习机的输入权重和隐含层阈值,有效改善算法性能。仿真实验表明,利用自适应变异粒子群优化极限学习机算法辨识弹丸气动参数,精度高、收敛速度快,能够充分满足实际工程需要。     

基于一种新型动态神经网络的非线性自适应逆控制

根据生物神经元的机能,提出了一种具有动态激励函数的新型神经元模型,由此构成的神经网络(DAFNN)应用在非线性自适应逆控制中时只需要确定隐层神经元个数,从而克服了用NARX回归神经网络时需确定输入和输出延时阶数及隐层神经元个数等多个参数的不足。通过对单输入单输出(SISO)及多输入多输出(MIMO)非线性系统的自适应逆控制仿真研究,证实了DAFNN是一种很好的非线性系统建模和控制工具。     

灵敏度分析在多层感知器硬件设计中的应用

以多层感知器的相对灵敏度为指标,利用灵敏度分析方法,研究了存在量化误差的情况下,多层感知器硬件设计中的网络结构设计和量化比特数选择问题。提出了训练前多层感知器硬件设计的灵敏度分析方法。针对单隐层感知器的硬件设计进行了计算机仿真,得到了满足设计要求的隐层神经元个数和量化比特数。仿真结果表明,所提方法在理论上是一种有效的网络硬件设计方法。     

复数神经网络的一种新型初始权值选择方法

为了改善学习速率,提出了一种确定复数神经网络初始权值的新颖方法。初始权值不是随机给定的,而是通过计算求得。具体方法是选择一类隐层神经元的变换函数(类支集函数),将输入层和隐层之间的复数权值计算出来,保证隐层的输出矩阵是满秩矩阵,并从理论上证明了这样的满秩矩阵是存在的。利用这个满秩矩阵,通过最小平方算法就可以求得隐层和输出层之间的复数权值。将这些权值作为初始权值,采用最速下降算法来对神经网络进行训练。初始权值的优化,使得该算法可以有效地提高复数神经网络的训练速度和计算精度。一个特例是当隐层神经元的个数与样本个数相等时,就可以求得代价函数值为0的全局最小点。计算机仿真实例验证了该算法的有效性。     

新型的基于堆栈式ELM的时变信道预测方法

针对高速移动场景正交频分复用(orthogonal frequency division multiplexing,OFDM)系统,提出了一种新的基于堆栈式极限学习机(extreme learning machine,ELM)的时变信道预测方法.为了捕获输入数据的深层信息,基于单隐藏层神经网络,首先利用堆栈式ELM方法...     

一种新型δ函数神经元构成的神经网络及学习算法

本文提出一种新型δ函数神经元构成的三层前馈神经网络，其隐层中神经元采用δ变换函数而不是ｓｉｇｍｏｉｄ函数。学习算法不再采用误差反向传播（ＢＰ）算法，而是通过选定隐层与输入层之间的自由权来确定隐层与输出层间的待求权的直接算法完成学习。这种学习算法运算速度快，不存在局部极小和收敛速度慢的问题，只要隐层δ函数神经元个数等于样本对数量就一定能完成学习，这是传统ＢＰ算法不能比拟的。计算机仿真实例表明该算法是十分有效的。     

关于前馈神经网络的激活函数与认知能力

讨论了目前前馈神经网络研究中存在的一些问题 ,给出了前馈神经网络的一种数学框架。在这种框架下 ,提出了网络神经元激活函数的选取原则 ,给出了前馈神经网络认知能力的概念 ,证明了静态前馈神经网络的认知能力是有限的。指出了网络的认知能力与激活函数、隐层神经元个数的选取都有关 ,并提出了隐层神经元个数的选取原则。最后 ,给出了前馈神经网络泛化能力的概念 ,指出前馈网络的泛化能力是有条件的。     

LM-BP算法在金融股指预测中的参数设定

针对股价系统内部结构的复杂性、外部因素的多变性,分析了基于BP网络进行股市预测的原理,利用三层前馈神经网络对股市建立预测模型,探讨了网络的拓扑结构、隐节点个数确定的原则、样本数据的选取和预处理、初始参数的确定等问题.为了避免网络陷入局部最小点和提高网络的收敛速度,算法采用改进后的LM-BP,并与其他BP算法进行比较.以最具代表性的上证指数为例,仿真实验表明了经过对筛选后的样本学习,并对所建的预测模型进行训练后,该LM-BP算法能够对有短期上证指数走势进行有效稳定预测.     

用于大工业过程建模的新型小波神经网络结构

提出一种新的小波神经网络结构 ,旨在解决输入变量比较多、变量分先后次序起作用的一类问题。该网络结构类似于多层前向神经网络 ,不同的是将一部分输入节点移至隐层 ,输入变量不是由同一层输入 ,而是根据变量起作用的前后次序分别在网络的不同层输入 ,从而使网络的规模减小 ;同时 ,隐层神经元的激励函数是一维小波函数 ,避免了多元小波函数带来的维数灾难问题。因此 ,该神经网络是处理高维问题的有效工具 ,尤其适用于包含多道加工工序的大工业过程的建模。将该神经网络用于热连轧产品质量建模 ,并经过了实测数据拟合与检验。试验结果表明 ,提出的小波神经网络结构是可行的 ,而且有很好的应用前景。     

基于RBF的机械手建模误差补偿自适应控制

针对机械手动力学建模误差,提出了基于RBF神经网络误差补偿的自适应控制策略。在基于逆动力学的计算力矩控制方法的基础上,对系统输入与目标轨迹进行修正,设计了两种误差补偿自适应控制器。利用RBF神经网络对修正项在线自学习,并根据Lyapunov稳定性理论建立了网络权重自适应学习律,保证了跟踪误差的收敛及系统的稳定。以平面转动双臂机械手轨迹跟踪为例进行仿真,结果表明该方法能够有效地补偿建模误差,提高了系统的控制性能并使控制系统具有对参数摄动的鲁棒性,对于机械手自适应控制具有一定的可行性。     

量子神经网络软测量模型及应用

提出了一种基于量子神经网络的软测量模型,组成该模型的量子神经元对信息的处理分为两阶段。第一阶段为宏观信息收集部分,产生控制量子比特;第二阶段为微观信息处理部分,根据控制量子比特,改变工作量子比特,即神经元的状态,整个过程模拟量子受控非门。以某石化厂乙烯收率为软测量对象,实验结果显示出,提出的量子神经网络软测量模型可以较好地跟踪乙烯收率的变化。     

基于模糊聚类RBF神经网络的生产指标预报模型

本文提出一种同图论中可达矩阵和区域划分思想相结合的模糊聚类方法,以此来确定RBF网络的隐含层节点数。并根据某选矿厂经济指标和生产指标之间的关系,建立了生产指标预报模型,并应用于选矿厂MES系统中,应用结果表明所建模型收敛快、预报精度高,使企业能够及时了解生产过程成本动态,优化生产运行管理。     

一种基于离散粒子群的自适应径向基网络模型

提出了一种基于离散粒子群的自适应RBF网络模型。即融合两个二进制编码粒子群,通过对最近邻聚类中心选择法的改进,RBF网络模型能自适应地优化隐节点数、中心向量与宽度,且在保证网络性能的前提下,使网络的结构相对简单(较少的隐层节点数)。同时为进一步提高网络性能,采用梯度下降法与递推最小二乘法混合学习策略,分别对基函数参数(中心与宽度)和输出层线性权值进行学习。仿真实验证明了该方法模型的有效性。     

根据粗糙集理论进行BP网络设计的研究

提出了一种根据粗糙集理论进行ＢＰ网络设计的方法,它结合了粗糙集理论的强大的定性分析能力和ＢＰ网络的准确的逼近能力,得到一种可理解性好、计算简单、收敛速度快的神经网络模型．这种神经网络的学习算法的要点是：应用粗糙集的理论和方法,从给定学习样本数据中发现一组规则,并根据这些规则去建立网络模型中相应的隐层节点;然后用ＢＰ算法迭代求出网络的参数,从而完成网络的设计.