新的组合激活函数BP网络模型研究

作者提出了一种新的BP神经网络模型，其隐层激活函数采用中心参数可调的Gaussian函数，输出层采用斜度可调的Sigmoid函数，从而神经元具有了更强的信息存储、处理能力。由于采用组合函数，将Gaussian函数良好的局部性和Sigmoid函数良好的全局性相结合，提高了神经网络的收敛速度。几个典型实验的结果表明，与传统BP网络模型相比，新网络模型在学习能力和泛化推广能力方面都有明显提高。     

层数对线性神经元感知机性能的影响

用神经元激活函数的线性模型，研究层数对感知器网络性的影响。结论是，层数Ｌ的选取应不大于神经元最多层神经元的个数；权初值的设影响算法步长的选取范围。     

基于构造性设计和GA的ANN建模方法

强调了激活函数在ANN设计中的重要性,提出一种基于构造性设计及GA的网络结构及神经元激活函数类型自动优化的ANN模型(constructived and GA based activation function,简称为CGBAF),并给出其一般形式和算法.本模型用于多层前向神经网络时,其网络结构及激活函数类型可自动优化,进而可大大提高ANN的泛化能力.通过例子验证了本方法的有效性,并进行了分析.     

一类神经元模型的Hopf分岔

用非线性动态系统的观点看待神经元的静息和周期放电现象.通过对神经元简化数学模型的理论分析,将神经元的静息态对应模型的稳定平衡态.神经元的神经可激活性对应模型参数处于分岔点附近,神经元的周期放电态对应模型在第1次Hopf分岔之后出现的极限环稳态,用模型的二次Hopf分岔后极限环消失及稳定的不动点重新出现说明神经过程中发生的过强抑制现象.     

基于权值函数神经元的BP网络研究

研究了一种神经元模型,在该模型中将参数可调的激励函数往前移到权值上,即把权值变为参数可调的函数,这些权值函数的累加和作为神经元的输出.将此类神经元称为权值函数神经元,根据BP算法给出了由其构成的前馈神经网络的学习算法.仿真实验对比结果表明,在给定的误差精度要求下,基于权值函数神经元的BP神经网络每次训练都能收敛,且平均迭代步数较少,其收敛速度要优于传统BP网络,具有较好的研究应用价值.     

一种改进的深度卷积神经网络的精细图像分类

精细图像分类不同于传统的图像分类,由于精细图像自身的类间相似性和类内差异性,传统的基于手工特征和局部特征组合方法已经很难完整地表达精细图像的特征,因此提出了一种基于改进的深度卷积神经网络模型.由于深度卷积神经网络结构参数和神经元数量巨大,训练模型困难,所以采用高斯分布对前6层参数初始化,其中激活函数采用校正之后的Relus-Softplus函数,在花卉图像数据库OXford-102 flowers中TOP1准确率达到85.75%,TOP3准确率达到了94.50%.实验结果表明:该模型在中等规模数据集上比传统方法优势明显,且比未改进的CNN模型识别率高.     

小波迟滞混沌神经元系统及其应用

与混沌神经元使用单一函数作为激励函数不一样,迟滞混沌神经元是在混沌神经元的基础上,将单函数作为激励函数突破为两个相互偏离的函数.两个相互偏离的Sigmoid与Gauss组合作为新的迟滞激励函数,提出小波迟滞混沌神经元.为分析参数对神经元混沌特性的影响,绘制不同参数变化时的分岔图和Lyapunov指数图.对小波迟滞混沌神经元产生的时间序列进行分析,证明其具有随机性.利用该模型对彩色图像进行加密,分析仿真结果,证明该模型可以很好的满足加密要求.     

基于稀疏-小世界网络的初级视皮层神经元发放模型

通过构建神经元发放模型实现对视觉系统刺激编码方式的解析是计算神经生理学领域的研究热点。在传统线性-非线性-泊松(LNP)模型的基础上,采用稀疏编码模型训练的基函数作为模型的刺激滤波器,进一步利用小世界网络优化神经元集群的连接结构,构建了一种新型初级视皮层(V1区)神经元发放模型,用于预测神经元在特定刺激模式下的响应活动。利用在LE大鼠V1区采集的多通道发放数据拟合模型参数,进一步验证模型的有效性。实验结果表明,与传统未选择基函数作为刺激滤波器以及未经过小世界网络优化的对照模型相比,该模型能更准确地预测大鼠V1区神经元在不同朝向光栅刺激下的响应。该研究表明,经小世界网络优化后,模型中神经元的连接结构具有更强的生物相似性,能更真实地反映初级视觉皮层神经元群的响应机制。     

采用BP-GA算法的一种LSI神经网络的电路设计

将误差反传 (BP)算法和遗传算法 (GA)有机地结合在一起 ,提出了一种新的算法 BP- GA。采用 BP- GA算法 ,设计了一个两层前向 L SI神经网络。作为神经网络的关键部件 ,提出的新型神经元性能优越。它的激活函数与理想sigmoid函数拟合很好 ;可实现对阈值及增益因子的编程并且不同增益因子下饱和输出电压值相同。采用标准 1.2 μmCMOS工艺的模型参数 ,对该两层前向神经网络电路进行的HSPICE模拟证明了它有解决异或 (XOR)问题的能力     

优化神经元激活函数类型的重要性

以典型的前馈网络设计为例,对网络学习中神经元激活函数类型优化的重要性做了进一步的探讨。理论分析和实际算例显示：神经元激活函数类型相当于信号分解中的基函数,如果不对它进行优化,就不能获得理想的泛化性能。特别是外推泛化性能。     

山峰-减法聚类神经元模型及学习算法

将神经网络与数据集的密度指标结合起来提出一种山峰－减法聚类神经网络方法，利用数据集的密度指标对基类进行合并，并不断重复直至产生足够多的聚类中心，就可完成对聚类神经元的学习。给出该聚类的神经元模型和学习算法。该方法的主要优点是对于工程应用中的大样本集分类和重叠数据的模式分类问题，显得非常有效。     

多块神经网络误差反传的新概念

连接型网络的误差反传学习通常只是改变网络的权系数，所学的知识仅存储子所用网络内部神经元的连接之中，而神经元的作用函数在学习过程中保持不变．人脑中的神经无处理信息的方式对变化的信息环境应该具有相应的自适应性，这样的观点用于连接型网络的学习便意味着，在学习过程中，不仅网络内部神经元的连接，表示神经无处理信息方式的作用函数也应该可以变化，参与学习．本文对具有上述功能的多块神经网络以矢量一矩阵的形式给出了一般性的描述，并介绍了相应的误差反传学习算法．多块神经网络及其学习算法的矢量一矩阵描述有助于网络的稳定性分析和学习算法的收敛性分析．     

BP神经网络模型中活化函数对网络性能影响的研究

本文在ＢＰ神经网络模型中，采用一种新型的神经元活化函数替换传统的Ｓ型活化函数，并在活化函数中引入了可调参量，研究表明，作这一替换后对提高网络的学习速度、抑制假饱和现象起到了很好的作用。     

高阶微分与泰勒公式

泰勒公式在数学分析中具有很重要的地位。由一元函数的微分出发,引出一元函数及二元函数的高阶微分,以微分形式给出一元函数及二元函数的泰勒公式,其优点是从微分到泰勒公式,形式统一。举例说明了其应用。     

基于TAF-MFNN的奇异摄动系统的自适应控制

研究了激活函数可调的神经网络在非线性奇异摄动系统的稳定控制器设计中的应用,给出了利用激活函数可调的神经网络设计非线性奇异摄动系统的方法.网络参数通过梯度下降法进行在线学习,利用Lyapunov方法证明了反馈系统的稳定性,仿真实验验证本方法的有效性.结果表明,利用激活函数可调的神经网络具有结构简单,逼近函数能力强等特点.     

一种具有对称性的变精度粗集模型

为了能够从不完备决策表(IDT)中进行知识发现和数据挖掘,提出一种新的具有对称性的双重可变精度限制容差关系粗集模型(VPLTRST).在该模型中,设定一对可调的参数使其作用于由IDT衍生出的限制容差关系,从而形成上下近似集.文中还提出新的在该模型下的知识依赖以及依赖度的定义,并以此作为依据进行知识约简.结合实例,清晰详实地展示了双重精度下如何获得所有知识约简并最终获得决策规则的全过程,具有很好的效果.     

一类带有混合时滞的神经网络全局渐进稳定分析

针对一类具有离散和无穷分布时滞的神经网络模型,通过构造新的Lyapunov函数,解决了含有无穷分布时滞的系统稳定问题,给出了全局渐近稳定的充分条件.首次以Hadamard乘积将系统用向量形式表示,并用线性矩阵不等式表示所得结果,稳定判据不依赖于时间延迟大小,不要求神经元激励函数的有界性、可微性,只与连接矩阵和延迟的导数...     

一个新的三参数双原子势能函数

本文给出一种新的三参数双原子势能函数,该势数学形式简单、计算方便,其结果与RKR势能曲线基本吻合。     

时延神经元振荡激活函数模型中的混沌

研究了具有振荡激活函数的离散时延简单神经元方程周期解的失稳和混沌现象,数值仿真的结果表明：在这种一阶非线性时延动力学系统中产生新的混沌发生源,给出了系统的波形图,相图及最大Lyapunov指数图。