基于非线性修正函数的卷积神经网络图像识别研究

为了解决深度学习中使用线性修正函数Re LUs对于模型的表达能力欠缺,而柔性光滑函数Softplus无稀疏表达能力的问题。基于Re LUs和Softplus函数各自的优点,将Re LUs函数的稀疏表达能力和Softplus函数的光滑特性结合起来,提出一种使用非线性修正函数作为神经元激励的方法。分析了不同激活函数的性能,并且用卷积神经网络在MNIST和CIFAR-10标准数据库上进行图像分类识别实验。实验结果表明,使用非线性修正激活函数,不仅可以加快网络收敛速度,也可以提高识别准确率;同时还不依赖于池化方法的选择。     

基于Softplus函数的双隐含层BP神经网络的公路客运量预测

为了提高预测模型的精度,提出一种基于Softplus激活函数的双隐含层BP神经网络的预测方法,提高了模型的非线性学习和泛化能力及预测精度,并改善了网络性能。将该方法应用于公路客运量实际预测中进行有效性验证,结果表明该方法对公路客运量有更好的非线性拟合能力和预测准确性。     

基于改进的S-ReLU激活函数的图像分类方法

为解决ReLU函数负区域取值为0而引发的对应权重无法更新的问题,提出了新的激活函数S-ReLU。该函数在负区域具有软饱和性,增加了负样本数据的关注度。通过赋予负区域输出值较小的导数,促进了负输入值的反向传播,提高了模型的鲁棒性。通过与其他常见激活函数在数据集MNIST、CIFAR-10上使用LeNet-5模型的对比实验,探究基于S-ReLU激活函数的图像分类效果。实验结果表明,对于MNIST和CIFAR-10数据集,相比使用其他激活函数,S-ReLU函数提高了模型的分类精度。     

基于磨光函数的权值直接确定双输入BP神经网络

利用磨光函数与采样数据建立了双输入单输出的权值直接确定的BP神经网络。改进后的网络依据训练数据重要性,选择以数据为中心的磨光函数作为激励函数,同时网络结构可以根据数据多少得到相应的调整。根据误差反向传播学习算法得到了改进后网络的权值直接确定算法。在仿真中,利用2个不同的目标函数验证了改进算法的有效性与建模精度。实验结果表明,三次磨光函数建立的网络性能优于二次磨光函数建立的网络。     

一种多参数学习的门控激活函数

激活函数通过自身的非线性机制去激活神经网络,使其能够有效地运行,并保持较高的性能。选择好的激活函数可以对提高网络性能产生较大的影响。ReLU激活函数因其简单有效而成为深度神经网络中最常见的选择,然而,当输入为负时,在反向传播过程中,ReLU梯度将为零,进而导致发生神经元坏死的问题。为此,一种基于软性的门控机制的激活函数Swish和Mish相继提出,该类激活函数主要利用激活函数（如：Sigmoid或Tanh函数）来控制门的开或关,进而实现了神经网络的非线性化需求,并在许多具有挑战性的网络模型和数据集上取得了更好的效果。鉴于上述门控机制运行时,激活函数饱和区的范围相对固定,不能更好地拟合各种网络模型和数据分布。文中提出了一种多参数学习的门控激活函数（A Multi-parameterized Gated Action Function, Mpish）,该函数使用多个参数动态地调整激活函数的饱和区范围,从而适应不同的网络模型和数据分布。实验结果表明：该函数能有效提高神经网络训练结果的准确性和稳定性,且可以较好地工作在更深层次的网络模型中。     

基于k-WTA的对抗样本防御模型研究

为提高图像分类神经网络的鲁棒性,提出一种基于k-WTA的对抗样本防御模型Att-k-DefGAN.模型在Rob-GAN的基础上做出改进,并利用k-WTA激活函数的不连续性与模型训练中的对抗攻击预处理形成对抗,进一步提高分类神经网络的鲁棒性.实验结果表明,在CIFAR-10数据集和ImageNet子集上,Att-k-De...     

陟槽型激活函数细胞神经网络稳定点研究

细胞神经网络稳定点研究可以为联想记忆提供理论支持,但是,以往没有对陟槽型激活函数的细胞神经网络进行研究。陟槽型激活函数是包含单位型增益型激活函数,因此其应用范围更广。文章主要研究了使用陟槽型激活函数的细胞神经网络中细胞平衡点数量的范围,通过研究细胞神经网络参数之间的关系,获得了一些网络稳定的充分条件,根据这些条件以及细胞神经网络的输入和输出能够得到细胞神经网络的权值范围,并且可获得该网络每个细胞平衡点数量的范围,得出其值小于2 δ。最后,通过数值模拟证明文中提出的理论是有效的。     

基于RBF神经网络的自回归系统辨识模型

根据神经网络能以任意精度逼近任意非线性连续函数的特点,通过径向基函数神经网络构建非线性动态系统的辨识模型。针对该模型输入值超出径向基函数的映射区域时将导致系统辨识输出值为零的现象,提出了一种基于改进径向基函数结构的自回归系统辨识的方法,有效地消除了零现象。这使得自适应辨识模型在较大的输入向量下能够逼近实际系统的输出,从而提高了系统辨识的鲁棒性。该方法的可行性得到了仿真验证。     

一种新型基于神经网络的预测控制

重点考虑在多变量系统中对控制的准确性和实时性要求,在已有的神经网络预测模型基础上,提出采用模糊理论改进其反馈校正环节,对预测输出和实际输出在一定的隶属函数和模糊规则下进行模糊推理,输出结果用以修正预测模型,从而使系统综合性能得到实质性提高,仿真结果表明改进有效.     

双关节刚性机器人自适应BP神经网络算法

为解决反向传播(BP)神经网络学习速度慢、泛化能力弱以及易陷入局部极小值等问题,提出了一种双关节刚性机器人自适应BP神经网络算法。首先,设计了一种新结构的参数可调激活函数,其映射范围、斜率因子、水平和竖直位置等参数皆可自适应调整,以使BP神经网络具有更强的非线性映射能力;然后,设计了一个模糊推理器来整定激活函数的斜率因子,以使斜率因子保持参数最优;最后,设计了一套控制系统并应用于双关节刚性机器人系统的位置跟踪控制,采用自适应BP神经网络算法对该系统位置控制器的比例增益、积分增益和微分增益进行了实时整定。仿真结果表明:与使用经典固定参数S型激活函数的BP神经网络算法相比,所提出的自适应BP神经网络算法考虑了激活函数的自适应性,提高了BP神经网络的学习速度和泛化能力,并抑制了假饱和现象,对位置误差的收敛速度可提高20倍以上,且可使位置和速度误差减小并接近于0。