|
|||||
|
|
| 一种基于改进Softplus激活函数的卷积神经网络模型 | |
| 作者单位： | ;1.安徽理工大学计算机科学与工程学院;2.阜阳师范大学计算机与信息工程学院 |
| 摘 要： | 为提高Softplus函数在神经网络中的性能,针对Softplus函数的缺点提出了一种基于改进Softplus激活函数的卷积神经网络模型。根据"输出均值接近零的激活函数可以提升神经网络的学习性能"原理,首先对原函数的输出向下平移缓解Softplus激活函数的均值偏移现象;然后对调整后的输出乘以一个参数调整函数在正数部份的坡度和负数部分的饱和点位置,以缓解在训练过程中出现的梯度消失/溢出现象。最后在MNIST、CIFAR-10和CIFAR-100数据集上的实验结果表明,同其它常用激活函数相比,改进后的Softplus函数取得了较好的识别率。 |
| 关 键 词： | 卷积神经网络 激活函数 Softplus函数 梯度消失 均值偏移 |
A convolutional neural network model based on improved Softplus activation function |
|
| Abstract: | |
| Keywords: | |
| 本文献已被 CNKI 等数据库收录！ | |