卷积神经网络的研究进展综述

深度学习(deep learning,DL)强大的建模和表征能力很好地解决了特征表达能力不足和维数灾难等模式识别方向的关键问题,受到各国学者的广泛关注.而仿生物视觉系统的卷积神经网络(convolutional neural network,CNN)是DL中最先成功的案例,其局部感受野、权值共享和降采样三个特点使之成为智能机器视觉领域的研究热点.对此,本文综述CNN最新研究成果,介绍其发展历程、最新理论模型及其在语音、图像和视频中的应用,并对CNN未来的发展潜力和发展方向进行了展望和总结.     

基于卷积神经网络的合成孔径雷达图像目标识别

为了解决现有合成孔径雷达(SAR)图像目标识别算法识别率不高、泛化能力不足的问题,提出一种基于卷积神经网络的SAR图像目标识别模型CMNet网络。通过设计针对SAR图像特点的特征提取网络,在损失函数中引入中心损失与Softmax损失联合监督训练过程,兼顾类内聚合和类间分离,提高算法精度和泛化能力。网络模型中所有卷积层后引入批量归一化层加快模型收敛速度、防止过拟合。实验使用美国运动和静止目标获取与识别数据库进行测试,10类目标平均识别率达到99. 30%。结果表明,提出的CMNet网络模型具有较高的识别率和泛化能力,在公开数据集上取得较好结果。     

基于贝叶斯网络和卷积神经网络的手绘草图识别方法

为实现笔画的分组和识别,现有的草图识别算法通常会采用限制用户的绘图习惯来达到目的.该文提出了利用贝叶斯网络和卷积神经网络(CNN)的草图识别方法解决此问题.首先,使用高斯低通滤波器处理输入草图,得到更平滑的图像.然后将连续输入的笔划分为两部分,分别使用贝叶斯网络和卷积神经网络对分割后的笔画进行识别,当笔画的可靠性大于阈值时,以贝叶斯网络的识别结果为准,反之采用CNN的识别结果.实验结果表明,该文算法在电路符号绘制过程中的识别率和绘制完成后的识别率均取得了较好的结果.该文算法具有良好的应用前景.     

基于数据增强的卷积神经网络火灾识别

当前图像识别采用的普遍方法是卷积神经网络方法,但该方法依赖于大数据集,在样本不足时会出现过拟合问题。针对以上问题,根据火灾的背景复杂性和卷积神经网络自动学习特征的优点,提出一种基于数据增强的卷积神经网络火灾识别方法。对少量火灾图片引入数据增强技术,通过搭建一个3层卷积池化层和一个全连接层自动提取火灾特征,使用softmax分类器输出。仿真实验结果表明:原始数据测试集的识别率为95%,损失值发散,提出方法使测试集损失值收敛到0.2,改善了过拟合的问题;对数据增强减少过拟合的原因进行分析,表明对小样本使用卷积神经网络具有重要意义。     

基于卷积脉冲神经网络的故障诊断方法研究

深度学习为轴承故障诊断的智能化发展提供了新思路。本文从类脑计算角度出发,设计一种对轴承数据敏感的脉冲神经网络来完成故障数据分类任务。首先采用信号分解的方式提高原始信号特征提取效果,然后对故障信号进行脉冲编码,并采用多分量混合输入方式填充时间步作为神经网络的输入,最后采用卷积脉冲神经网络(SCNN)进行故障分类。为了验证该模型的分类效果,采用西储大学轴承数据集进行验证,分类准确率达到了99.78%。结果表明该轴承数据编码方案可以充分发挥脉冲神经网络时空动力学特征,且该脉冲神经网络模型在轴承故障诊断问题上具有高精度、高效率的特性。本研究有利于促进脉冲神经网络在故障诊断领域的研究和应用。     

基于改进的卷积神经网络的钢号识别

为获取样本的多样性特征,提出了一种改进的卷积神经网络结构。该网络中引入多层递归神经网络,利用卷积神经网络提取输入图像的浅层特征,同时利用卷积神经网络和递归神经网络并行提取高层特征,最后将两种网络学习到的特征进行融合输入到分类器中分类。利用迁移学习理论解决小样本集数据训练不足的问题,并将这种卷积神经网络结构应用于石油物资管线钢号识别中。实验探究了递归神经网络个数与卷积核个数对网络性能的影响,实验结果表明,改进的网络结构与其它网络进行对比,错误率降低了 3% 。     

基于并行残差卷积网络的图像超分辨重建

针对VDSR模型卷积核单一和DRRN模型不能全局利用的问题,提出了基于并行残差卷积神经网络的联合卷积图像超分辨重建模型。模型首先利用原始卷积层和扩张卷积层融合,建立联合卷积层,然后利用跳跃链接,将多种抽象层次的特征进行融合,最后完成整个超分辨网络的模型构建。提出的模型具有以下优点：①扩张卷积神经网络与原始卷积神经网络融合,在计算机复杂度不变的情况下,可以获取更多尺度的信息,因此具有更强的表达能力;②跳跃链接方式,将抽象层度较低与较高抽象层次的信息融合,获取更多的信息,使得模型具有更强的学习能力。通过在多个数据集上进行实验,模型在大多数任务中与VDSR、DRRN和SRCNN等先进模型相比,IFC值取得了大于0.1的提升。     

基于全卷积神经网络的多尺度人脸检测

如何快速而准确地定位到人脸,针对这个问题,提出了一种基于全卷积神经网络的多尺度人脸检测方法.首先用全卷积层替换VGG网络中的全连接层,然后用二分类代替分类层,最后进行该算法下的人脸检测,通过对待检测的图片进行多尺度变换并将其输入到全卷积神经网络中,得到相应的概率矩阵,人脸图框通过非极大值抑制法获取.试验结果表明,该算法的准确率较高,检测时间短,性能较好.     

深立井井壁图像的卷积神经网络去噪方法

为了实现井壁缺陷的自动检测,提出去除井壁图像噪声的卷积神经网络(CNN)模型(ELU-CNN)。该模型为深28层的全卷积网络模型,由5个特征提取模块(FEM)和跳跃连接组成;跳跃连接将第一卷积层的输出特征与每一个FEM的输出特征串联融合,保证图像特征的充分提取;使用残差学习来缓解梯度消失并提高收敛速度,保证训练后的去噪模型学习到的非线性映射是图像噪声;选用ELU作为激活函数,它具有软饱和性且输出均值接近于零,能增强模型对输入噪声的鲁棒性并加速模型收敛。在标准测试集BSD68、set12及实际井壁图像上,验证ELU-CNN模型的去噪性能并和先进方法作比较,实验结果表明:与FFDNet模型相比,ELU-CNN模型的平均峰值信噪比,在含噪声浓度σ为(15,25,35,50,75)的BSD68、set12测试集上分别提高了(0.17,0.11,0.08,0.05,0.03) dB、(0.18,0.16,0.08,0.06,0.07) dB。在去除井壁图像盲噪声时,ELU-CNN模型能更好地保留缺陷的纹理信息。     

融合上下文的残差门卷积实体抽取

基于传统卷积框架的实体抽取方法,由于受到卷积感受野大小的控制,当前词与上下文的关联程度有限,对实体词在整个句子中的语义欠考虑,识别效果不佳.针对这一问题,提出一种基于残差门卷积的实体识别方法,利用膨胀卷积和带残差的门控线性单元,从多个时序维度同步考虑词间的语义关联,借助门控单元调整流向下一层神经元的信息量,缓解跨层传播...     

基于卷积神经网络的基因剪接位点预测

研究剪接位点可以更深入地探索剪接机制和基因预测方法,准确预测剪接位点至关重要。基于深度学习技术提出一种新的预测方法,无需人工提取样本特征,以基因序列的K-MER编码向量作为输入,采用训练后的卷积神经网络(CNN)模型进行预测。基于人类基因HS3D供体数据集,与传统机器学习方法进行预测比较,结果表明预测模型的主要性能指标,包含马修斯相关系数(MCC)、灵敏度(SN)均超过传统的机器学习方法。     

基于卷积神经网络的高分辨率雷达目标识别

提出一种基于卷积神经网络(Convolution Neural Network,CNN)的高分辨率雷达目标识别方法.首先针对小样本应用于深度CNN时训练过程中损失函数值收敛速度慢的问题,利用结合批归一化算法的改进CNN网络对高分辨距离像(High Resolution Range Profile,HRRP)进行自动特征提取;再利用支持向量机(Support Vector Machine,SVM)对距离像特征进行分类.使用军事车辆高保真电磁仿真数据对提出的方法进行验证,识别结果证明了该方法的有效性.     

基于卷积神经网络的岩石图像分类

在显微镜下分析岩石薄片并对其进行分类时,人工鉴定效率较低且易受主观因素影响,为此提出了一种基于卷积神经网络深度学习的岩石粒度自动分类方法。该方法通过卷积网络模型实现图像特征自动提取,并同时建立模式分类器,实现基于薄片图像的粒度自动识别。采用鄂尔多斯盆地的4 800样品对卷积网络模型进行训练,通过1 200个样品对模型测试,测试集分类结果的准确度达到98.5%。理论分析与数据验证说明,通过深度学习所建立的卷积网络模型能够基于岩石薄片图像获得高效、准确、可靠的自动分类结果。     

模糊神经网络结构动态学习算法

提出了一种模糊神经网络（ＦＮＮ）结构学习算法,根据输入样本动态构建ＦＮＮ的输入节点及其对应的输入隶属函数,从而实现动态确定ＦＮＮ的结构,大大减少了对初始学习本本数目的要求,提出了ＦＮＮ学习算法在实时控制中的适应能力,仿真结果表明,这一算法很好地实现了对超出初始学习样本范围的其他样本的学习。     

模糊神经网络结构动态学习算法

提出一种模糊神经网络(FNN)结构学习算法,根据输入样本动态构建FNN的输入节点及其对应的输入隶 属函数,从而实现动态确定FNN的结构,大大减少了对初始学习样本数目的要求,提高了FNN学习算法在实时控 制中的适应能力．仿真结果表明,这一算法很好地实现了对超出初始学习样本范围的其他样本的学习．     

动物学习的神经元网络模型

本文提出了一个适用于动物神经系统在自然环境下的学习的神经元网络模型。这一模型可通过学习建立未知感觉物与某一已有行为反应间的正确对应关系。该模型的整个学习过程不需要人的参与。本文还提出了一个新的方法来解决在并行处理模型中如何识别或产生做为整体的具有一定时间顺序的由多个模式构成的序列。     

基于快速残差插值和卷积神经网络的去马赛克算法

针对传统插值法存在的图像细节不能很好恢复的不足,利用卷积神经网络作为残差插值法的后处理操作,提出了一种基于残差插值和卷积神经网络的去马赛克算法。方法分为初始去马赛克和细节恢复后处理两部分。先用改进的基于梯度的快速残差插值法实现初步去马赛克插值,并针对恢复图像中包含了彩色伪影,细节丢失等问题,再使用深度残差网络学习恢复图像与理想全彩色图像之间的映射,实现后处理。在Kodak数据集和IMAX数据集上的实验结果表明,该方法结果在主观视觉特性和客观评价指标两方面相较于传统方法都有明显改进。     

基于改进的卷积神经网络图像识别方法

当前的图像特征识别大多采用的是传统的机器学习方法与卷积神经网络方法。传统的机器学习对图像识别的研究,特征提取多是通过人工完成,泛化能力不够强。最早的卷积神经网络也存在诸多缺陷,如硬件要求高,需要的训练样本量大,训练时间长。针对以上问题,提出了一种改进的神经网络模型,在LeNet-5模型的基础上并在保证识别率的情况下,简化网络结构,提高训练速度。将改进的网络结构在MINIST字符库上进行识别实验,分析网络结构在不同参量中的识别能力,并与传统算法进行对比分析。结果表明提出的改进结构在当前识别正确率上,明显高于传统的识别算法,为当前的图像识别提供新的参考。     

一种改进的深度卷积神经网络图像去噪算法

为了更好地去除图像中的噪声,提出了一种改进的深度卷积神经网络(Dncnn)图像去噪算法。针对现有的Dncnn网络参数量大,对Dncnn网络的第2～16层进行了改进,使网络参数量降低1/3后,仍能保持和Dncnn一样的训练效果。在此基础上,对网络底层的低级语义信息和高层的高级语义信息进行了特征融合,使得网络训练更平稳,并能达到更好的训练效果。实验结果表明无论与图像去噪领域公认最好的去噪算法BM3D相比,还是与深度学习领域先进的图像去噪算法Dncnn相比,改进的Dncnn都有更好的表现。