跨信道注意力权重最大区域掩盖的正则化方法

针对Dropout的流动性和随机性可能引起欠拟合或过拟合的问题，提出跨信道计算注意力权重并掩盖注意力权重最大区域的正则化方法(MARDrop)。设计跨信道注意力权重提取机制，提取所有特征图的注意力权重，并筛选出注意力权重较大的部分作为特征判别单元；根据特征判别单元周围区域的注意力权重变化确定出注意力权重最大区域，并将其掩盖即对应区域置为0,其余区域均置为1;将取值为1的注意力权重区域还原为特征图，完成正则化处理。实验表明：MARDrop具有较强的灵活性，结合不同优化方法用于Model2模型后，在CIFAR-10上的分类精度比基础模型提高了19.55%;MARDrop具有较强的泛化能力，能灵活用于不同模型，用于VGG16和ResNet18模型后，在CIFAR-10上的分类错误率比基础模型分别降低了10.05%和9.96%,用于MoblieNetV3S和MoblieNetV3L后，在ImageNet-C9上的分类错误率比基础模型分别降低了14.67%和96.90%。MARDrop利用一维卷积跨信道交互计算注意力权重，能有效降低提取的复杂度；MARDrop通过准确掩盖造成过拟合的特征区域，降...     

基于卷积核分解的深度CNN模型结构优化及其在小图像识别中的应用

小图像由于像素少、分辨率低、整幅图像包含信息较少,识别较为困难。目前优秀的深度卷积神经网络模型多为大图像而设计,而用于小图像的模型则存在着层次不够深、难以对特征进行充分抽象的不足。本文基于VGG19模型,依据卷积核分解的原理,设计了一种KDS-DCNN模型,模型深度达到31层,解决了目前超深度模型不能直接用于小图像识别的问题,实验表明该方法不但提升了识别性能,而且还降低了模型的时间复杂度。在CIFAR-10、CIFAR-100和SVHN三个数据集上的验证结果显示,KDS-DCNN模型性能优越,其识别错误率分别降低到29.46%、6.02%和2.17%。     

基于深度信念卷积神经网络的图像识别与分类

针对基于卷积神经网络的图像识别采用随机初始化网络权值的方法易收敛到局部最优值的问题,该文提出了一种结合无监督和有监督学习的网络权值预训练算法。融合零成分分析白化与深度信念网络预学习得到的特征,对卷积神经网络权值进行初始化;通过卷积、池化等操作,对训练样本进行特征提取并使用全连接网络对特征进行分类;计算分类损失函数并优化网络参数。在公开图像数据库中进行了大量实验,与公开最佳算法比较,该算法在MNIST中的识别错误率降低了0.1%,在Caltech101中的分类准确率提升了0.56%,验证了该算法优于现有算法。     

基于InceptionV3卷积神经网络森林火灾检测方法

卷积神经网络算法已广泛运用在图像识别的领域中,基于深度学习的森林火灾检测也逐渐兴起,传统的卷积神经网络算法存在计算速度慢、噪声影响大、传统全连接权重多等问题.本文将使用更好的优化器来提高计算速度,并通过调整模型权重的方式来获得更好的识别效果.     

基于基完备化理论和嵌入多层感知机的深度网络结构设计

为了进一步改善经典卷积神经网络的识别性能,首先证明了跨层传输实质上是基的完备化过程,然后基于多类型特征提取结构、嵌入多层感知机以及跨层传输结构提出一种新型深度卷积网络——期望网络.经分析发现,期望网络中的多类型特征提取结构可提取不同类型的特征,嵌入多层感知机可生成期望图并标定不同类型特征的权重,跨层传输结构可缓解网络性能退化的问题.仿真实验结果表明,在数据集CIFAR-10、数据集CIFAR-100和数据集SVHN上,相比于ResNet网络、深度监督网络和Highw ay网络等经典深度卷积网络,期望网络的误识别率均有不同程度的下降.     

基于数据增强的卷积神经网络火灾识别

当前图像识别采用的普遍方法是卷积神经网络方法,但该方法依赖于大数据集,在样本不足时会出现过拟合问题。针对以上问题,根据火灾的背景复杂性和卷积神经网络自动学习特征的优点,提出一种基于数据增强的卷积神经网络火灾识别方法。对少量火灾图片引入数据增强技术,通过搭建一个3层卷积池化层和一个全连接层自动提取火灾特征,使用softmax分类器输出。仿真实验结果表明:原始数据测试集的识别率为95%,损失值发散,提出方法使测试集损失值收敛到0.2,改善了过拟合的问题;对数据增强减少过拟合的原因进行分析,表明对小样本使用卷积神经网络具有重要意义。     

基于Dopout与ADAM优化器的改进CNN算法

在分析当前卷积神经网络模型特征提取过程中存在问题的基础上,提出了基于Dropout与ADAM优化器的改进卷积神经网络算法(MCNN-DA).设计了二次卷积神经网络结构,通过引入基于Re LU的激活函数以避免梯度消失问题,提高收敛速度;通过在全连接层和输出层之间加入Dropout层解决过拟合问题,并设计了ADAM优化器的最小化交叉熵.以MNIST和HCL2000数据集为测试数据,测试分析了ADAM优化器的不同学习率对算法性能的影响,得出当学习率处于0.04~0.08时,算法具有较好的识别性能.与三种算法的实验比较结果表明:本文算法的平均识别率最高可达99.21%;对于HCL2000测试集,本文算法的平均识别率比基于支持向量机优化的极速学习机算法提高了3.98%.     

一种基于端对端深度卷积神经网络的验证码识别方法

传统验证码识别方法对不同类型的验证码泛化能力和鲁棒性较差。为此,提出一种基于深度卷积神经网络的端对端验证码识别方法。首先,通过并行级联的卷积层构建简易Inception模块,替代Google-net的卷积层,在降低调整参数数量的同时,提高网络对于不同感受野尺度的适应性。同时,采用全局平均池化层替换原全连接层以防止过拟合,提高网络学习效率。其次,在训练过程中,直接利用深度网络的学习能力自动提取和识别验证码图像的字符特征信息,无须对验证码图像进行预分割,可以有效避免因字符分割引起的误差累积问题。通过对谷歌验证码、正方教务系统验证码和京东验证码的测试,结果表明本方法具有更好的泛化能力和鲁棒性,对三类验证码的识别率分别达到96.3%、98.9%和99%,比经典卷积神经网络分别提高3.14%、2.75%和1.14%。     

自归一化卷积神经网络的人脸识别方法

传统的卷积神经网络(CNN)在人脸识别中应用极为广泛,然而依然存在收敛速度慢的问题,需要进行批归一化,防止梯度弥散.而自归一化卷积神经网络比普通卷积神经网络收敛速度更快,且无需进行批归一化.因此,提出采用自归一化卷积神经网络来进行人脸识别.首先算法由2个卷积层,1个池化层,2个全连接层和1个Softmax回归层组成的自归一化卷积神经网络对人脸特征进行提取并分类;然后通过对不同批次大小和不同网络层数的实验对比找出最佳的实验条件;最后与传统CNN算法和其他算法对比.提出的方法在ORL数据库中的实验识别率可达到98.3%.实验结果表明,自归一化卷积神经网络比普通的卷积神经网络在人脸识别中具有更高的识别率、更快的收敛速度.     

基于深度神经网络的手写数字识别模拟研究

当前图像识别大多采用基于特征提取的传统机器学习方法与卷积神经网络的方法,但传统图像识别技术需要手动提取图片特征,而卷积神经网络对硬件要求高,训练时间长等。针对以上问题,本文提出基于深度神经网络模型的手写体图像识别方法,让机器自动学习特征,并在此基础上,通过改进成本函数,加入dropout防止过拟合,来提高手写数字识别的识别率。仿真实验对比结果表明,基于深度神经网络模型的方法比当前传统算法的识别率提高了3.41%,有效解决了人工识别费力耗时问题,对手写数字的研究具有重要意义。     

基于深度学习的肝硬化识别

为提高医学影像的识别准确率和效率,减少人为主观因素造成的误差,采用深度学习的方法自动识别正常肝与肝硬化影像,并针对传统卷积神经网络结构复杂,训练参数多和效率低等问题,使用基于卷积神经网络中的一种轻量级模型结构SqueezeNet;并利用迁移学习的方法,通过预训练和微调参数,可以避免数量集过少时而产生的过拟合题,并且实验结果取得了较好的分类效果;首次提出使用迁移学习后的轻量级卷积神经网络与传统的模式识别算法支持向量机相结合,实现对医学图像的分类,最终实验准确率进一步提高。     

基于改进的多通道卷积神经网络模型的图像分类方法

为了充分提取图像特征信息,同时减轻模型过拟合,提出了一种改进的多通道卷积神经网络模型。首先,利用三条卷积通道提取图像特征信息,各通道选择不同的卷积核大小,并利用小卷积核堆叠代替大卷积核的方法减少模型参数,再采用特征融合与批标准化技术对特征信息进行处理,最后输入到softmax分类器进行分类。将改进模型、单通道模型、多通道模型、传统图像分类模型用于对CIFAR-10数据集进行分类。实验结果表明,改进模型可以有效提取图像特征信息,减轻过拟合,进而提升模型的分类精度。     

双通道多感知卷积神经网络图像超分辨率重建

基于深度卷积神经网络的单幅图像超分辨率重建取得了显著研究成果.但随着深度卷积神经网络规模的不断扩大,如何降低网络构建难度和计算成本成为一个难点.为此,提出了一种双通道多感知卷积神经网络(DMCN)模型.该模型在两条具有不同卷积核的通道上建立了稠密连接,并构建了带有动态调节能力的层间融合结构.这种结构的设计使得小规模卷积神经网络便能获得图片特征信息的全面感知能力.实验结果表明,DMCN重建效果优于目前多数具有代表性的重建算法.     

随机丢弃和批标准化的深度卷积神经网络柴油机失火故障诊断

针对已有的柴油机失火故障诊断方法需要精细且耗时的时频特征提取过程,且对实际含有噪声的样本诊断准确率低的问题,提出了一种随机丢弃和批标准化的深度卷积神经网络柴油机失火故障诊断方法。在不同的转速工况下进行柴油机失火故障模拟试验,将采集到的原始缸盖振动信号作为深度卷积神经网络的输入,并在输入端引入随机丢弃抑制输入噪声,通过一维卷积操作自动提取失火故障模式特征,接着在各卷积输出层对特征信号进行批标准化处理,以减少信号在深度卷积层内部的方差偏移,最后基于多分类函数完成失火故障分类。不同噪声环境和方法的对比试验结果表明,所提方法的分类准确率最高可达100%,同时在保证算法准确率的前提下,其鲁棒性优于依赖时频提取特征的方法。     

应用于起重机智能视觉检测的双网络并行模型

起重机是一种使用广泛的物流设备,然而在长期高负载运作下,由于机械磨损、疲劳断裂产生的裂纹以及长期暴露于高温、潮湿环境下造成的机械腐蚀是无法避免的问题.传统的人工检测,一方面无法保证检测人员的作业安全,另一方面无法保证检测的全面性.因此,提出一种基于深度卷积神经网络的起重机金属结构缺陷视觉检测算法.由于起重机金属结构缺陷图像数据的规模小于深层次卷积神经网络所需的数据规模,容易导致过拟合,故先设计浅层次的卷积神经网络模型,再采用深层次的卷积神经网络训练浅层次卷积神经网络,得到一个深层次与浅层次的双网络并行模型,以此达到提高浅层次卷积神经网络检测的准确性和鲁棒性.实验上,通过双网络并行模型算法与单网络模型、传统机器视觉识别方式的实验性能对比,验证了该算法的有效性和更好的鲁棒性.     

基于深度学习的二值图像目标轮廓识别算法

针对传统目标轮廓识别算法对图像目标轮廓识别精度较低、 效果较差的问题, 提出一种基于深度学习的二值图像目标轮廓识别算法. 首先, 选取深度学习算法中的深度卷积网络算法识别二值图像目标轮廓, 将二值图像划分为不重叠的、 大小相同的子块图像输入深度卷积网络第一层; 其次, 卷积网络中的滤波器（卷积核）采用传统神经网络算法优化的代价函数对输入子块图像实施卷积滤波, 并将卷积滤波后下采样图像发送至第二层, 第二层经过相同处理后将结果输入第三层, 第三层输出图像即为该子块目标轮廓识别结果; 最后, 所有子块识别结束后在输出层通过全连接方法将其聚类, 并输出最终二值图像目标轮廓识别结果. 实验结果表明, 该算法识别15幅二值图像目标轮廓的识别精度平均为98.75%, 信噪比平均为2.42, 识别效果较优.     

基于深度学习的二值图像目标轮廓识别算法

针对传统目标轮廓识别算法对图像目标轮廓识别精度较低、 效果较差的问题, 提出一种基于深度学习的二值图像目标轮廓识别算法. 首先, 选取深度学习算法中的深度卷积网络算法识别二值图像目标轮廓, 将二值图像划分为不重叠的、 大小相同的子块图像输入深度卷积网络第一层; 其次, 卷积网络中的滤波器（卷积核）采用传统神经网络算法优化的代价函数对输入子块图像实施卷积滤波, 并将卷积滤波后下采样图像发送至第二层, 第二层经过相同处理后将结果输入第三层, 第三层输出图像即为该子块目标轮廓识别结果; 最后, 所有子块识别结束后在输出层通过全连接方法将其聚类, 并输出最终二值图像目标轮廓识别结果. 实验结果表明, 该算法识别15幅二值图像目标轮廓的识别精度平均为98.75%, 信噪比平均为2.42, 识别效果较优.     

目标跟踪中基于深度可分离卷积的剪枝方法

为了减少跟踪网络中存在的参数量和计算量大的问题,提出了基于深度可分离卷积的剪枝方法。深度可分离卷积将跟踪网络中的传统卷积层分解为逐点卷积和逐层卷积两部分。在逐点卷积中,通过逐点卷积层中权重的大小来评估输入特征图通道在线性组合中的重要程度,将较小的权重及其关联的特征通道裁减掉。在逐层卷积中,通过K-L散度来衡量逐层卷积中滤波器的相似性,将相似的滤波器裁剪掉,减少冗余。通过上述方法进行多轮迭代剪枝,从而减少跟踪网络的参数量和计算量。在VOT数据集上的实验结果表明,在精度没有下降的前提下,剪枝后网络的参数量下降了22.54%,计算量下降了17.8%。在NVIDIA TX2设备上的实验结果表明,剪枝后网络的跟踪速度在CPU上提升了14.95%,在GPU上提升了13.07%。     

基于深度学习One-stage方法的焊缝缺陷智能识别研究

目前基于深度学习的卷积神经网络在对焊缝缺陷射线图像进行智能识别时,多采用基于候选区域的two-stage方法,检测速度难以满足实时性要求。针对该问题,提出基于深度卷积神经网络的one-stage焊缝缺陷识别定位算法,将整张图像输入网络,并直接在输出图像上标定目标缺陷位置及类别。通过采用特征金字塔、减小网络深度、引入跳跃连接卷积块和K-means算法等方法对YOLO网络进行改进,提高了网络对焊缝缺陷识别定位的准确率和速度。实验结果表明:该方法比two-stage识别定位算法和YOLO原网络在检测速度和检测精度方面都有所提升,单个图像的平均识别准确率为94.9%,召回率为94.1%,处理时间为19.58 ms,具备焊缝缺陷在线实时识别的工程应用价值。     

一种基于浅层卷积神经网络的隐写分析方法

为提高隐写分析的检测准确率,提出了一种基于浅层卷积神经网络的图像隐写分析方法。与深度卷积神经网络相比,浅层卷积神经网络通过减少卷积层和禁用池化层,来加快神经网络收敛速度和减少隐写特征丢失,同时采用增加卷积核数、使用批正则化以及使用单层全连接层的方式,提高隐写分析网络的泛化性能。实验结果表明,针对S-UNIWARD隐写算法,在嵌入率为0.4 bpp和0.1 bpp时,检测准确率分别能达到96%和81.7%,同时在载体库源及嵌入率失配情况下,该方法仍能保持较好的检测性能。