基于改进型C3D网络的人体行为识别算法

针对原始C3D卷积神经网络参数量庞大,以及在压缩网络参数的同时进一步提高视频数据集中人体行为的识别率的问题,提出一种改进型C3D卷积神经网络模型。首先,采用全局平均池化和卷积分类操作取代全连接层,形成全卷积网络形式,之后在模型中分别引入卷积核为(3×3×3)和(1×1×1)的三维卷积层,并在此基础上采用卷积核为(3×1×7)和(3×7×1)的三维卷积层对多个(3×3×3)卷积层合并。最后,将所提方法在数据集UCF101和HMDB51上进行训练测试,并与当前深度学习现有流行算法进行比较。实验结果表明,本文所提方法与原始C3D网络模型相比,在UCF101数据集和HMDB51数据集上识别率分别提高了8.9%和7.9%,参数量压缩为原来的32.9%,并且在模型压缩和识别率上也均优于其他方法。     

面向小目标检测结合特征金字塔网络的SSD改进模型

针对SSD卷积神经网络模型对小目标检测精度不高的问题,提出了一种基于特征金字塔网络的SSD改进模型.特征金字塔网络可以将深层的携带有更抽象、更丰富的语义信息的卷积特征图与浅层的分辨率更高、更细节的卷积特征图进行融合.检测的过程是将原始SSD网络得到的多层特征图,经改进设计的横向连接层、上采样层、融合层和预测层处理后,再通过非极大值抑制得到最终的检测结果.采用PASCAL VOC 2007和2012(train+val)作为训练集,PASCAL VOC 2007(test)测试集的m AP达到了75. 8%,相比原SSD模型提高了1. 5%.其中,在盆栽植物类密集小目标检测上有9. 9%的提升.     

基于卷积神经网络的小目标交通标志检测算法

PVANet(performance vs accuracy network)卷积神经网络用于小目标检测的检测能力较弱.针对这一瓶颈问题,采用对PVANet网络的浅层特征提取层、深层特征提取层和HyperNet层(多层特征信息融合层)进行改进的措施,提出了一种适用于小目标物体检测的改进PVANet卷积神经网络模型,并在TT100K(Tsinghua-Tencent 100K)数据集上进行了交通标志检测算法验证实验.结果表明,所构建的卷积神经网络具有优秀的小目标物体检测能力,相应的交通标志检测算法可以实现较高的准确率.     

基于深度学习的网络攻击检测

针对现有的网络攻击检测方法检测精度不高的问题,提出一种基于并行卷积神经网络的在线网络安全攻击检测方法.该并行的深度卷积神经网络一共包含2个深度卷积神经网络用于提取特征:CNN1和CNN2,然后通过全连接层两个特征提取层,并通过软最大化操作将网络攻击的检测转换为攻击的分类模型.采用KDD Cup99作为仿真数据集,并采用训练数据来对深度模型进行训练,当模型的训练误差小于一定阈值时,采用测试数据进行测试.结果表明:将本文所提方法与文献[8]以及文献[9]所提的卷积神经网络进行比较,其结果表明了所提方法不仅具有较高的检测准确率而且具有较低的误报率上.     

基于双通道CNN的单幅图像超分辨率重建

卷积神经网络在单幅图像超分辨率重建方面取得了很大的进展,目前的很多方法都选择使用浅层或者深层的卷积神经网络实现图像超分辨率重建。浅层网络结构简单,但容易丢失图像的高频信息,而深层网络可以学习图像的高频纹理特征。本文提出了双通道卷积神经网络。浅层网络负责重建图像的整体轮廓,保留图像的原始信息;深层网络学习图像的高频纹理特征。在深层网络中,使用密集连接的卷积网络,能更有效地恢复图像的高频信息。同时,在两个网络的末端,通过添加额外的卷积层表示融合层,将网络进行融合,重建超分辨率图片。实验结果表明,在大多数情况下,本文模型的重构效果在主观和客观评估中均优于当前代表性的超分辨率重构方法。     

基于DenseNet的图像识别方法研究

在深度学习中,随着神经网络层数的加深,训练网络变得越来越困难,现有的浅层的网络无法明显提升网络的识别效果。针对在原有网络的情况下提升网络识别效果,减少参数的问题,本文提出一种改进的DenseNet网络模型,借鉴Inception V3的思想,利用非对称卷积将DenseNet网络中Dense Block层所包含的3×3卷积分解成3×1和1×3的两个卷积,简化网络结构模型。之后再对改进前与改进后的网络模型在数据集上进行训练,实验结果表明,与经典的DenseNet网络模型相比,改进后的网络模型可以提高图像识别的准确性,降低参数,有效地缩短运行时间。     

基于密集连接的层次化显著性物体检测网络

全卷积神经网络(FCN)在许多密集标记任务中表现出色。最近,基于FCN的显著性物体检测模型得到了快速发展。在本文中,提出了一种基于FCN的像素级显著物体检测网络。该模型首先通过自动学习多层次多尺度的显著性特征进行显著性粗略预测,包括颜色、纹理、形状和物体性等特征。然后采用密集连接的特征提取模块来进一步提取更丰富的特征信息。此外,本文引入跳层结构以提供更好的特征表示,利用深层产生的物体性语义特征引导浅层输出的显著性图更好定位显著性对象,最后,网络使用加权融合模块以组合各种特征。为了进一步提高显著图的空间连贯性并生成清晰轮廓,本文采用条件随机场(CRF)模型作为后处理步骤以优化网络预测得到的加权显著性图。整个网络以粗糙到精细的方式进行显著性检测,在5个公开的常用基准数据集上进行性能评估,并与10个具有代表性的算法进行比较,证明了本文所提模型的稳健性和有效性。     

采用残差网络与卷积注意力机制的设备剩余使用寿命预测方法

针对以往剩余使用寿命(RUL)预测方法均等对待深层特征中具有不同重要性的空间域和通道域特征,导致大量的计算资源浪费在不重要的特征上,进而造成RUL预测值偏差过大、不能对失效设备进行及时的维护以避免潜在的安全隐患的问题,提出一种采用残差网络与卷积注意力机制的端到端的RUL预测方法。该方法以卷积层和池化层对原始监测信号进行浅层特征提取与压缩;利用堆叠残差模块在学习深层特征的同时,缓解梯度弥散以及网络退化现象的发生;由卷积注意力模块对设备的深层退化特征进行加权赋值,分别在其空间维度上和通道维度上强化更重要的特征并抑制相对不重要的特征,使网络的注意力集中在对RUL预测任务更关键的信息上;将加权后的特征输入到全连接网络中映射得到RUL预测值。通过PHM2012轴承数据集进行了实验验证,实验结果表明,卷积注意力和残差结构皆对改善模型的预测性能有着积极的作用,所提方法在测试轴承上的均方根误差和平均绝对误差分别为0.107 9和0.083 1,远低于其他对比方法。     

基于卷积网络的视频目标检测

针对传统卷积神经网络层级较为浅,对物体识别精确度较低的原因,利用改进的深层卷积网络VGG16模型检测视频运动目标.首先,预处理过程中对数据集进行剪裁和旋转操作,补充数据集数量,以解决前期图像资源不足等问题;其次,在PASCAL VOC数据集上先预训练模型,接着加载自定义视频数据集对预训练模型进行第二次训练.实验结果表明,该网络模型能很好用于视频目标识别,提高了检测精确度,有效减少网络参数计算量,降低硬件内存资源消耗,具有较强的鲁棒性.     

基于八度卷积神经网络的多标签胸部X光图像分类算法

胸部疾病高发，且有些疾病种类的癌症转变率很高，因此基于卷积神经网络的胸部X光图像疾病自动检测分类方法是计算机辅助诊断的研究热点之一.然而，目前的自动分类方法仍面临胸部病灶的X光图像特异性特征表达不充分、不同胸部疾病发病率不平衡、卷积神经网络参数量过大等问题.针对上述问题，提出了一种端到端的基于八度卷积的ResNet(octave convolution based residual network,OC-ResNet)结构.首先，利用八度卷积改进ResNet中的普通卷积，将高低频特征分离，增强对高频信息的提取，以更好地表达胸部病灶的特异性特征，降低模型计算复杂度.其次，利用渐进式迁移学习，将OC-ResNet在ImageNet数据集进行预训练，获得网络的初始参数，然后固定网络浅层参数，在ChestX-Ray14数据集上微调网络深层参数.最后，为改善样本不平衡问题，网络训练时，采用了焦点损失函数，增加样本数较少类别的权重.在ChestX-Ray14数据集上的实验结果表明，OC-ResNet对14种胸部疾病分类的平均AUC值达到0.856，与目前先进的深度学习方法相比，其中13种疾病分类的...     

基于多层特征深度融合的卷积神经网络人脸识别方法

针对传统神经网络在人脸图像的训练过程中没有将高低卷积层信息进行融合,为充分利用图像各层特征信息,提出一种基于三层特征融合的全连接卷积神经网络模型,算法将原有网络最后三层特征结合,并将提取的特征信息与最后一层全连接层结合,从而增加了浅层特征的表达,加强了深层特征的提取效果,促使改进后的卷积神经网络提取的信息更加完备;同时将损失函数和中心函数加权联合,以提高人脸图像的识别率和区分性.在CASIA-webface人脸数据库进行的实验结果表明,改进后的网络模型识别率达到98. 7%,优于DCNN等算法,并将训练好的网络模型应用到YALE、PERET、LFW-A等人脸库上,相比其他方法识别率都有所提升.     

一种基于卷积网络的地震探测数据随机噪声去除方法

为有效提高地震数据信噪比,通过卷积神经网络(convolutional neural network,CNN)的方法研究了地震勘探数据去除随机噪声问题.该方法包含17个卷积层,使用线性整流(rectified linear unit,ReLU)激活函数避免梯度消失,使用批量标准化(batch normalization,BN)提高网络的泛化能力.所构建的网络应用残差学习策略,即输入为含噪地震正演叠前数据,输出为CNN网络学习获得的随机噪声.然后从地震记录中减去网络预测的噪声数据,从而达到去除随机噪声的目的.同时,根据地震勘探数据振幅随探测时间衰减的规律,在网络训练过程中进行深度加权,使得CNN对于深部噪声的学习效果更好.网络在PyTorch框架下训练,应用图形处理器并行计算可以有效提高网络训练速度.利用训练好的网络进行去噪实验,结果表明与传统的时空域预测滤波法相比,该网络能更好地压制随机噪声.可见针对地震勘探数据,CNN能够有效提取含噪数据中的噪声信息,证明了该方法在去除随机噪声方面的合理性与有效性.     

基于深度残差卷积神经网络的高光谱图像超分辨方法

卷积神经网络由于其强大的非线性表达能力在自然图像的处理问题中已经获得了非常大的成功。传统的稀疏表示方法利用精确配准的高分辨率多光谱图像,从而限制了实际应用。针对传统方法的不足,本文提出了一种基于深度残差卷积神经网络的单高光谱图像超分辨率方法,无需对应的多光谱图像。我们构建深度残差卷积神经网络挖掘低分辨率遥感图像和高分辨率遥感图像之间的非线性关系。构建的深度学习网络串联多个残差块,并去除一些不必要的模块,如批标准化层,每个残差块只包含两个卷积层,这样在保证模型效果的同时又加快模型的效率。此外,因为遥感图像训练数据缺乏,我们充分挖掘自然图像和高光谱图像之间的相似性,利用自然图像样本训练卷积神经网络,进一步利用迁移学习将训练好的网络模型引入到高分辨率遥感图像超分辨问题上,解决了训练样本缺乏问题。最后,基于实际的遥感数据超分辨实验结果表明,本文所提出的方法具有良好的性能,能得到较好的超分辨效果。     

Prediction of the Charpy V-notch impact energy of low carbon steel using a shallow neural network and deep learning

The impact energy prediction model of low carbon steel was investigated based on industrial data. A three-layer neural network, extreme learning machine, and deep neural network were compared with different activation functions, structure parameters, and training functions. Bayesian optimization was used to determine the optimal hyper-parameters of the deep neural network. The model with the best performance was applied to investigate the importance of process parameter variables on the impact energy of low carbon steel. The results show that the deep neural network obtains better prediction results than those of a shallow neural network because of the multiple hidden layers improving the learning ability of the model. Among the models, the Bayesian optimization deep neural network achieves the highest correlation coefficient of 0.9536, the lowest mean absolute relative error of 0.0843, and the lowest root mean square error of 17.34 J for predicting the impact energy of low carbon steel. Among the variables, the main factors affecting the impact energy of low carbon steel with a final thickness of7.5 mm are the thickness of the original slab, the thickness of intermediate slab, and the rough rolling exit temperature from the specific hot rolling production line.     

基于深度残差反向传播神经网络的钢筋腐蚀检测

针对小样本数据下浅层神经网络模型拟合能力不足,而加深网络层数出现网络性能退化问题,提出一种双跳跃深度残差BP神经网络模型,每个残差块堆叠三个同维度网络层,在网络的一、二层和一、三层之间加入双跳跃连接,增强浅层低非线性度特征信息向深层网络的直接传递和重复利用,且在反向传播过程中避免了梯度消失,提升模型分类准确率。同时引入一阶矩估计梯度指数加权平均因子对Adam算法中影响学习率的二阶矩估计梯度进行调整,优化网络的收敛能力。将改进后的算法模型用于钢筋腐蚀样本数据训练及测试,仿真结果表明,改进后的算法模型具有更好的分类性能。     

拆分降尺度卷积神经网络入侵检测方法

针对卷积神经网络模型待训参数量过大、多层网络导致特征和梯度消失等问题,论文提出了一种基于拆分层和Inception-ResNet的卷积神经网络模型用于入侵检测。首先将网络流量数据转化为具有空间相关性的图像以适用于卷积神经网络的输入;然后使用Inception-ResNet卷积层增加网络深度,减少模型训练参数数量以及消除梯度消失问题,拆分层在降低图像尺度时基本保持图像原有分类特征;最后采用NSL-KDD数据集对改进模型进行训练和测试。测试结果表明,改进模型相对于Inception-ResNet模型具有更高的检测准确率和少数类样本召回率以及更好的训练时间性能。     

基于生成对抗网络的肺结节良恶性诊断算法

针对实性肺结节CT影像数据量少、人工标注耗时耗力等问题,提出一种结合生成对抗网络和集成学习的实性肺结节良恶性计算机辅助诊断方法.首先,使用基于梯度惩罚的生成对抗网络对肺结节CT影像数据集进行扩充,缓解由数据量少、样本类别不均衡导致的模型过拟合.然后,利用卷积神经网络进行CT影像特征提取,并通过主成分分析对深度特征进行降维.最后,联合CT图像特征和有效临床信息,采用集成学习方法构建分类模型预测实性肺结节良恶性.基于多中心临床数据分析表明,相比于传统卷积神经网络模型,所提出方法有更好的预测性能.     

特征增强U形网络的图像语义分割

复杂场景语义分割任务是对场景图像逐像素进行分类并标记.图像中目标种类多,尺度多样的特点给分割任务增加了难度,提出了特征增强U形卷积神经网络(feature enhanced U shape networks,FEUNet)是一种改进的编码器加解码器的结构,编码阶段引入局部特征增强模块(local feature enhanced,LFE)提取局部感知特征来改善非显著目标的分割效果;考虑到神经网络深层和浅层之间特征表达的差异,在解码阶段利用全局池化方法(global pooling)设计全局特征增强模块(global feature enhanced,GFE),实现选择性地从深层特征图提取上下文信息作为对浅层特征图的指导,改善深层和浅层特征图的融合,保证同类像素预测的一致性.采用CamVid和Cityscapes数据集进行试验,模型mIOU测评值分别达到64.5％和73.2％,对比其他主流语义分割算法,该方法在分割性能和模型体积上具有一定竞争力.     

利用深度神经网络的无监督视频表示

在计算机视觉领域中,大多数的视频表示方法都是有监督的,需要大量带有标签的训练视频集,但标注大量视频数据会花费极大的人力和物力.为了解决这个问题,提出了一种基于深度神经网络的无监督视频表示方法.该方法利用改进的稠密轨迹(iDT)算法提取的视频块交替地训练深度卷积神经网络和特征聚类,得到可提取视频特征的深度卷积神经网络模型;通过视频的中层语义特征,实现了无监督视频表示.该模型在HMDB 51行为识别数据库和CCV事件检测数据库上分别进行了动作识别和事件检测的实验,获得了62.6%的识别率和43.6%的检测率,证明了本文方法的有效性.     

双通道多感知卷积神经网络图像超分辨率重建

基于深度卷积神经网络的单幅图像超分辨率重建取得了显著研究成果.但随着深度卷积神经网络规模的不断扩大,如何降低网络构建难度和计算成本成为一个难点.为此,提出了一种双通道多感知卷积神经网络(DMCN)模型.该模型在两条具有不同卷积核的通道上建立了稠密连接,并构建了带有动态调节能力的层间融合结构.这种结构的设计使得小规模卷积神经网络便能获得图片特征信息的全面感知能力.实验结果表明,DMCN重建效果优于目前多数具有代表性的重建算法.