用于人体行为识别的Inflated VGGNet-16网络

针对目前人体行为识别算法中C3D网络结构较浅、特征提取能力差,以及无可用预训练模型、训练耗时长等问题,以更深的VGGNet-16网络为基础,通过添加批归一化层（batch normalization layer）以及使用Inflating方法将ImageNet预训练模型用于网络初始化,设计了一种新型的人体行为识别3D网络。通过在标准数据集UCF101与HMDB-51上的实验分析,将图片进行中心剪切后作为所设计网络的输入,从零训练时在UCF101数据集上比原始C3D网络的精度提高了9.2%,并且网络收敛速度更快,验证了所设计的Inflated VGGNet-16网络具有更强的特征提取与泛化能力。最后,将所设计网络加上10倍数据增强,在两个标准数据集上准确率分别达到了89.6%与61.7%,相比于较浅的C3D网络在UCF101数据集上提升了7.3%,超过了传统的改进密集轨迹法（iDT）以及经典的双流卷积神经网络（two-stream）,具有较高的行为识别准确率。     

基于多尺度3D卷积神经网络的行为识别方法

近年来卷积神经网络(convolutional neural network,CNN)在行为识别任务中取得了较大的进展.然而,现有的神经网络方法往往只注重高层语义信息的利用,对浅层特征信息挖掘利用不够.针对这一问题,提出一种基于3D卷积(convolution 3D,C3D)的多尺度3D卷积神经网络的行为识别方法.该方法受到特征金字塔结构的启发,在原C3D的基础上融合C3D的浅层特征信息,实现端到端的行为识别.同时该方法以现有的深度学习理论为基础,利用迁移学习的思想,将C3D和该方法中相同模块部分的参数迁移到本方法中,以降低模型的训练时间.通过在UCF101数据集上进行实验,实验结果表明,提出行为识别方法的分类精度达到84.56％,分类效果优于原C3D分类网络.     

语音识别中的DenseNet模型研究

为了解决语音识别中由网络加深导致的低层特征消失、参数量大及网络训练困难的问题,基于Inception V3网络的非对称卷积思想,提出了一种改进的密集连接卷积神经网络(densely connected convolutional neural networks, DenseNet)模型。根据语音识别的长时相关性,通过密集连接块建立起不同层之间的连接关系,从而保存低层特征、加强特征传播;为了得到尺度更丰富的声学特征,将卷积核的范围进行扩大;利用非对称卷积思想分解卷积核,以减少参数量。实验结果表明,相较经典深度残差卷积神经网络模型和原始DenseNet模型,提出的模型在THCHS30数据集上的语音识别性能更好,在保证识别率的情况下,还减少了网络参数量,提高了模型训练效率。     

基于改进的卷积神经网络的工件识别技术

针对传统的工件识别流程是由人工根据工件的特点设计需要提取的特征,整个过程具有耗时高、成本大、通用性较差和识别准确率不高等问题,改进了经典的卷积神经网络模型AlexNet和LeNet-5,通过将AlexNet网络的输入图像尺寸缩小到120×120,用BN层代替LRN层,减少两层卷积和全连接层,用3×3的卷积核代替第一层卷积层11×11的卷积核;将LeNet-5的输入图像尺寸提升至60×60,用ReLU取代原始Sigmoid激活函数,使用多个小卷积核代替大卷积核;分别使用改进前后的网络模型对工件数据集进行训练、测试.结果表明,改进后的两种网络模型,在测试集上分别达到94.31%和92.75%的平均识别准确率,平均识别时间分别为0.271s和0.321 s,满足生产需求.     

基于CR-RFPR101的钢板表面缺陷检测

针对钢板表面缺陷种类多、背景复杂、检测精度低等问题,文章首先对钢板表面缺陷数据集进行数据增强,并对原始Cascade区域卷积神经网络(region-basedconvolutional neural netwroks, R-CNN)算法进行改进,将ResNeXt-101-64×4d作为Cascade R-CNN算法的骨干网络,优化特征提取模块,利用递归特征金字塔(recursive feature pyramid, RFP)网络以反馈连接的方式进行特征优化,提出一种CR-RFPR101(Cascade R-CNN RFP ResNeXt-101-64×4d)的检测算法,以更好地保留细节和语义信息;同时使用可切换的空洞卷积替换主干网络的卷积层,以改变感受野的方式提高检测性能;最后使用引入软化非极大值抑制算法,保留有效信息,提高识别率。经实验验证,CR-RFPR101算法的检测率为83.4%,比原Cascade R-CNN算法提高了7.3%,满足了钢板表面缺陷检测要求。     

3D多重注意力机制下的行为识别

为解决传统3D卷积中难以提取时空信息的缺点,提出一种适用于3D卷积网络的多重注意力机制模块.该模块是由通道结合时间子模块和空间子模块组成的多维度特征调整模块.在通道结合时间模块中,通过调整池化层和卷积层的顺序,保留更多的有效通道信息和时间信息;在空间模块中,压缩冗余时间信息以减少计算量.该模块的整体计算量较少,可嵌入到各3D卷积网络中.为验证多重注意力机制模块的性能,基于3D ResNet网络设计部署了该多重注意力机制模块,并在UCF-101和HMDB-51两个行为识别数据集上分别进行训练.结果表明,改进后的3D ResNet在UCF-101上可提升1.50%的精度,在HMDB-51可提升1.24%的精度,而参数量只增加0.24%.     

一种3D残差神经网络视频行人动作分类改进方法

对于视频行人动作分类方法中,卷积神经网络模型对时域信息理解能力不足的问题,针对拥有深层的3D残差卷积神经网络提出一种联合计算方法,使深层特征的时域信息差异与损失差异共同参与模型的梯度下降过程,提升网络所学特征对时域信息的稳健表达,改进网络对时域信息的理解能力。经仿真实验证明,3D ResNeXt-101网络在添加了联合计算方法后,对UCF-101和HMDB-51数据集的测试准确度都有不同程度的提升,网络模型的性能经由联合计算方法的辅助得到了增强。     

基于压缩卷积神经网络的交通标志分类算法

针对车载计算系统很难满足大型卷积神经网络对计算资源和存储空间需求的问题,提出了一种基于压缩卷积神经网络的交通标志分类算法.首先挑选原始VGG-16和AlexNet在GTSRB数据集上进行分类训练;然后对网络模型进行基于泰勒展开的通道剪枝删除冗余的特征图通道;接着使用三值量化方法对剪枝后的网络模型进行参数量化;最后进行了通道剪枝、参数量化和组合压缩的实验.结果表明:本算法有效地压缩了网络模型,减少了运算次数.最终组合压缩的VGG-16网络模型的存储空间减少一半,参数数量为原始模型的9%,每秒浮点运算次数减少为原始模型的1/5,模型加载速度提升了5倍,测试速度提升了2倍,精度为原始模型的97%.     

基于迁移学习的危险行为识别方法研究

深度学习中卷积神经网络在行为识别领域有着良好的识别效果,但是由于深度学习需要较大数据集训练模型,而现今公开数据集中危险行为识别相关方向没有大量数据集。针对危险行为识别领域样本少、无法进行深度学习训练等问题,建立了危险行为识别数据集,并采用迁移学习方法对C3D网络模型进行迁移训练。结果表明,迁移学习后C3D网络模型对危险行为识别数据集平均识别率达到了83. 2%,可以有效识别危险行为动作。     

基于Dropout卷积神经网络的行为识别

近年来,卷积神经网络(CNN)已经成为很多科学领域的研究热点之一.卷积神经网络作为一种深度模型可以直接作用于原始输入,不需要手动设计特征描述子.与传统神经网络相比识别效果有很大的提高.它已经建立了一类强大的模型来处理图像识别,并对其扩展到三维卷积神经网络(3D CNN)来处理视频识别问题.在此基础上,笔者对三维卷积神经网络做了如下改进:用Gabor小波核来初始化卷积操作,以达到模拟人类视觉系统对视觉刺激的响应;在网络训练的过程中加入Dropout技术,随机选择删除部分神经元,以此来提高网络的泛化能力,有效防止过拟合.提出的方法在KTH和UCF-YouTube数据集上进行验证,取得了很好地识别效果.     

多级细节信息融合的人脸表情识别

在自然环境中各种因素的干扰下,人脸表情信息匹配的识别率受到严重影响,针对此问题,提出一种改进的基于VGGNet16(visual geometry group network16)的网络模型.在VGGNet16模型的侧方添加一系列的侧输出层,并在该侧输出层添加不同的卷积核,通过上采样和下采样方法连接侧输出层的上下2层,并通过训练使侧输出层能够对其上下2层的表情信息进行加权融合.在VGGNet16第5层的后方添加2种不同的卷积核.将侧输出层最终得到的特征图进行局部卷积操作,将VGGNet16输出的最终特征图进行全局特征卷积操作,使局部特征与全局特征融合得到最终要进行分类的特征.该模型在CK+(the extended cohn-kanade)数据集上的识别率为98.6％,在RAF-DB(real-world affective faces)数据集上的表情识别率为79.59％,通过对比常用模型在这2种数据集上的识别率发现该模型具有一定的优势.     

KCPStack:张量分解的卷积核分层矩阵压缩方法

针对现有张量分解卷积核压缩方法难以兼顾时空轻量化、过于依赖卷积瓶颈结构等问题,提出一种具有可观压缩与加速能力的卷积核分层矩阵压缩方法(KCPStack)。首先,在矩阵乘法视角下,将卷积核按通道拆分为2阶克罗内克规范多项式(KCP)分解,所得因子张量组合为两层权重矩阵,使卷积计算转换为具有较高推理效率的双层轻量卷积结构;其次,对比所提KCPStack方法与其他典型张量分解卷积核压缩方法的参数约减空间复杂度与推理计算时间复杂度;最后,基于RK3588神经处理单元进行KCPStack方法的部署,面向实际场景目标检测识别需求开发相关应用。实验结果表明：与现有张量分解方法相比,在张量秩相同或者参数量相当的前提下,所提KCPStack方法具有最快的推理计算效率;在图像分类标准数据集CIFAR-10和ImageNet上,KCPStack方法能够将精度损失控制在1%左右,最高可减少85.0%的参数量和79.8%的计算量;在目标检测识别标准数据集COCO上,KCPStack方法相对于基线模型的平均精度下降不超过1%;采用所提KCPStack方法对实际场景进行目标检测识别,在RK3588神经处理单元上能达...     

基于改进卷积神经网络的苹果叶部病害识别

针对苹果病害叶片图像病斑区域较小导致的传统卷积神经网络不能准确快速识别的问题,提出基于改进卷积神经网络的苹果叶部病害识别的网络模型.首先,将VGG16网络模型从ImageNet数据集上学习到的先验知识迁移到苹果病害叶片数据集上;然后,在瓶颈层后采用选择性核(selective kernel,简称SK)卷积模块;最后,使用全局平均池化代替全连接层.实验结果表明:与其他传统网络模型相比,该模型能更准确快速捕获苹果病害叶片上微小的病斑.     

基于轻量3D CNNs和Transformer的手语识别

针对传统基于3D CNNs(三维卷积神经网络)的手语识别方法模型计算复杂度和内存占用较高,及基于RNNs(循环神经网络)的连续手语识别方法的长距离建模能力不足的问题,提出一种基于轻量3DCNNs和Transformer的手语识别方法．首先使用轻量3D CNNs进行孤立词手语识别的时空建模,然后提出RKD(随机知识蒸馏),从多个教师模型中提取知识以提高轻量三维卷积的特征提取能力;针对连续手语,在特征提取后使用完全基于自注意力的Transformer进行全局建模．实验结果表明：所提方法在CSL-500和CSL-continuous数据集上可以获得95.10%的识别率和1.9的WER(词错误率),证明了所提方法的有效性．     

基于并行残差卷积网络的图像超分辨重建

针对VDSR模型卷积核单一和DRRN模型不能全局利用的问题,提出了基于并行残差卷积神经网络的联合卷积图像超分辨重建模型。模型首先利用原始卷积层和扩张卷积层融合,建立联合卷积层,然后利用跳跃链接,将多种抽象层次的特征进行融合,最后完成整个超分辨网络的模型构建。提出的模型具有以下优点：①扩张卷积神经网络与原始卷积神经网络融合,在计算机复杂度不变的情况下,可以获取更多尺度的信息,因此具有更强的表达能力;②跳跃链接方式,将抽象层度较低与较高抽象层次的信息融合,获取更多的信息,使得模型具有更强的学习能力。通过在多个数据集上进行实验,模型在大多数任务中与VDSR、DRRN和SRCNN等先进模型相比,IFC值取得了大于0.1的提升。     

轻量级卷积神经网络架构在入侵检测上的应用

针对当前卷积神经网络在入侵检测领域的效率低,误报率高等问题,提出一种新型的轻量级卷积神经网络.通过将SqueezeNet网络模型中Fire模块中的3×3卷积核替换成一组深度可分离的3×1与1×3的卷积核,并构建SpeedNet网络结构,替换模型卷积获得变形结构.实验结果表明,与传统的CNN网络架构相比,不降低精确度的情况下,提高了检测效率.     

基于深度学习与Dense SIFT融合的人脸表情识别

为了准确高效地实现人脸表情识别.提出将一种将卷积神经网络与Dense SIFT特征进行融合的混合模型,该混合模型所用的网络结构是在深度可分离的卷积神经网络MobileNet的思想上加以改进.在通道卷积(深度卷积)与空间卷积(点卷积)分离的基础上,将MobileNet结构的点卷积部分使用多尺度卷积核,保证了提取特征的丰富细微性,更加适用于人脸表情特征提取;同时引入DenseNet结构的思想,提升了网络的性能.利用Dense SIFT的128维描述子对特征描述较丰富的优势。将其与改进的MobileNet网络在全连接层进行融合,采用Eltwise层在全连接层元素之间做比较并取最大值,以保证特征的多样性,且更具代表性.在FER2013和JAFFE人脸表情数据集上运用该混合模型,识别率可以达到73.2%和96.5%.     

基于CNN的矿井富水区电磁反演研究

针对传统卷积神经网络(CNN)在电磁反演中提取数据特征时冗余信息多,导致网络反演精度降低的问题,提出一种变步长卷积神经网络电磁反演方法,将输入数据拓展为一维行向量,在各层网络中交替使用不同步长的卷积核进行卷积运算提取数据特征,利用变步长卷积方式替代传统网络的池化层,完成对冗余信息的过滤和特征信息的选择,并通过小卷积核级联的方式增大网络感受野提高网络的非线性表达能力。通过二维时域有限差分法(2D-FDTD)对不同电磁参数的富水区模型进行正演计算,并根据计算得出的电场时域响应特征建立样本数据集;将变步长卷积神经网络应用于电磁反演研究,建立适用于富水区问题的变步长卷积神经网络电磁反演模型,并验证变步长卷积神经网络电磁反演方法的精度。结果表明：该方法对坐标位置的反演平均相对误差为2.85%,对相对介电常数的反演平均相对误差为6.07%,反演结果与实际模型吻合度较高。所提方法对提高矿井富水区电磁反演的精度和效率具有一定的理论参考价值。     

利用深度神经网络的无监督视频表示

在计算机视觉领域中,大多数的视频表示方法都是有监督的,需要大量带有标签的训练视频集,但标注大量视频数据会花费极大的人力和物力.为了解决这个问题,提出了一种基于深度神经网络的无监督视频表示方法.该方法利用改进的稠密轨迹(iDT)算法提取的视频块交替地训练深度卷积神经网络和特征聚类,得到可提取视频特征的深度卷积神经网络模型;通过视频的中层语义特征,实现了无监督视频表示.该模型在HMDB 51行为识别数据库和CCV事件检测数据库上分别进行了动作识别和事件检测的实验,获得了62.6%的识别率和43.6%的检测率,证明了本文方法的有效性.     

利用卷积神经网络的显著性区域预测方法

针对神经网络的显著性区域预测存在数据采集代价大、处理繁琐等问题,提出2种卷积神经网络,即从头开始训练的浅层卷积神经网络,以及前三层源自另一个网络的深层卷积神经网络。其中,浅层网络结构简单,可避免过拟合问题;深层网络可以充分利用最底层的模型参数,收敛更快,效果更好。所提卷积神经网络应用于回归问题,均没有直接训练特征图的线性模型,而是在迁移层上训练了一堆新的卷积层。从端到端的角度解决显著性预测,将学习过程演化为损失函数的最小化问题。测试和训练在SALICON,SUN和MIT300数据集上进行,实验结果验证了所提方法的有效性。其中,深层网络和浅层网络在SALICON和SUN数据上的结果相似,深层网络在MIT300上的结果更优,与其他方法相比,所提方法具有不错的表现,而且具有跨数据集的鲁棒性。