融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于DenseNet的人脸图像情绪识别研究

针对人脸情绪识别类内差异大,类间差异小的特点,结合学生人脸图像的线上课堂情绪识别的场景,提出多尺度空洞卷积模块提取不同空间尺度特征的稠密深度神经网络模型,实现自然场景下学生人脸图像识别.该模型主要由多尺度空洞卷积和DenseNet神经网络两个子网络组成,其中多尺度空洞卷积由不同空洞率的四分支网络提取不同尺度特征,空洞卷积减小特征图尺寸,减少DenseNet内存资源占用;最后在DenseNet网络中结合Adam优化器和中心损失函数.使用稠密网络的旁路连接,加强情绪特征传递和复用.研究结果表明：基于稠密深度神经网络的情绪识别网络模型能够有效提高情绪分类的准确率,模型对预处理后的FER2013+数据集识别准确率达到93.99%,可为线上教学反馈提供技术支持.     

基于三通道注意力网络的番茄叶部病害识别

对番茄病害进行识别,近年来一直是植物病害预防的研究热点。由于受到复杂背景干扰,番茄叶部病害识别准确率不高,针对这一问题,提出一种基于三通道注意力机制网络的番茄叶部病害识别方法。该网络基于ResNeXt50残差网络,将注意力模块嵌入至残差网络的ResNeXt模块中可以并行提取目标的通道特征和空间特征,获取有效的语义信息。训练阶段通过设计双损失函数和数据增强进一步提升分类准确度,并通过迁移学习网络预训练参数的方式提高网络训练效率。实验结果表明,使用双损失函数和数据增强后,基于三通道注意力网络的番茄病害识别算法在测试集上的平均识别准确率达98.4%,相比于传统机器学习方法和其他神经网络方法的准确率更高,检测速度满足实时性,Kappa系数为0.96,满足叶部病害识别的高精度要求。该方法能够有效地对10种番茄叶部病害进行识别,为植物病害识别提供了一种新的思路。     

基于SVM的人脸表情识别

以人脸表情视频序列为研究对象,介绍了人脸表情识别的一般过程,给出了基于SVM的人脸表情识别方法,讨论了面部表情强度度量方法。通过分析人脸表情的变化,在L-K光流算法基础上应用修正的特征点跟踪方法提取面部特征信息,使用SVM建立人脸表情模型和强度模型,进行表情识别,并对高兴表情进行强度等级分类。实验结果证明了提出方法的有效性。     

基于特征层融合与BP神经网络的人脸表情识别研究

针对图像处理中人脸表情识别率不高的问题,提出了一种基于特征层融合和神经网络的人脸表情识别方法。利用PCA对原图像进行特征降维处理得到维数较低的表情图像特征,再从粗到细策略对特征进行融合,最后采用神经网络的BP反向传播算法对训练集和验证集经多次迭代后训练好人脸表情模型。将收集到的表情数据进行实验仿真对比表明:本文提出方法与常用的分类算法相比,人脸表情识别率在本文提到的表情数据库上取得更好的效果。     

基于多层特征深度融合的卷积神经网络人脸识别方法

针对传统神经网络在人脸图像的训练过程中没有将高低卷积层信息进行融合,为充分利用图像各层特征信息,提出一种基于三层特征融合的全连接卷积神经网络模型,算法将原有网络最后三层特征结合,并将提取的特征信息与最后一层全连接层结合,从而增加了浅层特征的表达,加强了深层特征的提取效果,促使改进后的卷积神经网络提取的信息更加完备;同时将损失函数和中心函数加权联合,以提高人脸图像的识别率和区分性.在CASIA-webface人脸数据库进行的实验结果表明,改进后的网络模型识别率达到98. 7%,优于DCNN等算法,并将训练好的网络模型应用到YALE、PERET、LFW-A等人脸库上,相比其他方法识别率都有所提升.     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。     

基于多分支CNN和多尺度特征融合的非受控人脸年龄估计

现有的人脸年龄估计不能很好地兼顾全局-局部细节的特征表达,因而非受控人脸年龄估计的精度存在一定的提升空间。为解决此问题,提出了一种基于多分支卷积神经网络(convolutional neural networks,CNN)和多尺度特征融合的非受控人脸年龄估计方法。该方法根据人脸关键点对人脸图片剪裁得到包含人脸的全局图像和分别包含眼睛、鼻子、嘴巴的局部图像;使用多分支CNN网络提取对应的深层全局特征和局部特征,使用多尺度特征融合网络探索局部特征间的相关性信息从而进行局部特征选择;将融合的局部特征与全局特征拼接得到兼顾全局-局部细节的年龄特征;使用softmax损失函数优化模型进行人脸年龄估计。根据MORPH Album2、FG-NET、LAP2016人脸年龄数据集上的实验结果表明,提出的方法是有效的。     

基于深度学习与Dense SIFT融合的人脸表情识别

为了准确高效地实现人脸表情识别.提出将一种将卷积神经网络与Dense SIFT特征进行融合的混合模型,该混合模型所用的网络结构是在深度可分离的卷积神经网络MobileNet的思想上加以改进.在通道卷积(深度卷积)与空间卷积(点卷积)分离的基础上,将MobileNet结构的点卷积部分使用多尺度卷积核,保证了提取特征的丰富细微性,更加适用于人脸表情特征提取;同时引入DenseNet结构的思想,提升了网络的性能.利用Dense SIFT的128维描述子对特征描述较丰富的优势。将其与改进的MobileNet网络在全连接层进行融合,采用Eltwise层在全连接层元素之间做比较并取最大值,以保证特征的多样性,且更具代表性.在FER2013和JAFFE人脸表情数据集上运用该混合模型,识别率可以达到73.2%和96.5%.     

基于卷积网络与特征脸的面部表情聚类

相比于人脸识别，表情识别是更细粒度的图像分类，不同表情之间的差异非常细微，一般的聚类算法难以处理面部表情数据的分类问题。本文提出了一种基于卷积神经网络的Expression-EigenFace特征聚类算法，对数据集样本进行预处理，通过人脸检测和定位技术，将人脸分割重组形成情绪特征脸；将处理后的特征脸送入预训练好的卷积网络进行提取特征；通过聚类算法对所提取的特征进行聚类，完成人脸面部表情聚类的过程。实验结果表明：相比没有经过任何处理的表情图像聚类，本文方法在调整兰德系数(adjusted rand index, ARI)、调整互信息(adjusted mutual information, AMI)和标准化互信息(normalized mutual information, NMI)这几个聚类评估指标上都有大幅提升，证明了所提出的特征脸聚类算法的有效性。     

特征增强U形网络的图像语义分割

复杂场景语义分割任务是对场景图像逐像素进行分类并标记.图像中目标种类多,尺度多样的特点给分割任务增加了难度,提出了特征增强U形卷积神经网络(feature enhanced U shape networks,FEUNet)是一种改进的编码器加解码器的结构,编码阶段引入局部特征增强模块(local feature enhanced,LFE)提取局部感知特征来改善非显著目标的分割效果;考虑到神经网络深层和浅层之间特征表达的差异,在解码阶段利用全局池化方法(global pooling)设计全局特征增强模块(global feature enhanced,GFE),实现选择性地从深层特征图提取上下文信息作为对浅层特征图的指导,改善深层和浅层特征图的融合,保证同类像素预测的一致性.采用CamVid和Cityscapes数据集进行试验,模型mIOU测评值分别达到64.5％和73.2％,对比其他主流语义分割算法,该方法在分割性能和模型体积上具有一定竞争力.     

基于深度CRF模型的图像语义分割方法

从图像中提取多种特征向量堆叠为一个高维特征向量用于图像语义分割,会导致部分特征向量的分类能力减弱或丢失。针对此问题,提出了一种结合深度卷积神经网络AlexNet和条件随机场的图像语义分割方法。利用预训练好的AlexNet模型提取图像特征,再通过条件随机场对多特征及上下文信息的有效利用来实现图像的语义分割。与利用传统经典特征的方法进行对比,实验结果表明:在利用AlexNet模型提取特征进行图像语义分割时,Conv5层为最有效的特征提取层,在Stanford background和Weizmann horse数据集下的识别准确率分别为81.0%和91.7%,均高于其他2种对比方法,说明AlexNet可以提取更有效的特征,得到更高的语义分割精度。     

轻量化自适应特征选择目标检测网络

在小目标物体检测、多类别物体检测尤其是轻量化检测模型等关键技术研究方面仍面临较大的挑战,基于此,本文提出一种轻量化自适应特征选择目标检测网络.该网络以特征金字塔为基础,提取多尺度图像特征并从空间维度上对特征图进行滤波,从通道维度上自适应地选择特征图中更重要的通道,降低多通道下噪声和干扰对目标特征的稀释作用,减少特征图在传递过程中的信息丢失.除此之外,构建深度可分离卷积的分类网络,降低后续处理的计算量,加快检测速度,实现网络的轻量化处理.在PASCAL VOC 2007数据集上的检测平均精度为77.7%,检测速度为14.3帧/s.在MS COCO数据集上的测试结果表明,该网络在精度损失小于5%的情况下,检测速度远超FPN,比Mask R-CNN可以更好地兼顾检测速度和检测精度.     

多尺度残差注意网络的真实图像复原方法

为了提高基于深度学习网络方法在真实图像上的复原效果,提出了一种基于多尺度残差注意网络的复原方法。将退化图像输入到该模型中,利用浅层特征网络提取原始低质量图像的浅层特征;利用残差注意网络模块提取深层特征信息和通道相关性,使用局部连接和短跳跃连接进行残差学习;将浅层特征、通道相关性以及上下文深层特征信息输入到重构网络,利用具有不同感受野的特征进行图像复原。实验结果表明,相较于其他对比方法,该方法在图像去噪、图像增强和超分辨率等多个任务中获得最优的结果,能够在不引入伪影的情况下生成纹理细节丰富的清晰图像。     

一种改进轻量化神经网络的齿轮箱故障诊断方法

针对齿轮箱故障诊断精度低以及深度神经网络模型对计算机硬件要求高等问题,提出了Shuffle-ECANet网络模型用于齿轮箱故障诊断。该模型以轻量化神经网络ShuffleNet V2为基础,在保留网络轻量化结构的同时对网络模型进行了优化,采用Gelu激活函数增强了模型非线性变换能力,嵌入高效通道注意力(efficient channel attention, ECA)模块以提高网络性能。深度可分离卷积提高了网络模型的运算效率,通道混洗技术使得信息更加流通,提高了特征表达能力。实验结果表明,本文所提网络模型在保证轻量化的同时适用于不同噪声工况的齿轮箱故障诊断,在原信号下可达99.6%的诊断准确率,在添加了信噪比为-8 dB的高斯白噪声下可达92.7%的诊断准确率。本文所提方法为神经网络更好地应用于齿轮箱故障诊断提供了一条新的途经。     

基于改进Faster R-CNN的自然场景文字检测算法

自然场景中的文字受光照、污迹、文字较小等方面的影响,其检测难度较大,且传统的检测方法效果不好。在研究目标检测方法Faster RCNN的基础上,提出一种针对自然场景文字的改进方法。改进的模型由卷积神经网络特征提取模块,嵌套LSTM(nested long short-term memory,NLSTM)模块和区域候选网络(region proposal network,RPN)模块3部分组成,改进点主要是卷积神经网络特征提取模块增加了不同卷积层的空间特征融合,能够提取多层次的特征;增加嵌套LSTM模块能够学习长序列文本的序列特征,便于检测不定长度的文本序列;RPN模块通过设置宽为8像素,高度不定的锚点(anchor),可以提取一系列可能存在的目标建议框,其对小目标文字效果较好?。在实验部分,通过对标准数据集(ICDAR 2013,Multilingual)的实验结果对比表明,所提出的改进算法在准确率和效率方面明显优于改进前的算法。通过实列测试,改进的模型对小目标文字检测效果也有所提升。     

改进多尺度卷积神经网络的人脸表情识别研究

为了有效改善现有人脸表情识别模型中存在的信息丢失严重、组件间相对空间联系不密切的问题,提出了一种改进的多尺度卷积神经网络模型,通过构建深层多尺度卷积神经网络,使模型能够挖掘出更多潜在的特征信息;通过特征融合促进信息的流通和重利用,减少池化操作所引起的重要信息丢失,使得模型具有更好的学习能力;通过控制每层多尺度卷积神经网...     

改进残差神经网络在遥感图像分类中的应用

针对传统卷积神经网络随着深度加深而导致网络退化以及计算量大等问题,提出一种改进残差神经网络的遥感图像场景分类方法。该方法以残差网络ResNet50作为主框架,在残差结构中引入深度可分离卷积和分组卷积,减少了网络的参数量和计算量,加快模型收敛的同时也提升了分类精度。此外在网络中嵌入多尺度SE block模块对通道特征进行重校准,提取出更加重要的特征信息,进一步提升了网络的分类性能。在AID和UCMerced_Land Use两个公开数据集上的分类精度分别为91.92%和93.52%,相比常规残差网络分类精度分别提高了3.38%和10.24%,证明所提方法在遥感图像场景分类任务中的可行性和有效性。     

基于Transformer增强卷积的膝关节磁共振影像年龄预测

年龄预测是临床医学中的一个重要课题和非常活跃的研究领域.最近，由于传统影像学检查中电离辐射的缺点，越来越多的研究使用磁共振影像进行年龄预测.本文基于膝关节MRI数据集，提出了一种新的端到端网络，结合卷积神经网络和Masked-Transformer网络互补地来提取局部特征和全局依赖，并使用一个特征聚合模块来聚合不同局部膝关节MRI切片的特征.通过整合卷积神经网络的特征图和视觉Transformer分支的特征编码，特征提取模块可以互补地提取局部和全局信息，更好地提取与年龄相关的特征.同时，该网络使用由图注意力网络组成的特征聚合模块，用于在特征级别集成不同MRI切片的局部特征，实现多切片局部特征之间的交互.大量实验表明，该方法可以在膝关节MRI年龄估计任务中达到最先进的性能.具体而言，本文方法在MRI数据集上进行了测试，该测试集包括44个年龄在12.0～25.9岁之间的膝关节MRI样本，其中五折交叉验证的最佳结果是年龄平均绝对误差为1.57±1.34岁.     

一种融合多模态特征的视频暴力检测方法

暴力事件检测是视频内容智能分析的一个常见任务,在互联网视频内容审查、影视作品分析、安防视频监控等领域有重要应用.面向视频中暴力检测任务,提出了一个包含关系网络和注意力机制的方法来融合视频中的多模态特征,该方法首先使用深度学习提取视频中多个模态特征,如音频特征、光流特征、视频帧特征,接着组合不同的模态特征,利用关系网络来建模多模态之间的关系;然后基于深度神经网络设计了多头注意力模块,学习多个不同的注意力权重来聚焦视频的不同方面,以生成区分力强的视频特征.该方法可以融合视频中多个模态,提高了暴力检测准确率.在公开数据集上训练和验证的实验结果表明,提出的多模态特征融合方法,与仅使用单模态数据的方法和现有多模态融合的方法相比,具有明显的优势,检测准确率分别提升了4.89％和1.66％.