融合Multi-scale CNN和Bi-LSTM的人脸表情识别研究

为了有效改善现有人脸表情识别模型中存在信息丢失严重、特征信息之间联系不密切的问题,提出一种融合多尺度卷积神经网络(Multi-scale CNN)和双向长短期记忆(Bi-LSTM)的模型.Bi-LSTM可以增强特征信息间的联系与信息的维持,在Multi-scale CNN中通过不同尺度的卷积核可以提取到更加丰富的特征信息,并通过加入批标准化(BN)层与特征融合处理,从而加快网络的收敛速度,有利于特征信息的重利用,再将两者提取到的特征信息进行融合,最后将改进的正则化方法应用到目标函数中,减小网络复杂度和过拟合.在JAFFE和FER-2013公开数据集上进行实验,准确率分别达到了95.455％和74.115％,由此证明所提算法的有效性和先进性.     

基于多尺寸特征图卷积方法的玉米雄穗检测

为了解决传统雄穗检测方法因玉米品种不同以及田间环境不同导致的检测误差较大、鲁棒性较差的问题,利用深度卷积神经网络提取特征,并对多尺寸特征图卷积的方法检测玉米雄穗。采用深度卷积神经网络inception作为基础网络来训练提取玉米雄穗特征,同时增加额外的卷积层对图像进行卷积提取特征,最后分别对基础网络中的两层卷积层以及额外的卷积层卷积得到的不同尺度特征图进行分类和位置回归。整体网络结构是多尺度端到端框架,效率高,方便检测不同尺度的雄穗。实验结果表明,此方法提高了雄穗检测的速度和准确率。     

多尺度卷积神经网络的图像超分辨率重建算法

为利用多尺度信息重建超分辨率图像,提出多尺度卷积神经网络的图像超分辨率重建算法。算法利用不同尺度的卷积核提取图像特征,为图像重建提供不同大小的邻域信息;用瓶颈层融合多尺度特征图,增强网络非线性表示能力,降低中间层输出的维数,提高图像的超分辨率重建性能。多个测试集上的实验结果表明,多尺度卷积神经网络算法优于现有的单幅图像超分辨率方法。     

改进卷积神经网络在腺癌病理图像分类中的应用

针对传统卷积神经网络(CNN)稀疏的网络结构无法保留全连接网络密集计算的高效性和在实验过程中卷积特征利用率低造成的分类结果不准确或收敛速度较慢的问题,提出了一种基于CNN的多尺度方法结合反卷积网络的特征提取算法(MSDCNN)并对腺癌病理图像进行分类。首先,利用反卷积操作实现不同尺度特征的融合,然后利用Inception结构不同尺度卷积核提取多尺度特征,最后通过Softmax方法对图像进行分类。在腺癌病理细胞图像进行的分类实验结果表明,在最后的卷积特征尺度相同的情况下,MSDCNN算法比传统的CNN算法分类精度提高了约14%,比同样基于多尺度特征的融合网络模型方法分类精度提高了约1.2%。     

基于残差U-Net网络的染色体图像分割方法

针对染色体识别的难题,提出一种基于残差U-Net网络的染色体图像分割方法.以残差网络和U-Net网络为基础简化深层网络的训练,利用丰富的跳跃连接促进信息传播;通过将U-Net网络底层的卷积层替换成不同尺度的空洞卷积,保持特征空间分辨率不变的同时扩大特征感受野,实现多尺度感受野提取图像特征的同时减少特性信息的丢失;压缩路...     

基于改进的卷积神经网络模型的中国绘画图像分类方法

提出了一种改进的卷积神经网络模型,在传统卷积神经网络中加入Inception模块,提取出图像的多尺度特征,同时引入残差连接,充分利用图像的底层特征信息.在模型中加入批标准化技术与重叠池化技术,减轻模型的过拟合.最后将提取出的特征信息输入到softmax分类器进行分类.为了验证改进模型在中国绘画图像分类上的可行性和有效性,将改进模型、传统卷积神经网络模型、LeNet模型、HOG+SVM算法用于对中国绘画图像进行分类.实验结果表明,改进模型可以有效提取中国绘画图像特征信息,减轻过拟合,进而提升模型的分类精度.     

基于并行残差卷积网络的图像超分辨重建

针对VDSR模型卷积核单一和DRRN模型不能全局利用的问题,提出了基于并行残差卷积神经网络的联合卷积图像超分辨重建模型。模型首先利用原始卷积层和扩张卷积层融合,建立联合卷积层,然后利用跳跃链接,将多种抽象层次的特征进行融合,最后完成整个超分辨网络的模型构建。提出的模型具有以下优点：①扩张卷积神经网络与原始卷积神经网络融合,在计算机复杂度不变的情况下,可以获取更多尺度的信息,因此具有更强的表达能力;②跳跃链接方式,将抽象层度较低与较高抽象层次的信息融合,获取更多的信息,使得模型具有更强的学习能力。通过在多个数据集上进行实验,模型在大多数任务中与VDSR、DRRN和SRCNN等先进模型相比,IFC值取得了大于0.1的提升。     

多尺度并行融合的轻量级卷积神经网络设计

针对传统深度卷积神经网络分类精度不佳,参数量巨大,难以在内存受限的设备上进行部署的问题,本文提出了一种多尺度并行融合的轻量级卷积神经网络架构PL-Net。首先,将上层输出特征图分别送入两种不同尺度的深度可分离卷积层;然后对并行输出特征信息进行交叉融合,并加入残差学习,设计了一种并行轻量型模块PL-Module;同时,为了更好地提取特征信息,利用尺度降维卷积模块SR-Module来替换传统池化层;最后将上述两个模块相互堆叠构建轻量级网络。在CIFAR10、Caltech256和101_food数据集上进行训练与测试,结果表明:与同等规模的传统CNN、MobileNet-V2网络及SqueezeNet网络相比,PL-Net在减少网络参数的同时,提升了网络的分类精度,适合在内存受限的设备上进行部署。     

用于稳态视觉诱发电位目标识别的多尺度特征融合卷积神经网络方法

针对传统稳态视觉诱发电位(SSVEP)脑电信号目标识别方法分类精度低、提取特征不充分、方法复杂且耗时等问题,提出一种基于多尺度特征融合卷积神经网络的SSVEP信号分类识别方法(SSVEP-MF)。利用小波变换将多通道SSVEP信号整合转化为二维图像作为输入样本集;建立多尺度特征融合卷积神经网络模型(MFCNN),该模型利用三层二维卷积核实现图像样本不同尺度特征的充分提取,构建多尺度特征融合单元对不同层级特征进行融合,并通过全连接等操作完成模型的训练;将样本集输入到MFCNN模型中实现脑电信号特征自适应提取及端到端分类。所提SSVEP-MF方法能够充分提取信号各层级特征,实现短时间视觉刺激下SSVEP信号的有效识别,并具有较高的目标识别效率。实验结果表明,在1 s刺激时长时,相比传统功率谱密度分析方法、典型相关分析方法以及普通卷积结构方法,所提方法的识别准确率分别提升了18.57%、20.08%及7.03%,有效提高了基于稳态视觉诱发电位范式下脑机接口的信号识别性能。     

基于多尺度特征融合的中分辨率遥感场景分类算法

在对中分辨率遥感图像进行场景分类时,传统的特征提取方法无法提取全面的特征,若使用卷积神经网络进行场景分类,同一大小的卷积核无法提取尺寸大小各异的地物特征,导致分类精度降低.为了提取不同尺寸的地物特征,提高分类精度,本文提出一种基于多尺度特征融合的中分辨率遥感场景分类算法.对传统的卷积神经网络进行改进以适应中分辨率遥感数据集,并在其基础上添加多尺度池化,将连接多层次的特征图谱输入到全连接层进行分类.实验表明,多层特征融合方法提取的特征信息比单层多尺度池化方法提取的特征信息更全面,分类效果更优.与其他的传统分类方法相比,本文方法获得更好的分类结果.     

基于多层特征深度融合的卷积神经网络人脸识别方法

针对传统神经网络在人脸图像的训练过程中没有将高低卷积层信息进行融合,为充分利用图像各层特征信息,提出一种基于三层特征融合的全连接卷积神经网络模型,算法将原有网络最后三层特征结合,并将提取的特征信息与最后一层全连接层结合,从而增加了浅层特征的表达,加强了深层特征的提取效果,促使改进后的卷积神经网络提取的信息更加完备;同时将损失函数和中心函数加权联合,以提高人脸图像的识别率和区分性.在CASIA-webface人脸数据库进行的实验结果表明,改进后的网络模型识别率达到98. 7%,优于DCNN等算法,并将训练好的网络模型应用到YALE、PERET、LFW-A等人脸库上,相比其他方法识别率都有所提升.     

多级细节信息融合的人脸表情识别

在自然环境中各种因素的干扰下,人脸表情信息匹配的识别率受到严重影响,针对此问题,提出一种改进的基于VGGNet16(visual geometry group network16)的网络模型.在VGGNet16模型的侧方添加一系列的侧输出层,并在该侧输出层添加不同的卷积核,通过上采样和下采样方法连接侧输出层的上下2层,并通过训练使侧输出层能够对其上下2层的表情信息进行加权融合.在VGGNet16第5层的后方添加2种不同的卷积核.将侧输出层最终得到的特征图进行局部卷积操作,将VGGNet16输出的最终特征图进行全局特征卷积操作,使局部特征与全局特征融合得到最终要进行分类的特征.该模型在CK+(the extended cohn-kanade)数据集上的识别率为98.6％,在RAF-DB(real-world affective faces)数据集上的表情识别率为79.59％,通过对比常用模型在这2种数据集上的识别率发现该模型具有一定的优势.     

基于多尺度特征选择网络的人脸表情识别

首先, 针对人脸表情识别问题提出一种新的多尺度特征选择网络识别方法, 该网络充分结合多尺度网络结构和特征选择结构的优点, 能更有效地提取面部静态图像中的空间信息. 其次, 为验证本文提出的多尺度特征选择网络的识别性能和泛化能力, 在两个经典的人脸表情识别数据集上与一些常用的方法进行对比和交叉验证实验. 实验结果表明, 该网络取得了更好的识别效果, 并且具有良好的泛化能力, 可以灵活地嵌入到人脸表情识别分析系统中.     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。     

基于彩色空间多特征融合的表情识别算法研究

目前的人脸表情识别方法大多是在灰度图像上采用单一特征算子,如 Local Phase Quantization(LPQ),Local Binary Patterns(LBP),Histograms Of Oriented Gradients(HOG),Gabor等,进行分类识别,但这类方法在复杂光照条件下识别率并不理想。为取得较好的识别率,本文首次提出了基于彩色图像多特征融合的表情识别算法。该算法首先在不同彩色分量上分别提取LPQ、LBP、HOG及Gabor多种特征,然后对高维特征进行线形鉴别分析并采用最近邻法进行表情分类,最后对多特征分类结果采用Adaboost算法进行融合。本文算法在具有复杂光照条件的Multi-PIE人脸库上进行了验证,取得了88.30%的平均识别率。实验结果表明：相比于基于灰度图像的单一特征识别算法,本文提出的算法能较大幅度地提高人脸表情识别率。     

基于多分支CNN和多尺度特征融合的非受控人脸年龄估计

现有的人脸年龄估计不能很好地兼顾全局-局部细节的特征表达,因而非受控人脸年龄估计的精度存在一定的提升空间。为解决此问题,提出了一种基于多分支卷积神经网络(convolutional neural networks,CNN)和多尺度特征融合的非受控人脸年龄估计方法。该方法根据人脸关键点对人脸图片剪裁得到包含人脸的全局图像和分别包含眼睛、鼻子、嘴巴的局部图像;使用多分支CNN网络提取对应的深层全局特征和局部特征,使用多尺度特征融合网络探索局部特征间的相关性信息从而进行局部特征选择;将融合的局部特征与全局特征拼接得到兼顾全局-局部细节的年龄特征;使用softmax损失函数优化模型进行人脸年龄估计。根据MORPH Album2、FG-NET、LAP2016人脸年龄数据集上的实验结果表明,提出的方法是有效的。     

基于全局注意力的多级特征融合目标检测算法

针对小目标物体检测精度差的问题,同时不以牺牲速度为代价,本文提出了一种基于全局注意力的多级特征融合目标检测算法。算法首先由卷积神经网络生成多尺度的特征图,然后采用多级特征融合的方法,将浅层和深层特征图的语义信息相结合,提高特征图的表达能力,接着引入全局注意力模块,对特征图上下文信息进行建模,并捕获通道之间的依赖关系来选择性地增强重要的通道特征。此外,在多任务损失函数的基础上增加一项额外的惩罚项来平衡正负样本。最后经过分类回归、迭代训练和过滤重复边框得到最终检测模型。对所提算法在PASCAL VOC数据集上进行了训练和测试,结果表明该算法能有效地提升小目标物体检测效果,并较好地平衡了检测精度与速度之间的关系。     

一种多尺度可变形部件模型的人脸表情识别的研究

针对现有表情识别研究无法捕捉脸部关键部位特征,提出一种多尺度可变形部件模型(DPM)的人脸表情识别方法。首先,构建多尺度图像的特征金字塔,然后,用随机梯度下降算法训练人脸DPM模型,根据DPM模型中根滤波器与部件滤波器的响应值确定人脸关键部位位置,最后,提取关键部位的HOG特征,将获得的特征输入到分类器中训练。在CK+和JAFFE表情库上的验证结果表明,该方法在不同角度和光照强弱影响下对人脸均有较好的检测和定位效果,提取的人脸关键部位特征在计算速率和识别率上优于对比算法。     

基于降维的堆积降噪自动编码机的表情识别方法

堆积降噪自动编码机是一种典型的深度学习模型,它能够刻画数据丰富的内在信息,具有较强的特征学习能力。基于主成分分析（principal component analysis,PCA）技术和堆积降噪自动编码机（stacked denoising autoen-coders,SDAE）模型,提出一种新的表情识别算法PCA＋SDAE。该算法对人脸图片进行裁剪及归一化等预处理,采用主成分分析技术对人脸特征进行线性降维,再利用堆积降噪自动编码机逐层进行特征学习并同时实现对人脸表情数据的非线性降维,可以得到更好的、维度更低的表情特征,并据此进行表情分类。对PCA＋SDAE算法的仿真测试实验结果表明,其综合性能比其他的基于深度学习模型的表情识别方法更好,同时与传统的非深度学习表情识别方法相比,它具有更高的表情识别正确率。     

基于注意力机制的多尺度仪表检测

为实现复杂场景下多尺度仪表检测,提出了一种基于注意力机制的视频多尺度仪表检测算法。首先,利用基于空间注意力机制的特征提取网络,建模特征的长距离依赖,增强特征的表达能力;其次,提出了一种自适应特征选择模块（Adaptive Feature Selection Module, AFSM）,对不同阶段的特征图进行权重调整,增强网络对多尺度目标的检测能力。在自建的仪表数据集上进行了实验。实验结果表明,相比较原来的Faster RCNN方法,所提出方法的检测精度提高了7.6%;与对比方法相比,检测精度也能达到95.4%。在对实际仪表监测视频的测试中,检测结果以及速度能够满足实际需要。所提方法通过改进特征提取网络和特征选择操作,增强了特征表达能力,有效降低了虚警,提升了网络对多尺度目标的检测性能。