基于深度学习与Dense SIFT融合的人脸表情识别

为了准确高效地实现人脸表情识别.提出将一种将卷积神经网络与Dense SIFT特征进行融合的混合模型,该混合模型所用的网络结构是在深度可分离的卷积神经网络MobileNet的思想上加以改进.在通道卷积(深度卷积)与空间卷积(点卷积)分离的基础上,将MobileNet结构的点卷积部分使用多尺度卷积核,保证了提取特征的丰富细微性,更加适用于人脸表情特征提取;同时引入DenseNet结构的思想,提升了网络的性能.利用Dense SIFT的128维描述子对特征描述较丰富的优势。将其与改进的MobileNet网络在全连接层进行融合,采用Eltwise层在全连接层元素之间做比较并取最大值,以保证特征的多样性,且更具代表性.在FER2013和JAFFE人脸表情数据集上运用该混合模型,识别率可以达到73.2%和96.5%.     

基于卷积神经网络的室内场景识别

场景识别一直是图像处理领域的重要问题之一,对研究移动机器人定位、计算机视觉等方面具有重要意义.然而,室内场景的复杂性与无序性使室内场景识别研究面临许多挑战.传统的手工提取特征无法充分描述室内场景的信息,而卷积神经网络提取的特征能够包含丰富的场景语义和结构信息,且对于平移、比例缩放、倾斜等形式的变形具有高度不变性,因此提出了应用基于卷积神经网络的GoogLeNet网络模型来完成识别任务的方法.该网络模型在深度学习框架Caffe上对MIT_Indoor数据集的识别准确率为59.7%,高于使用传统手工提取特征的算法的准确率,对比结果说明了深度卷积神经网络在室内场景识别问题上的有效性.     

基于多尺度跃层卷积神经网络的精细车型识别

为解决精细车型识别中特征不具有代表性,且识别准确率低的问题,提出了基于多尺度跃层卷积神经网络(CNN)的车型识别方法。通过多个不同尺度的跃层卷积神经网络,提取适用于精细车型识别的低层局部特征和高层全局特征,并分别训练Softmax分类器。利用自适应方式融合方法,将多个单一尺度跃层卷积神经网络的识别结果进行融合,调整不同网络对识别结果的贡献。实验中车型识别准确率达到97.59%。实验结果表明多尺度跃层卷积神经网络适用于精细的车型识别,并能提高识别的准确率。     

语音识别中的DenseNet模型研究

为了解决语音识别中由网络加深导致的低层特征消失、参数量大及网络训练困难的问题,基于Inception V3网络的非对称卷积思想,提出了一种改进的密集连接卷积神经网络(densely connected convolutional neural networks, DenseNet)模型。根据语音识别的长时相关性,通过密集连接块建立起不同层之间的连接关系,从而保存低层特征、加强特征传播;为了得到尺度更丰富的声学特征,将卷积核的范围进行扩大;利用非对称卷积思想分解卷积核,以减少参数量。实验结果表明,相较经典深度残差卷积神经网络模型和原始DenseNet模型,提出的模型在THCHS30数据集上的语音识别性能更好,在保证识别率的情况下,还减少了网络参数量,提高了模型训练效率。     

基于空洞-稠密网络的交通拥堵预测模型

在利用卷积神经网络模型对短时交通拥堵情况等预测场景进行预测时,由于模型的卷积池化操作过程会丢失部分数据,使得目标位置的信息出现丢失及特征的分辨率持续下降,导致模型的预测能力降低.针对此,本文提出一种空洞-稠密神经网络模型.首先,利用空洞卷积用较少的网络参数获取更大感受野的特点,充分提取出复杂多变的数据时空特征.其次,通过下采样及稠密网络的等值映射,解决参数在神经网络层数增加过程出现退化的问题.最后,取实际的城市道路平均车速数据块对网络结构的有效性进行验证.结果表明:同卷积神经网络模型相比,该网络结构预测平均绝对误差降低3%～23%.     

基于卷积神经网络的灾难场景图像分类

为了对灾难场景图像进行快速分析和识别,提出了一种基于多分辨率卷积神经网络和残差注意力机制(attention module)相结合的图像分类模型.首先,对灾难场景数据集进行预处理,在相同类型的条件下将其随机划分为训练集和测试集.基于改进的卷积神经网络(convolutional neural network,CNN),提取训练集的图像特征.使用训练集图片的特征进行训练,并且在测试集图片上实现分类测试.选取DenseNet、Xception和MobileNetV2三种模型,以灾难场景数据集(Disaster_Data_Scenes)为数据集进行实验验证.结果表明:改进的Xception和MobileNetV2网络在灾难场景数据集上进行的图像分类实验测试,比原网络精度分别提升了4.56％和3.04％.其中改进的DenseNet网络比原网络模型精度分别提升9.13％、17.88％和10.27％.可见改进的卷积神经网络模型的分类精度得到有效提高.     

基于深度学习的人脸美丽预测模型及其应用

为了进一步提高人脸美丽预测精度,本文构建了一个多尺度图像输入的人脸美丽预测深度卷积神经网络模型(Deep Convolution Neural Network,DCNN),以增强对人脸图像空间结构特征的提取能力.采用深度可分离卷积层代替普通卷积层、Max-Feature-Max(MFM)激活函数代替修正线性单元(Rectified Linear Unit,Re LU)激活函数,可减少网络训练参数并提取具有竞争性的网络特征.基于大规模亚洲女性人脸美丽数据库(Large Scale Asian Female Beauty Database,LSAFBD)的实验结果表明,本文所构建的人脸美丽预测模型取得了59.75%的正确分类率,优于现有DCNN模型的分类结果.     

基于多尺寸特征图卷积方法的玉米雄穗检测

为了解决传统雄穗检测方法因玉米品种不同以及田间环境不同导致的检测误差较大、鲁棒性较差的问题,利用深度卷积神经网络提取特征,并对多尺寸特征图卷积的方法检测玉米雄穗。采用深度卷积神经网络inception作为基础网络来训练提取玉米雄穗特征,同时增加额外的卷积层对图像进行卷积提取特征,最后分别对基础网络中的两层卷积层以及额外的卷积层卷积得到的不同尺度特征图进行分类和位置回归。整体网络结构是多尺度端到端框架,效率高,方便检测不同尺度的雄穗。实验结果表明,此方法提高了雄穗检测的速度和准确率。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

基于LBP与卷积神经网络的人脸识别

卷积神经网络在人脸识别上有较好的效果,但是其提取的人脸特征忽略了人脸的局部结构特征.为了提取更加全面的人脸特征,提出一种基于局部二值模式(local binary pattern,LBP)与卷积神经网络相结合的新方法.首先,提取人脸图片的LBP特征图像,然后把LBP图像与原RGB图像结合作为网络输入数据,并且使用随机梯度下降法训练网络参数,最后用训练得到的网络模型对人脸图片进行识别.通过在LFW(labeled face in the wild)人脸识别数据库上的实验表明,在卷积神经网络中加入LBP图像信息可以提高人脸识别的准确率.另外,当增加训练数据时,提出的方法得到的识别率会进一步提高,更说明提出方法的有效性.     

基于彩色-深度图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。提出了一个基于RGB-D(彩色-深度)图像的场景语义分割网络;该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其他state-of-the-art的语义分割网络结构相比,所提出的场景语义分割网络性能突出。     

多尺度空洞卷积金字塔网络建筑物提取

为改善现有深度学习方法获取图像特征尺度单一、提取精度较低等问题,提出多尺度空洞卷积金字塔网络建筑物提取方法。多尺度空洞卷积金字塔网络以U-Net为基础模型,编码-解码阶段采用空洞卷积替换普通卷积扩大感受野,使得每个卷积层输出包含比普通卷积更大范围的特征信息,以利于获取遥感影像中建筑物特征的全局信息,金字塔池化模块结合U-Net跳跃连接结构整合多尺度的特征,以获取高分辨率全局整体信息及低分辨率局部细节信息。在WHU数据集上进行提取实验,交并比达到了91.876%,相比其他语义分割网络交并比提升4.547%～10.826%,在Inria数据集上进行泛化实验,泛化精度高于其他网络。结果表明所提出的空洞卷积金字塔网络提取精度高,泛化能力强,且在不同尺度建筑物提取上具有良好的适应性。     

融合Multi-scale CNN和Bi-LSTM的人脸表情识别研究

为了有效改善现有人脸表情识别模型中存在信息丢失严重、特征信息之间联系不密切的问题,提出一种融合多尺度卷积神经网络(Multi-scale CNN)和双向长短期记忆(Bi-LSTM)的模型.Bi-LSTM可以增强特征信息间的联系与信息的维持,在Multi-scale CNN中通过不同尺度的卷积核可以提取到更加丰富的特征信息,并通过加入批标准化(BN)层与特征融合处理,从而加快网络的收敛速度,有利于特征信息的重利用,再将两者提取到的特征信息进行融合,最后将改进的正则化方法应用到目标函数中,减小网络复杂度和过拟合.在JAFFE和FER-2013公开数据集上进行实验,准确率分别达到了95.455％和74.115％,由此证明所提算法的有效性和先进性.     

基于稠密连接和非局部运算的烟雾识别方法

烟雾图像检测已经成为早期火灾预警的主要技术手段之一,为了提升烟雾识别准确率和运算效率,提出基于稠密连接和非局部运算的深度卷积神经网络用于烟雾识别。首先,设计深度网络中卷积层间的稠密连接机制,构建稠密基本块,增强信息流通和特征重利用,同时也减少模型参数量。然后,为了进一步考虑烟雾图像的全局信息,将非局部运算与稠密基本块中的卷积运算相结合,构建稠密和非局部基本卷积块。最后,利用已经构建的若干个稠密和非局部基本卷积块搭建用于烟雾识别的深度卷积神经网络。在已经公开的烟雾图像数据库上进行性能评估,实验结果表明,提出的基于稠密连接和非局部运算的烟雾识别方法以不到1M的模型参数量取得了更令人满意的性能。     

基于全卷积神经网络的多尺度人脸检测

如何快速而准确地定位到人脸,针对这个问题,提出了一种基于全卷积神经网络的多尺度人脸检测方法.首先用全卷积层替换VGG网络中的全连接层,然后用二分类代替分类层,最后进行该算法下的人脸检测,通过对待检测的图片进行多尺度变换并将其输入到全卷积神经网络中,得到相应的概率矩阵,人脸图框通过非极大值抑制法获取.试验结果表明,该算法的准确率较高,检测时间短,性能较好.     

基于语音与人脸参数化表示的跨模态稠密深度

为了提高跨模态人脸表示与合成的性能,针对语音与人脸图像2种模态数据,提出一种基于人脸参数化表示与稠密深度网络相结合的面部生成方法。针对输入语音模态,通过对信号进行频谱变换,将一维时域信号转换到二维频率域,可提取频域上稳健的特征描述;针对输出图像模态,利用主动外观模型对不同面部区域独立建模以降低区域间的相关性,并提取紧凑的人脸参数化特征;为了获得有效的跨模态学习性能,提出采用稠密连接的深度卷积神经网络学习语音、图像2种模态的回归预测,并通过预测的人脸参数进行面部重构,所采用的深度网络模型可以加强特征传播与特征复用,有利于增强面部细节的合成。在2组音视频数据集上验证了提出方法的有效性。     

基于双路CNN的多姿态人脸识别方法

提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)的多姿态人脸识别方法。利用该方法可以将输入的人脸投影到高维特征空间并输出具备姿态鲁棒性的人脸特征,从而进行精确的多姿态人脸识别。经过大量的实验验证,该模型在多个数据集上取得了良好效果。与传统的单路CNN网络层次结构不同,本文方法采用双路CNN网络层次结构并结合度量学习来优化传统的CNN模型。最后,使用Tensorflow深度学习框架进行实验,实验结果表明,该框架的识别准确率比目前几种常用的多姿态人脸识别算法的识别准确率更高。     

基于改进LeNet-5模型的手写体中文识别

手写体中文的自动识别是中文文档数字化的前提和基础,由于中文字符数目繁多、相似性强、字体种类繁多、书写随意、缺乏统一规范等原因,一直是计算机视觉领域中一个具有挑战性的问题.为解决这一难题,提出了一种基于卷积神经网络的手写体中文识别方法.在经典LeNet-5网络模型的基础上进行改进,提出了一种LeNet-Ⅱ模型.利用改进的Inception模块和空洞卷积,设计了一种并行的双路卷积神经网络结构;两路分支可分别提取手写中文图像中不同尺度的特征,获得多个尺度的特征图像;通过对其进行特征融合,可以达到丰富特征图像多样性、提升识别准确率的目的;最后经过全连接层进行分类.利用经典手写体中文数据集进行训练,利用该模型实现了3 755类手写体中文字符及相关文本的自动识别.实验结果表明,基于改进LeNet-5模型的手写体中文识别方法,在同一训练数据集上的收敛速度和识别准确率明显优于经典LeNet-5模型,对经典数据集的识别准确率可以达到95.21%,也高于其他传统算法;此外,对4幅手写体中文文本的平均识别准确率达到97.30%,超出了人类表现,取得了理想的实际效果.     

嵌入DenseNet结构和空洞卷积模块的改进YOLO v3火灾检测算法

为解决现有火灾检测算法无法同时满足高检测率、低误报率以及高实时性的检测需求的问题,提出了一种基于卷积神经网络的改进YOLOv3目标检测算法,通过深度卷积神经网络自动提取火焰特征对全图进行多尺度特征图预测.首先,针对网络公开火灾数据集数量较少、场景种类受限、火焰尺度单一等问题,自建了一个包含13 573张火灾图片的火灾数据集用于对模型进行训练和测试,其中训练集图片10 014张,测试集图片3 559张.接着,为了提升网络对于多尺度目标(尤其是小尺度目标)火焰的特征提取效果,通过在原YOLOv3的特征提取网络Darknet-53中嵌入空洞卷积模块以充分利用上下文信息,扩增感受野的同时保证不丢失特征图的分辨率.此外,在特征提取网络中加入DenseNet密集型连接网络结构单元,以增强特征复用,同时缓解深度卷积神经网络在特征传播过程中的梯度消失问题.该改进的特征提取网络相比原网络层数进一步加深,网络参数量显著减少.结合火灾检测任务需求实际,简化了损失函数,加快了网络的收敛速度.实验结果表明:该算法检测速度快,检测精度高,不仅能够实时检测大尺度火焰,对于火灾发生初期的小尺度火焰也同样检测灵敏,其检测速度可达26.0帧/s,精确率可达97%,且在多种复杂光照环境下均能良好地抑制误报.     

多尺度时空信息融合驱动的图神经网络故障诊断方法

行星齿轮箱作为机械系统中常见的减速装置,由于长期在强噪声环境和变工况工作条件下运行,导致采集到的振动信号故障特征微弱、信号模式多变难以识别,针对行星齿轮箱故障诊断效果不佳,泛化能力差的问题,提出一种多尺度时空信息融合驱动的图神经网络故障诊断方法来提高故障诊断模型准确率和泛化能力。该方法首先构建多尺度卷积核对原始时序信号进行不同尺度特征提取,削弱强噪声信号对有效信息的掩盖作用并增强故障特征的表达能力;然后再构造通道注意力机制,根据通道特征重要程度,给不同尺度卷积核提取的特征自适应分配不同权重,对含有关键故障特征的信息片段进行特征强化;最后对卷积输出的多尺度特征,构造空域下的图数据并通过图卷积网络聚合多尺度特征,从而有效利用数据的时序多维信息和空域结构关联信息,实现多尺度下时空域故障信息的深度融合,提高诊断的准确精度和模型的泛化性能。通过利用具有行星齿轮箱结构的风电装备故障数据集对所提方法进行验证,并与其他深度学习方法（第一层宽卷积核深度卷积神经网（WDCNN）、长短时记忆网络（LSTM）、残差网络（ResNet）、多尺度卷积神经网络（MSCNN））进行比较,结果表明：本研究提出的方法在跨...