基于Transformer改进的两分支行人重识别算法

针对基于卷积神经网络的行人重识别算法全局信息建模不足的问题，分析了卷积操作的局限性，提出一种基于Transformer改进的全局-局部两分支行人重识别算法.首先利用相对位置编码改进多头自注意力机制，并将其嵌入到Resnet50骨干网络中.之后在全局分支中对图像进行空间几何划分并利用Transformer的全局感受野增强抽象特征的提取能力；在局部分支中对Layer＿3输出进行降维监督，利用多尺度池化获得更丰富的局部特征.实验结果表明，该算法在公开数据集Market-1501和DukeMTMC-reID上的mAP/Rank-1分别达到了93.45%/95.61%和88.79%/90.35%,相对于单纯基于卷积神经网络的算法，本文算法达到更高的精度.     

基于循环生成对抗网络的壁画色彩修复算法

针对敦煌唐代壁画修复所面临的褪、变色以及修复后的壁画图像色彩存在假色和伪影的问题,提出基于循环生成对抗网络和多尺度融合协调注意力机制的壁画色彩修复算法。首先在循环一致性损失中添加同一映射损失,然后改进协调注意力机制,提出多尺度融合的协调注意力机制,最后在生成器中引入多尺度融合的协调注意力机制,对图像进行卷积核大小为1×1、3×3、5×5、7×7的多尺度卷积运算,提高生成图像的协调性。实验结果表明,与CycleGAN、WGAN等经典算法相比,本文算法在构造的壁画数据集上精度更高,可以在不依赖专家知识的情况下修复褪色壁画图像的颜色。     

基于卷积门控循环神经网络的语音增强方法

为了进一步提高基于深度神经网络的语音增强方法的性能,针对单独使用卷积神经网络难以对含噪语音中的长期依赖关系进行建模的问题,提出一种基于卷积门控循环神经网络的语音增强方法.该方法首先采用卷积神经网络提取含噪语音中的局部特征,然后采用门控循环神经网络将含噪语音中不同时间段的局部特征进行关联,通过结合两种网络的不同特性,在语音增强中更好地利用含噪语音中的上下文信息.实验结果表明:该方法能够有效提高未知噪声条件下的语音增强性能,增强后的语音具有更好的语音质量和可懂度.     

面向遥感图像的小样本目标检测改进算法研究

针对传统的遥感图像目标检测中面临的小样本以及目标样本分布不均衡等问题, 提出了一种基于改进的卷积神经网络(convolutional neural network, CNN)的遥感图像小样本目标检测算法. 首先, 该算法利用 $K$ 近邻($K$-nearest neighbor, kNN)回归分别对每个点和卷积层提取特征构建局部邻域; 同时, 通过最大池化聚合所有局部特征进行全局特征表示; 最后, 采用全连接层与缩放指数型线性单元(scaled expected linear unit, SELU)激活函数计算各类别对应的概率并分类. 实验结果表明, 该算法能够更有效地融合局部特征, 提高了遥感图像小样本目标识别与检测的精度, 同时保持信息的非局部扩散.     

基于级联卷积神经网络的人脸特征点识别算法实现

针对在有冗余图像信息干扰下进行人脸有效特征点提取时精度不高的问题,提出了基于级联卷积神经网络的人脸特征点检测算法.在该算法中:输入层读入规则化的原始图像,神经元提取图像的局部特征;池化层进行局部平均和降采样操作,对卷积结果降低维度;卷积层和池化层分布连接,迭代训练,输出特征点检测结果.该算法采用Python语言编程实现,在人脸数据集进行仿真实验,结果表明该算法对人脸特征点有较高的识别率.     

一种融合全局时空特征的CNNs动作识别方法

针对基于卷积神经网络(CNNs)的人体动作识别方法通常采用空域或时域局部特征的不足,提出一种融合人体动作全局时域和空间特征的双通道CNNs动作识别模型.空间通道对动作图像进行深度学习,采用多帧融合的方式提升准确率,全局时域通道对能量运动历史图(EMHI)进行深度学习,最后融合两个通道信息识别人体动作.利用现有的大型数据集进行预训练,以解决学习过程中训练样本不足问题.在UCF101数据集和该项目小样本数据集上进行实验,结果证明了该方法的有效性.     

结合马尔科夫场和格拉姆矩阵特征的写实类图像风格迁移

风格迁移是一门将参考图像的风格迁移到目标图像上的技术,但将风格迁移算法应用于写实类照片时,生成的图像却会因为纹理扭曲严重而表现得不真实或是生成的图像整体缺少美感,为了解决此类问题,提出一种基于卷积神经网络的风格迁移算法.首先,为了高效融合不同层信息作为特征表达使生成图像饱满丰富,用聚合方法结合了图像较浅层和较深层的特征;然后,使用全局风格损失和局部风格损失来构建总风格损失项,这样能使生成图像保持风格全局一致性,同时也保留了局部细节信息,其中全局风格损失是由格拉姆矩阵表达,而局部风格损失由马尔科夫随机场表达.为了限制图像结构的变化,将图像变化约束在颜色空间的局部仿射中.还提出一种基于神经网络的语义分割模块来约束图像不同语义区域处的纹理溢出,该模块自动生成输入图像的语义分割映射,节约人为手工构造语义区域的时间.实验结果表明,该方法在不同的风格场景下均能产生真实且美观的图像.     

基于多层级信息稀疏表征的盲图像质量评价

针对现有盲图像质量评价只关注图像局部或全局特征,且难以有效聚合特征等问题,提出了一种基于多层级信息稀疏表征的评价方法.首先,利用合成失真技术构建大规模数据集;然后,在原始图像上提取图像块作为初级视觉信息建立局部描述子集,同时通过卷积神经网络提取高级语义信息建立全局描述子集,在此基础上利用稀疏编码进行无监督学习训练,得到局部描述子码本和全局描述子码本;最后,汇聚目标数据集训练样本在两类码本上的稀疏编码系数作为图像表征,结合已有标签训练支撑向量回归(SVR)模型以预测图像质量.在LIVE,CSIQ和TID2013单个数据库上的实验结果表明:所提算法具有较强的主客观一致性,整体性能优于其他先进方法.研究结果表明本文算法具有较强的泛化能力和攻防竞争力,有益于图像质量评价任务的广泛应用.     

基于多视图和注意力推荐网络的三维物体识别方法

传统物体识别方法是从单一图像中通过人工提取图像特征,存在成本高、质量低等问题。针对上述问题,提出一种基于多视图和注意力推荐网络的三维物体识别方法,多视图很好地保留了物体在局部和全局上的特征;注意力模块可以有效地对视图上关键的特征聚焦,忽略无关或干扰特征。该方法利用一组多视图作为输入数据,通过卷积神经网络端到端提取物体特征,在卷积层加入注意力模块,实现视图关键区域的定位和剪裁,将处理后的视图送入另外一个卷积层,两个相同卷积操作提取的特征在池化层聚合,利用稀疏表示分类器对特征描述子进行分类识别。通过两个公开数据集的实验表明,所提算法对物体图像的识别准确度优于传统算法。     

基于约束式双通道模型的语音情感识别

针对语音情感识别过程中特征不充分的问题,提出了约束式双通道模型,从全局和局部两方面充分挖掘特征所包含的情感信息,从而提高情感识别率.通道1是针对语音特征的全局信息,通过改进门控循环单元,构建了BAGRU(bidirectional attention gate recurrent unit)模型,提高了语音特征之间的相关性;通道2是针对语音特征的局部信息,卷积神经网络与对抗训练结合,避免了局部信息相互干扰.通过双通道融合模型,根据通道特征重要程度生成不同权重,同时引入正交约束,解决了融合时产生特征冗余的问题.研究结果表明,在IEMOCAP和EMO-DB情感语料库上分别达到了62.83%和82.19%的识别精度,表现出了良好性能.     

基于局部监督深度混合模型的变电站巡检机器人道路场景识别

近年来,在各种图像分类和处理中,卷积神经网络(convolutional neural networks, CNN)取得了明显的优势。通过CNN中的全连通顶层和中间层等,可有效获取具有全局语义信息的深度特征以及包含局部语义信息的卷积特征,以此来提升图像识别的效果。为了进一步改进变电站巡检机器人对自身所处环境的理解能力,特别是在依赖于道路场景中整体和细节图像相结合来进行特征识别的条件下,文章提出了一种基于局部监督深度混合模型的识别网络对变电站巡检机器人道路场景进行识别,以实现对卷积特征的有效应用。首先该识别网络可以有效地避免卷积特征捕获到的局部对象在高度压缩的全连接层表示中被明显消除的问题;其次在局部卷积监督层的辅助下,通过直接将标签信息传播到卷积层,实现对图像的局部结构进行增强以补充场景图像中无序的中层语义信息;同时添加空间卷积操作来处理由于遮挡所造成的信息丢失。实验结果表明,局部监督深度混合模型网络在明显提高推理速度的同时,能够保持较高的识别精度,并在实际变电站场景的识别中表现出优秀的性能。     

从全局到局部：双注意力融合去雾网络

为了处理现有的基于卷积神经网络去雾方法只使用单一的注意力、很难生成细节生动的清晰图像,且容易导致色彩失真的问题,提出了一个全局与局部注意力融合的图像去雾方法,以获得正常清晰度和无色彩失真的去雾图像。首先利用通道注意力将输入的有雾图像在通道维度切分为两部分,一部分送入通道像素注意力通道抽取局部特征,另一部分送入Transformer通道学习全局特征,然后利用像素注意力对两个通道学习的特征进行融合,将上述模块作为基本单元组合为一个多级U型去雾网络,增加残差连接缓解上下采样导致的细节信息丢失,最后在网络底层加入一个Transformer模块学习全局信息。在多个公开可用的去雾图像数据集RESIDE SOTS Indoor、RESIDE SOTS Outdoor上测试所提方法的有效性,结果表明：对比经典的去雾方法,所提网络生成的图像细节更丰富并且色彩失真最少;在RESIDE SOTS Outdoor数据集上,相比经典的FFA-Net,峰值信噪比提高1.16 dB,相比GridDehazeNet,峰值信噪比提高3.68 dB。提出的全局与局部注意力融合方法能有效地去除雾霾,提升图像的对比度与清晰度...     

基于卷积神经网络的中文新闻文本分类

经典的卷积神经网络文本分类模型仅仅着眼于全局特征,没有考虑到局部特征.为了解决此问题,引入了注意力机制,用于提取文本中的关键词,把全局特征与局部特征综合在一起,使得文本的特征表达更加丰富.实验结果表明:卷积神经网络分类模型比传统的机器学习方法分类效果更好,而引入注意力机制后的卷积神经网络模型相比于经典的文本分类模型,分类效果也有了一定程度的提高.     

基于深度卷积生成对抗网络的植物图像识别方法的研究

提出使用深度卷积生成对抗网络进行植物图像识别方法.首先,利用生成式对抗网络生成植物图像样本,然后,利用判别网络中的卷积神经网络来提取图像特征,实现对生成网络产生的样本进行判别,以提升模型对图像数据分布的理解,从而达到了通过构建卷积神经网络对生产样本的质量进行测试的目标.实验结果表明,该方法生成的植物图像能够有效的提高卷积神经网络的识别准确率.     

基于稠密连接和非局部运算的烟雾识别方法

烟雾图像检测已经成为早期火灾预警的主要技术手段之一,为了提升烟雾识别准确率和运算效率,提出基于稠密连接和非局部运算的深度卷积神经网络用于烟雾识别。首先,设计深度网络中卷积层间的稠密连接机制,构建稠密基本块,增强信息流通和特征重利用,同时也减少模型参数量。然后,为了进一步考虑烟雾图像的全局信息,将非局部运算与稠密基本块中的卷积运算相结合,构建稠密和非局部基本卷积块。最后,利用已经构建的若干个稠密和非局部基本卷积块搭建用于烟雾识别的深度卷积神经网络。在已经公开的烟雾图像数据库上进行性能评估,实验结果表明,提出的基于稠密连接和非局部运算的烟雾识别方法以不到1M的模型参数量取得了更令人满意的性能。     

基于局部形状约束网络的人脸对齐

基于级联回归的人脸对齐方法已经取得了很大的成就,但是由于复杂的级联回归器设计、人为设计特征等局限性的影响使得人脸对齐没有找到一个性能更好的解决方案,尤其对于大姿态、大表情等条件下的人脸对齐任务.因此,为解决该问题,提出了一种新颖的人脸对齐方法——基于人脸局部形状约束.首先利用卷积神经网络初始化人脸整体形状;然后利用人脸局部区域的同质性,将人脸区域进行划分,对每一个区域定义局部形状约束;最后再由整体形状估计做为全局约束,组合各个面部局部形状约束,对整体面部特征点进行回归.实验结果表明,该方法提高了人脸对齐的精确度且速度上达到了实时.     

局部特征与全局信息联合的自适应图像增强算法

针对传统基于修正直方图的图像增强算法不能兼顾局部特征和全局信息的问题,提出一种局部特征与全局信息联合的自适应图像增强算法. 该算法将增强分为局部增强和全局增强两部分,局部增强利用像素的邻域信息和局部与全局对比度的比例信息作为幂次变换的伽马值,对图像进行伽马校正,提高图像的亮度和局部对比度;全局增强利用区域相似直方图统计抑制噪声,避免过度增强. 实验结果表明,本文算法在客观性能上优于其它传统图像增强算法,并且可以有效提高复杂光照下人脸图像的检测率.      

基于多层次深度卷积神经网络的图像情感分类

由于图像的复杂性和人类情感的主观性,图像情感分类是一项非常具有挑战性的任务.针对深度学习方法没有充分考虑图像先验信息的问题,提出一个新的多层次深度卷积神经网络框架.该框架综合考虑全局和局部视角,引入显著主体、颜色和局部等先验信息,从多个层次学习图像的情感表达.实验结果表明,在公开的大数量级和小数量级情感图库上,该框架的分类准确率均高于现有的图像情感分类方法,其平均分类准确率比最优方法提高了2.8%,特别在情感类别"厌恶"上提高了15%.     

基于全局和局部信息融合的显著性检测

为提高低对比度、复杂自然图像显著性检测的准确率和泛化性能,提出一种贝叶斯框架下的全局和局部信息融合的显著性检测模型.首先,构建深度卷积自编码网络,采用对称编解码结构,监督学习图像全局特征,得到全局显著图;然后,根据全局显著图产生前景和背景码本,利用局部约束线性编码算法进行编码,采用稀疏编码描述局部特征,产生局部显著图;最后,提出采用贝叶斯框架,将全局和局部信息融合,生成最终显著图.实验结果表明,所提模型在ECSSD,DUT-OMRON和PASCAL数据集上F-measure值分别为76.53%、59.45%和72.52%,MAE值分别为0.143 28、0.137 87和0.181 05,且能够有效对低对比度、复杂真实自然图像进行显著性检测.     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.