用于图像超分辨率重建的双通道残差网络

针对现有基于深度学习的自然图像超分辨率算法在图像高频细节重建方面的不足,提出了一种更注重图像高频细节重建的双通道残差网络。使用带有通道注意力机制的残差结构作为网络的主通道;为了在重建过程中更好地保留原始图像的几何结构和边缘信息,使用自适应结构化卷积设计了网络的辅助通道,以此构建的双通道残差网络在学习过程中会有更强的高频信息捕获能力;为了使重建图像效果更加符合人眼的主观视觉感受,结合使用L₁损失函数和多尺度结构相似度损失函数来训练网络,使网络在训练过程中能够较好地保留图像的视觉效果。实验结果表明:在主通道外并构基于结构化卷积的辅助通道可以使重建图像的峰值信噪比提高2 dB;结合使用L₁损失函数和多尺度结构相似度损失函数可以使重建图像的峰值信噪比提高3 dB、结构相似性提高0.5;与同类网络客观定量相比,所提网络在两个公开数据集上取得的效果更优。     

基于卷积神经网络的灾难场景图像分类

为了对灾难场景图像进行快速分析和识别,提出了一种基于多分辨率卷积神经网络和残差注意力机制(attention module)相结合的图像分类模型.首先,对灾难场景数据集进行预处理,在相同类型的条件下将其随机划分为训练集和测试集.基于改进的卷积神经网络(convolutional neural network,CNN),提取训练集的图像特征.使用训练集图片的特征进行训练,并且在测试集图片上实现分类测试.选取DenseNet、Xception和MobileNetV2三种模型,以灾难场景数据集(Disaster_Data_Scenes)为数据集进行实验验证.结果表明:改进的Xception和MobileNetV2网络在灾难场景数据集上进行的图像分类实验测试,比原网络精度分别提升了4.56％和3.04％.其中改进的DenseNet网络比原网络模型精度分别提升9.13％、17.88％和10.27％.可见改进的卷积神经网络模型的分类精度得到有效提高.     

基于GRU-DRSN的双通道人体活动识别

人体活动识别(human activity recognizition, HAR)在医疗、军工、智能家居等领域有很大的应用空间。传统机器学习方法特征提取难度较大且精度不高。针对上述问题并结合传感器时序特性,提出了一种融合CBAM(convolutional block attention module)注意力机制的GRU-DRSN双通道并行模型,有效避免了传统串行模型因网络深度加深引起梯度爆炸和消失问题。同时并行结构使得两条支路具有相同的优先级,使用深度残差收缩网络(deep residual shrinkage network, DRSN)提取数据的深层空间特征,同时使用门控循环结构(gated recurrent unit, GRU)学习活动样本在时间序列上的特征,同时进行提取样本不同维度的特征,并通过CBAM模块进行特征的权重分配,最后通过Softmax层进行识别,实现了端对端的人体活动识别。使用公开数据集(wireless sensor data mining, WISDM)进行验证,模型平均精度达到了97.6%,与传统机器学习模型和前人所提神经网络模型相比,有更好的识别效果。     

基于密集残差网络的图像隐藏方案

针对基于编-解码器网络的图像隐写方案生成的含密图像和消息图像质量不高的问题,提出了一种新的基于密集残差连接的编码器-解码器隐写方案,与现有的端到端图像隐写网络不同,本文采用密集残差连接,将浅层网络的特征输送到深层网络结构的每一层,有效的保留了特征图的细节信息,并使用通道和空间注意力模块对特征进行筛选,提高了编-解码器对图像复杂纹理区域的关注度。在LFW、PASCAL-VOC12和ImageNet数据集的实验结果表明,在保证算法安全性的前提下,所提方法能够有效提高图像质量,含密图像和载体图像的峰值信噪比(PSNR)和结构相似性(SSIM)的平均值最高达到了36.2dB和0.98。     

基于生成对抗网络的轻量级图像盲超分辨率网络

针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络（fast and memory-efficient image super resulotion network, FMEN）进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络（fast and memory-efficient image blind super resulotion network, FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution, LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块（high frequency attention block, HFAB）结构进行改进;最后,使用生成对抗网络（generative adversarial network, GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集R...     

基于Res-CAN的Tor网站指纹识别模型

网站指纹识别技术通过分析流量特征判断用户访问的网站站点，能够有效监管TOR匿名网络的用户行为。现有的识别方法通常需要大规模的数据样本以获得高的识别准确率，且普遍存在概念漂移问题。针对以上问题，本文提出一种基于残差和协作对抗网络(Residual network and Collaborative and Adversarial Network, Res-CAN)的网站指纹识别模型。该模型使用残差网络(Residual network)作为特征提取器以减少网络的优化难度。同时，将协作对抗网络(Collaborative and Adversarial Network, CAN)应用于网站指纹识别问题，使得特征提取器同时学习领域相关和领域无关特征，实现源域与目标域的特征空间对齐。实验结果表明，本文提出的方法在小样本环境下网站指纹识别准确率达到91.2%,优于现有的利用对抗领域自适应网络(Domain-Adversarial Neural Networks, DANN)迁移学习方法，且抗概念漂移能力较高。     

基于特征稀疏化的粉尘图像深度预测

【目的】针对粉尘环境中单幅图像深度预测精度低的问题，提出了一种基于输入特征稀疏化的粉尘图像深度预测网络。【方法】使用粉尘图像的直接传输率与深度的关系设计预估计深度网络，利用图像颜色衰减先验原理进一步获取粉尘图像的稀疏深度特征。将该稀疏深度特征与粉尘图像一起作为深度预测网络的输入。深度预测网络以“编码器-解码器”为模型框架，编码器中使用残差网络(ResNet)对粉尘图像进行编码，设计融合通道注意力机制的稀疏卷积网络对稀疏深度特征进行编码。解码器中采用反卷积以及多尺度上采样的方法，以更好的重建稠密的深度信息。使用最小绝对值损失和结构相似性损失作为边缘保持损失函数。【结论】在NYU-Depth-v2数据集上的实验结果表明该方法能够从粉尘图像中有效预测深度信息，平均相对误差降低到0.054,均方根误差降低到0.610,在δ<1.25时准确率达到0.967.     

基于三通道注意力网络的番茄叶部病害识别

对番茄病害进行识别,近年来一直是植物病害预防的研究热点。由于受到复杂背景干扰,番茄叶部病害识别准确率不高,针对这一问题,提出一种基于三通道注意力机制网络的番茄叶部病害识别方法。该网络基于ResNeXt50残差网络,将注意力模块嵌入至残差网络的ResNeXt模块中可以并行提取目标的通道特征和空间特征,获取有效的语义信息。训练阶段通过设计双损失函数和数据增强进一步提升分类准确度,并通过迁移学习网络预训练参数的方式提高网络训练效率。实验结果表明,使用双损失函数和数据增强后,基于三通道注意力网络的番茄病害识别算法在测试集上的平均识别准确率达98.4%,相比于传统机器学习方法和其他神经网络方法的准确率更高,检测速度满足实时性,Kappa系数为0.96,满足叶部病害识别的高精度要求。该方法能够有效地对10种番茄叶部病害进行识别,为植物病害识别提供了一种新的思路。     

基于改进知识一致性注意力的图像修复算法

为有效解决修复大面积不规则洞孔出现的纹理模糊、结构失真等问题,提出了基于改进知识一致性注意力机制图像修复算法．首先使用部分卷积对待修复图像进行处理,随后将处理的特征图送入包含混合空洞卷积(HDC)与改进知识一致性注意力机制(KCA)的特征推理模块．推理完成后将输出特征图输入至部分卷积与特征推理模块进行循环推理,逐步提升网络的修复能力,循环完成后对输出图像进行特征合并．最后将合并特征图进行去残差瓶颈层以增强修复图像的结构完整性．提出模型使用组归一化方式(GN)加快损失函数收敛速度．在公开数据集上验证提出算法的性能,主客观实验结果表明：提出算法能有效修复大面积连续不规则区域,能够较好地避免修复失真,其峰值信噪比和结构相似度及运算速度优于对比算法．     

基于多尺度特征提取的单目图像深度估计

在目前基于深度学习的单目图像深度估计方法中,由于网络提取特征不够充分、边缘信息丢失从而导致深度图整体精度不足。因此提出了一种基于多尺度特征提取的单目图像深度估计方法。该方法首先使用Res2Net101作为编码器,通过在单个残差块中进行通道分组,使用阶梯型卷积方式来提取更细粒度的多尺度特征,加强特征提取能力;其次使用高通滤波器提取图像中的物体边缘来保留边缘信息;最后引入结构相似性损失函数,使得网络在训练过程中更加关注图像局部区域,提高网络的特征提取能力。在NYU Depth V2室内场景深度数据集上对本文方法进行验证,实验结果表明所提方法是有效的,提升了深度图的整体精度,其均方根误差(RMSE)达到0.508,并且在阈值为1.25时的准确率达到0.875。     

基于双通道模型的航空发动机剩余寿命预测

针对现阶段航空发动机单一剩余使用寿命预测模型数据挖掘深度不足导致预测精度低的问题,提出一种双通道模型的预测方法。首先,构建双通道网络结构：通道一使用时间卷积网络,通过残差结构和空洞卷积使得网络具有更大的感受野和计算速度;通道二使用卷积长短时间记忆网络,提取多维时空特征,捕捉数据长期依赖关系。其次,利用多头注意力机制为双通道网络特征重新赋予权重。最后,将双通道网络进行特征融合输出,实现对航空发动机剩余寿命预测。使用涡扇发动机退化数据集进行实验验证,并与其它文献中提到的卷积双向长短时间记忆网络模型、多特征注意力模型、多头注意力模型、卷积门控单元循环神经网络模型进行对比。结果表明,所提模型在3种评价指标上均取得更好的表现,为航空发动机剩余寿命预测提供了一种新思路。     

基于分数阶微分的卷积神经网络的人脸识别

近年来,人脸识别技术作为一种用来抓取生物面部特征信息以及匹配现有数据库中人脸数据的有力手段,以其无接触性、可远距离实施等优点在越来越多的场景中得到了应用.针对在自然无约束条件下,受到光照、姿势和背景环境等因素的影响,设备捕捉到的人脸图像在现有的人脸识别模型中识别率依然不足的情况,本文提出了一种基于分数阶微分改进的残差网络(ResNet)人脸识别方法.本方法通过在原有网络模型结构中增加注意力机制来增强人脸特征提取,融合不同通道和空间的信息提升网络的健壮性,同时利用分数阶微分对节点函数进行处理,增加卷积块提取更多的人脸细节信息,最后使用ArcFace损失函数来优化模型,在网络中进行迭代训练完成人脸识别.实验结果显示:改进后的网络模型在现有的一些数据集(如LFW、AgeDB-30、CFP-FP等)上表现出更好的识别性能和更强的鲁棒性.     

改进残差网络与峰值帧的微表情识别

目的 微表情(Micro Expression, ME)是人们流露内心情感时展现出的细微面部表情。针对微表情识别的样本较少且不同类别数量分布不均导致难以识别和识别准确率较低的问题,提出能够提高微表情识别准确率的模型框架。方法 提取微表情视频序列中含有更多关键表情信息的峰值帧;使用加入SE模块的改进残差网络SE-ResNeXt-50对微表情的峰值帧进行特征提取,其中SE模块可以更好地学习特征中的关键信息,ResNeXt通过分组卷积的方式用稀疏结构取代密集结构从而使结构更加简化,提升了识别效率。与此同时,使用Focal Loss损失函数可以更好地解决因微表情数据的不平衡带来的模型性能问题。结果 在微表情数据集CASMEⅡ上进行了仿真实验,可以发现改进的残差网络与峰值帧提高了微表情识别的准确率与F1值。结论 改进的残差网络与峰值帧可以降低数据集较少所带来的影响,使模型有着良好的拟合效果,同时改善了在不同类别上表现差异较大的问题,提升了微表情的识别准确率,对于微表情识别有着更好的识别性能。     

基于Dirac残差模块的单幅图像超分辨率重建

针对单幅图像超分辨率重建问题(SISR),提出了一种新的基于Dirac残差的超分辨率重建算法.算法使用全局跳跃重建层来直接利用输入LR图像的低频特征,通过多个dirac残差块来自适应学习输入LR图像的高频特征,通过亚像素卷积进行图像重建.算法通过权重参数化来改进残差层,同时使用输入图像的卷积特征与残差网络学习特征结合进行重建.实验采用Adam优化器进行网络训练.使用L1范数作为损失函数.在PSNR、SSIM和视觉效果与其他先进算法进行对比,实验结果表明,在常用测试集上与其他深度学习算法相比有较大提高.     

深度残差网络和LSTM结合的图像序列表情识别

为了改善图像表情和图像序列表情识别效果,针对传统表情识别特征提取复杂和效果不理想问题,提出了一种深度残差网络和局部二值模式(local binary patterns,LBP)相结合的特征提取方法,利用深度残差网络提取数据集的空域特征,长短期记忆网络(long short-term memory,LSTM)处理时域特征,实现空域与时域特征的结合。研究了不同层数的残差网络、不同形式的LBP算子以及其他网络结构对人脸表情识别的影响,对比了支持向量机和随机森林实现的序列表情识别算法。在Cohn-Kanade数据集和AFEW6.0数据集上进行了验证,实验结果表明,算法在验证集上的准确率分别为73.1%和58.4%,相比其他算法有一定程度的提升。     

循环多特征信息融合法： 一种基于深度学习的车道线检测方法

车道线检测是辅助驾驶和自动驾驶的核心技术之一。为了进一步增强车道线特征的提取能力,提出一种基于深度学习的循环多特征信息融合车道线识别算法。针对模型计算效率问题,该算法将车道线检测问题视为基于行选择单元格的分类问题;针对图像中车道信息聚合问题,提出了一种新的循环多特征信息聚合(recurrent multi-feature information aggregator,RMFA)方法,并将该方法与残差神经网络(residual neural network,ResNet)相结合提出融合上下文及多通道信息的车道线识别网络ResNet-RMFA。将该网络模型在Tusimple和CULane公开数据集上进行了性能测试,实验结果表明该模型单帧图像的推理时间可达4.8 ms,在Tusimple数据集上的精确度为96.07%,在CULane数据集上的F1(IoU=0.5)评分为69.3%,达到了速度与精度的良好平衡。     

基于改进的深度残差网络的图像识别

随着大数据时代的发展,深度学习也渐渐变得更加实用,引领人工智能时代的发展.卷积神经网络在图像领域中发挥着非常重要的作用,是深度学习模型中重要组成部分之一.图像识别的关键攻破点在于如何提取图像的有效特征,从而有效地解决图像识别问题.针对这一难点,本文主要在残差网络(ResNet)的基础上引入空间变换网络.空间变换网络可以有效地提取目标区域特征,提高图像识别效率.同时由于Softmax分类器提取的特征区分并不明显,甚至存在类内间距大于类间间距弊端.但在图像识别任务中期望特征不仅可分,而且要求类间分别提取的特征区分差异大.针对这一问题,本文在软最大值(Softmax)分类器中引入中心损失函数(Center Loss). Center Loss损失函数能够使得提取的特征类间距离大,类内距离小,从而提高提取的特征识别度.在公开的CIFAR10数据集上,该模型取得了不错的性能,识别准确率达到了89%.相同实验条件下,相对于未改善的残差网络模型,本文提出的模型在公开的CIFAR10数据集识别正确率提高了6%.     

基于注意力机制的细粒度图像分类

针对细粒度图像分类中数据分布具有小型、非均匀和不易察觉类间差异的特征,提出一种基于注意力机制的细粒度图像分类模型.首先通过引入双路通道注意力与残差网络融合对图像进行初步特征提取,然后应用多头自注意力机制,达到提取深度特征数据之间细粒度关系的目的,再结合交叉熵损失和中心损失设计损失函数度量模型的训练.实验结果表明,该模型在两个标准数据集102 Category Flower和CUB200-2011上的测试准确率分别达94.42%和89.43%,与其他主流分类模型相比分类效果更好.     

基于关键点的残差全连接网络动态手势识别方法

车载动态场景下,为了提高基于视频手势识别的准确率和鲁棒性,提出了一种基于关键点的残差全连接网络手势识别算法.对在不同车辆平台、不同运动条件下采集的不同光照强度的视频数据进行归一化等预处理后提取视频帧的关键点,以关键点个数为准则进行了关键帧选取以提高运算性能和降低算法复杂度,将从关键帧中所提取的关键点送入残差全连接网络实现连续手势的识别.在不同光线与车内环境下,所提算法对6类动态手势的平均识别准确率达到96.72%,相较3D卷积神经网络(C3D)、卷积神经网络(convolutional neural network,简称CNN)、长短时记忆网络(long short-term memory network,简称LSTM)和双流网络,其识别率分别提升了10.72%,6.40%,5.17%和4.50%.实验结果验证了所提算法在车载环境下连续手势识别的有效性.     

基于注意力机制和感知损失的遥感图像去噪

遥感图像去噪对于遥感图像在后续的分类、检测等任务中有着非常重要的作用.为了让去噪后的图像更好地保留边缘细节信息,同时增强深度网络对噪声污染区域的辨识能力,本文结合注意力机制以及感知损失来处理遥感图像,提出了一种新的基于残差自编码器的遥感图像去噪网络ARED-VGG.考虑到遥感图像中不同地物大小不同,该网络首先同时使用图像的空间和光谱信息来提取多尺度特征;然后使用残差自编码器网络结构来进行图像空间-光谱多尺度图像重建.为了增加网络的辨识能力,更多地关注网络中提取的高频特征,网络引入了注意力机制.同时为了让去噪后的结果更符合视觉感观,使用了感知损失混合均方误差作为损失函数.从实验结果知,本文所提出的方法在噪声去除和纹理细节保留方面与NLM3D、BM4D、LRMR、HSID-CNN和3DADCNN相比表现更优.在Washington DC mall遥感图像数据集上进行了仿真实验,平均峰值信噪比以及平均结构相似性指标都有较好的结果;在AVIRIS Indian Pines数据集上进行了真实数据实验,以去噪后的结果地物分类指标作为验证,整体分类精度以及Kappa系数分别为96.90%和0.9647;对网络结构进行了消融实验,在两个数据集下,本文所提出的网络结构都能获得更优的结果.本文提出基于注意力机制和感知损失的深度神经网络进行遥感图像去噪,提高了网络的辨识能力,实现了良好的去噪性能,并且有效保持了图像的细节信息和光谱信息.