采用对比学习的多阶段Transformer图像去雾方法

为了解决现有图像去雾方法在图像局部去雾以及纹理细节恢复等方面始终不理想以及处理非均匀雾质始终不彻底的问题，提出了一种采用对比学习的多阶段自注意力模块(Transformer)的图像去雾MSTCNet方法。首先，利用信道级Transformer模块作为基本的特征提取模块，充分地捕获特征信道之间的长距离依赖关系；其次，通过提出的多监督对比学习方法最大限度地挖掘正负样本信息，使去雾图像在投影后的隐空间中更靠近清晰图像，同时远离有雾图像；最后，利用多阶段渐进式网络结构和可变形自注意力机制有效地整合图像局部细粒度特征和全局粗粒度信息。本文在2个合成数据集和3个真实数据集上对所提出的方法进行了大量的实验，结果表明：所提出的MSTCNet方法在5个数据集上的峰值信噪比(PSNR)分别提高了1.49、1.45、0.11、1.45和0.22 dB,在通用数据集与非数据集的测试中均超越已有的方法，在浓雾质、非均匀雾质以及均匀雾质的测试中均表现出最佳的去雾视觉效果，并达到最高的客观评价指标值。     

基于局部细节特征的二次指纹匹配算法

为提高指纹匹配的正确率,综合局部细节匹配算法和全局匹配算法,提出一种将两者相融合的二次匹配方法。在提取指纹细节特征信息并去除伪特征点后,首先利用k-近邻法进行局部细节特征的一次匹配,获得局部特征之间的匹配分数;然后根据匹配分数对指纹图像进行旋转校正,进而对全局特征进行二次匹配,计算匹配向量,并利用匹配向量获得匹配率决定最终匹配结果。实验结果表明:在不同质量的多个指纹数据库上测试,算法最高正确率达到错误拒绝率为2.5%,错误接受率为0.22%,说明了该方法的有效性。     

基于集成迁移学习的细粒度图像分类算法

针对现有的大部分细粒度图像分类算法都忽略了局部定位和局部特征学习是相互关联的问题,提出了一种基于集成迁移学习的细粒度图像分类算法。该算法的分类网络由区域检测分类和多尺度特征组合组成。区域检测分类网络通过类别激活映射(class activation mapping,CAM)方法获得局部区域,以相互强化学习的方式,从定位的局部区域中学习图像的细微特征,组合各局部区域特征作为最终的特征表示进行分类。该细粒度图像分类网络在训练过程中结合提出的集成迁移学习方法,基于迁移学习,通过随机加权平均方法集成局部训练模型,从而获得更好的最终分类模型。使用该算法在数据集CUB-200-2011和Stanford Cars上进行实验,结果表明,与原有大部分算法对比,该算法具有更优的细粒度分类结果。     

基于注意力机制的细粒度图像分类算法

针对目前细粒度图像分类算法存在的局部区域特征捕捉不全面的问题,在B-CNN算法基础上提出了一种基于注意力机制的细粒度图像分类算法。首先利用数据增强的6种方式对训练数据集进行扩充,然后在B-CNN算法的特征提取中引入注意力机制,使用卷积注意力模块CBAM精准获取图像局部区域特征,最后融合特征进行分类。改进后的算法分别在CUB-200-2011和Stanford Cars两个数据集上进行实验,与当前先进算法比较,所提算法提高了细粒度图像的分类效果。     

基于小波变换及注意力机制的T型图像去雾网络

受大气中雾霾等悬浮颗粒的影响，室外拍摄的图像常伴有低对比度和低能见度问题，现存去雾方法未能充分利用图像的局部特征信息，存在去雾不彻底及图像细节丢失等问题. 为此，提出一种基于小波变换及注意力机制的T型图像去雾网络. 所提网络通过对图像进行多次离散小波分解及重构来获取有雾图像的边缘细节特征，并提出了一种兼顾图像全局特征及局部信息提取的特征注意力模块，加强了网络在图像视觉感知和细节纹理方面的学习. 在进行特征提取的过程中，提出T型连接方式来获得多尺度的图像特征，扩展了网络的表示能力. 对重构后的无雾图像进行色彩平衡，得到最终复原图像.在合成数据集和真实数据集中的大量实验结果表明，本文所提网络相较于现有其他网络模型具有更优越的性能.     

基于关系挖掘的跨模态行人重识别

基于文本的行人重识别模型通常依赖于全局特征对齐和局部特征对齐,但模态间和模态内的相关信息常被忽略。提出了一种基于关系挖掘的跨模态行人重识别方法,该方法包括双流主干网络、负相似度挖掘模块、关系编码器。首先,通过双流主干网络实现了全局和局部特征对齐;其次,通过负相似度挖掘模块提升了图像-文本对特征辨别的细粒度;最后,通过关系编码器模块分别学习图像和文本中隐含的关系信息,实现关系级别的特征对齐。在CUHK-PEDES数据集和ICFG-PEDES数据集上的实验结果证明,文中方法能够达到较高的识别精度。     

一种基于图像特征块匹配的电子稳像算法

提出一种基于特征模块匹配的图像稳定算法。该算法自适应地搜索图像特征模块进行后续稳像操作。在稳像过程中,提出一种图像特征匹配的快速算法,匹配得到局部运动矢量,然后对匹配结果进行一致性检验,最后采用可变窗口宽度的均值滤波法对图像序列运动轨迹滤波。试验表明,该算法有效地稳定了图像序列,并且满足实时性要求。     

基于二阶有效通道注意力网络的无约束人脸表情识别

现有基于卷积神经网络的无约束人脸表情识别方法侧重于网络结构的设计，对网络学习到的通道间深层特征相关性的研究较少，没有充分利用神经网络提取表达力较强的特征。为解决此问题，设计了一种基于二阶有效通道注意力网络（second-order efficient channel attention network，SECA-Net）的无约束人脸表情识别方法。该方法采用轻量级的网络提取表情图像的深层特征，使用二阶有效通道注意力模块统计深层特征的二阶信息并捕捉跨通道特征间的依赖关系来自适应地缩放通道特征，进而获得更具判别力的表情特征。SECA-Net利用Softmax损失和中心损失联合优化模型进行表情分类，该模块具有较少的参数量、较低的显存需求和计算量，并且没有使用额外的数据预训练模型。同时，所提出的模块还能提取到人脸表情微小变化的局部特征。在RAF-DB和FER-2013无约束人脸表情数据集上的实验结果表明，提出的方法是有效的。     

基于人脸局部特征和SVM的表情识别

提出了一种基于人脸局部特征的表情识别方法．首先选取人脸重要的局部特征,对得到的局部特征进行主成分分析,然后用支持向量机（SVM）设计局部特征分类器来确定测试表情图像中局部特征,同时设计支持向量机（SVM）表情分类器,确定表情图像的所属类别．对JAFFE人脸图像数据库进行仿真实验．结果表明,该方法要优于一般的基于整体特征的人脸表情识别方法．     

基于注意力特征融合的SqueezeNet细粒度图像分类模型

针对现有细粒度图像分类算法普遍存在的模型结构复杂、参数多、分类准确率较低等问题,提出一种注意力特征融合的SqueezeNet细粒度图像分类模型.通过对现有细粒度图像分类算法和轻量级卷积神经网络的分析,首先使用3个典型的预训练轻量级卷积神经网络,对其微调后在公开的细粒度图像数据集上进行验证,经比较后选择了模型性能最佳的SqueezeNet作为图像的特征提取器;然后将两个具有注意力机制的卷积模块嵌入至SqueezeNet网络的每个Fire模块;接着提取出改进后的SqueezeNet的中间层特征进行双线性融合形成新的注意力特征图,与网络的全局特征再融合后分类;最后通过实验对比和可视化分析,网络嵌入Convolution Block Attention Module(CBAM)模块的分类准确率在鸟类、汽车、飞机数据集上依次提高了8.96%、4.89%和5.85%,嵌入Squeeze-and-Excitation(SE)模块的分类准确率依次提高了9.81%、4.52%和2.30%,且新模型在参数量、运行效率等方面比现有算法更具优势.     

岩心三维图像修复算法

针对存在较大范围信息缺失的岩心三维图像,提出了一种基于样例的三维图像修复算法,采用三维空间结构的模板对缺失部分的结构和细节同时进行填补,通过等照度面的传播优先合成三维图像的结构;采用局部搜索与全局搜索相结合的匹配块搜索方式,缩小了匹配搜索范围,并保证了匹配的正确性。对多组岩样进行了实验,结果表明,该算法对于岩心的三维图像复原准确有效,保持了岩心三维图像空间结构的连续性、图像的细节特征以及孔隙微观结构的统计特性。     

抗深度取证的多粒度融合图像修复网络

数字图像的真伪判别是图像安全领域中的基础问题,因数字媒体极易被攻击篡改,针对图像的取证技术得到了广泛的研究.另一方面,对图像篡改反取证技术的研究,不仅追求更逼真的图像篡改操作,也从相反的方向促进了取证技术的发展.图像修复作为基础的图像篡改操作,一直是国内外学者的研究热点.针对被修复篡改后的图像会被深度取证网络取证的问题,提出了一种抗深度取证的多粒度融合图像修复(multi-granularity fusion-based image inpainting network resistant to deep forensics,MGFR)网络.MGFR网络包括编解码器、多粒度生成模块以及多粒度注意力模块.首先,输入的破损图像被编码器编码成深度特征,深度特征通过多粒度生成模块生成3个不同粒度中间特征;然后,采用多粒度注意力模块来计算不同粒度中间特征之间的相关性并将其融合;最后,融合特征通过解码器生成输出结果.另外,所提出的MGFR网络被重建损失、模式噪声损失、深度取证损失以及对抗损失联合监督.研究结果显示,所提出的MGFR网络在拥有较好的修复性能的同时能成功规避深度取证网络的取证.     

基于改进核判别算法的视频运动人脸图像相似表情识别研究

传统的视频运动人脸图像相似表情识别方法,利用小波变换提取人脸特征,后续特征分解效果不理想,导致表情识别准确度较低。为此,提出基于改进核判别算法的视频运动人脸图像相似表情识别研究。采用积分图法提取视频中的人脸表情,得到特征矩形区域。结合核判别算法对特征矩形区域进行分解得出表情特征矢量。结合弹性模板匹配法,计算和匹配表情特征矢量,得出匹配最优的表情,完成人脸图像相似表情识别。为验证所提方法的应用性能,设计仿真实验。实验结果表明,与传统方法相比,所提方法的表情识别准确度更高。本文设计识别方法具有应用有效性,为相关领域提供可靠依据。     

基于自适应感知金字塔网络的图像去雨

基于深度学习的单幅图像去雨已经取得了较大进展，但现有方法去雨后的图像仍然存在细节丢失、密集雨纹去除不彻底等问题.为此，本文提出一种基于自适应感知金字塔网络的单幅图像去雨方法，能够在有效去除密集雨纹的同时对细节进行修正，显著改善去雨图像的视觉质量.首先，基于小波变换构建多尺度金字塔网络，在各尺度子网络之间进行递进式连接，实现雨纹迭代提取和去除;各尺度子网络内部以自适应雨纹感知模块为核心，设计对称跳跃连接将提取到的浅层特征反馈至深层，实现浅层特征的有效复用.其中，所设计的自适应雨纹感知模块通过非局部感知运算和共享扩张卷积扩大感受野，可有效感知雨纹特征，并融入注意力机制实现雨纹的自适应去除.为了更好地约束网络训练和去除不同尺度的雨纹，设计了一种多尺度损失函数，由粗及细逐步完成雨纹去除，可有效防止伪影现象.在合成和真实数据集上的大量实验表明，本文方法优于现有的主流方法，能够在去雨的同时较好地保持图像细节，视觉效果理想.     

自适应构造与聚合多尺度代价体的双目立体匹配

基于卷积神经网络的双目立体匹配算法取得了重要进展，但现有方法在弱纹理区域、细节和边缘等位置仍然存在匹配不准确的问题.立足于双目立体匹配任务中常用的匹配代价体(cost volume),提出自适应构造与聚合多尺度代价体的双目立体匹配网络.首先将多个尺度的输入特征融合成为重组特征；然后设计可学习的特征增强模块，为各个尺度的匹配代价体恢复所需的细节信息；最后基于全局注意力对各尺度匹配代价体进行尺度内聚合，并提出自适应多尺度加权方法进行尺度间聚合，筛选出适用于回归各尺度视差的匹配特征.在SceneFlow和KITTI2015数据集上的实验表明：所提方法在较小网络规模的情况下取得了有竞争力的性能表现，验证了所提方法的有效性.     

基于小波分解的图像融合

本文根据基于小波变换的图像融合框架,首先对原始图像进行多层小波分解,获取各自的近似低频和细节高频分量,并生成模图像簇Mj（x,y）和相角图像簇Aj（x,y）（j为尺度数）。针对图像的小波系数融合时,对于近似低频分量融合,利用线性计算来获取;对于细节高频分量的融合,首先在各阶模图像中寻找沿相角方向的模的局部极大值点．生成可能的边缘图像。为保持图像细节,生成边缘图时同时保留所有的局部极大值点,除局部极大值以外其他象素均标记为零。利用边缘匹配原则,得到后选边缘点的图。利用边缘匹配原则,得到后选边缘并对其进行边缘点连接。这样不但得到了重要的边缘点,也几乎全部的去掉了噪声。高频细节分量中边缘点的融合。利用线性加权计算来得到,其它的细节高频分量的小波系数利用常用的融合规则来计算。大量的图像融合试验表明,本论文提出的方法较好的对融合了图像的不同源图像的细节特征,较好的保留了不同源图像的边缘．线．区域边界等高频细节信息,取得了良好的实验效果。     

多尺度特征融合网络的磁共振快速重建方法

为了提高磁共振的数据采集效率,提出了一种多尺度特征融合网络。该网络模型由二扩张卷积和三扩张卷积特征融合块组成,采用扩张卷积以较少的参数扩大网络的感受野。在特征融合块中将几个扩张卷积残差模块组合在一起,并通过跳跃连接直接传输每个局部残差分支模块上的特征。使用特征融合块融合局部残差特征来产生更丰富的特征表示,同时引入局部残差学习来提取更多的图片细节。通过多组不同加速倍率下的重建实验并与其他文献中提到的方法相比较,实验结果表明,该网络重建出的磁共振图像具有更高的峰值信噪比和结构相似性。     

从全局到局部：双注意力融合去雾网络

为了处理现有的基于卷积神经网络去雾方法只使用单一的注意力、很难生成细节生动的清晰图像,且容易导致色彩失真的问题,提出了一个全局与局部注意力融合的图像去雾方法,以获得正常清晰度和无色彩失真的去雾图像。首先利用通道注意力将输入的有雾图像在通道维度切分为两部分,一部分送入通道像素注意力通道抽取局部特征,另一部分送入Transformer通道学习全局特征,然后利用像素注意力对两个通道学习的特征进行融合,将上述模块作为基本单元组合为一个多级U型去雾网络,增加残差连接缓解上下采样导致的细节信息丢失,最后在网络底层加入一个Transformer模块学习全局信息。在多个公开可用的去雾图像数据集RESIDE SOTS Indoor、RESIDE SOTS Outdoor上测试所提方法的有效性,结果表明：对比经典的去雾方法,所提网络生成的图像细节更丰富并且色彩失真最少;在RESIDE SOTS Outdoor数据集上,相比经典的FFA-Net,峰值信噪比提高1.16 dB,相比GridDehazeNet,峰值信噪比提高3.68 dB。提出的全局与局部注意力融合方法能有效地去除雾霾,提升图像的对比度与清晰度...     

融合表情符号图像特征学习的微博情感分类

表情符号作为一种新兴的网络图形化语言,由于能够直观地表达用户的情感和态度,因此在社交平台被广泛使用。现有的利用表情符号进行微博情感分类的研究主要考虑表情符号的文本特征,这样的做法不能很好的捕捉表情符号之间更细粒度的联系,并无法适应表情的不断发展与变化。针对现有研究存在的问题,本文提出了一种基于卷积自编码器的表情图像特征学习的微博情感分类模型。该模型通过卷积自编码器捕捉的表情符号的图像特征,然后将图像的嵌入表达融入到微博的文本特征中,再利用多层感知机进行情感分类。该模型分别在中文和英文微博的数据集上和现有的方法进行了对比,实验证明,本文的方法优于现有的方法,并且在新表情和跨语言环境下的泛化能力更强。     

基于计盒维数和多小波的静脉图像特征提取

为提高静脉识别过程中的特征匹配速度,提出了一种基于计盒维数全局特征和多小波的局部特征提取方法.该方法首先采用基于计盒维数法的特征提取技术来提取静脉纹理粗糙度特征作为全局特征,然后通过多小波分解来提取静脉图像的局部特征,分别提出了一维系数编码和多尺度量化编码的方法来描述静脉局部特征.对已有静脉图像的实验表明,提出的特征提取方法有效,并使相应匹配算法识别的准确率得到了提高.