注意力机制下的多层次特征融合图像去雾算法

提出一种基于注意力机制的多层次特征融合的图像去雾算法.该算法通过残差密集网络和自校准卷积网络来提取不同尺度的特征,再利用双重注意单元和像素注意力将特征融合重建.同时采用一种由均方误差损失、边缘损失和鲁棒性损失函数相结合的损失函数,可以更好地保留细节特征.实验表明,该算法与其他去雾算法相比在峰值信噪比和结构相似度指标上得到一定的提高,去雾图像在主观视觉上取得了较好表现.     

基于窗口自注意力网络的单图像去雨算法

单图像去雨研究旨在利用退化的雨图恢复出无雨图像,而现有的基于深度学习的去雨算法未能有效地利用雨图的全局性信息,导致去雨后的图像损失部分细节和结构信息.针对此问题,提出一种基于窗口自注意力网络(Swin Transformer)的单图像去雨算法.该算法网络主要包括浅层特征提取模块和深度特征提取网络两部分.前者利用上下文信息聚合输入来适应雨痕分布的多样性,进而提取雨图的浅层特征.后者利用Swin Transformer捕获全局性信息和像素点间的长距离依赖关系,并结合残差卷积和密集连接强化特征学习,最后通过全局残差卷积输出去雨图像.此外,提出一种同时约束图像边缘和区域相似性的综合损失函数来进一步提高去雨图像的质量.实验表明,与目前单图像去雨表现优秀的算法MSPFN、 MPRNet相比,该算法使去雨图像的峰值信噪比提高0.19 dB和2.17 dB,结构相似性提高3.433%和1.412%,同时网络模型参数量下降84.59%和34.53%,前向传播平均耗时减少21.25%和26.67%.     

基于多尺度特征融合与注意力机制的人群计数算法

针对特征提取过程中缺乏对人群区域的针对性,不同大小人头目标不能同时检测以及特征融合时多尺度特征信息丢失问题,提出多尺度注意力模块,增强特征对高密度人群区域的关注。采用多尺度空洞卷积,结合提出的多通道特征融合模块,提取更完善的多尺度特征,提高对不同尺寸人头计数能力;利用密度图回归模块,融合多尺度特征,减少了多尺度信息的损耗。实验结果表明,本算法的计数结果更精确稳定。     

注意力残差密集网络的单幅图像去雾算法

针对现有去雾方法色彩失真、去雾不彻底、细节丢失等问题,提出一种模块化的端到端的单幅图像深度去雾网络.首先,利用多尺度卷积核对输入有雾图像提取充分的关键特征;其次,构建由残差密集块及上、下采样单元形成的行和列的网格网络结构,行列之间通过一种新颖的注意力机制进行特征融合与提取;最后,由残差密集块和卷积层构成的后处理模块进一步减少去雾图像的残余伪影.定量和定性实验结果表明,所提方法去雾性能优越.     

注意力引导特征增强的单图像去雾

CNN网络深度的增加,导致计算成本急剧提升,且深层网络不能充分利用浅层特征.针对这个问题,提出了注意力机制引导下的特征增强网络(AGFENet),主要包括扩展卷积块(DVB)、特征增强块(FEB)和注意块(AB).DVB采用扩张卷积来扩大卷积核的感受野,有效降低网络深度,权衡性能和效率.FEB使浅层特征信息更多地流向深...     

基于稠密连接注意力单任务提升的深度多任务学习

多任务学习通过任务间的知识共享提升多个关联任务的泛化性能。多任务学习领域的大多数方法通过设置先验性的知识共享结构来定义任务间的关系,这些知识共享结构可能使任务不能充分利用多任务学习带来的好处,甚至导致明显的知识负迁移,使得任务性能提升不大。为了解决上述问题,提出了一种基于稠密连接注意力单任务提升的深度多任务学习方法。该方法中每个任务使用特异的自注意力单元学习任务间的知识共享结构,通过稠密连接将知识共享信息与自身动态结合,使用单任务提升训练方法贪心地优化每个任务,极大程度地避免知识负迁移所带来的问题。在多个数据集上的实验证明了该方法的有效性,其性能已优于目前许多先进的多任务学习方法。     

基于残差密集块与注意力机制的图像去雾网络

基于卷积神经网络的单幅图像去雾算法虽然取得了一定进展,但仍然存在去雾不完全和伪影等问题.基于这一现状,提出了一种以编码器-解码器结构为基本框架,融合注意力机制与残差密集块的单幅图像去雾网络.首先,利用网络中的编码器、特征恢复模块和解码器三个部分直接对去雾后的图像进行预测;然后,在网络中引入本文所设计的带有注意力机制的残差密集块,提升网络的特征提取能力;最后,基于注意力机制提出自适应跳跃连接模块,增强网络对去雾图像细节的恢复能力.实验结果表明,与现有去雾方法相比,提出的去雾网络在合成有雾图像数据集和真实有雾图像上均取得了较为理想的去雾效果.     

基于双支特征联合映射的端到端图像去雾算法

针对卷积神经网络去雾算法中模型复杂度高、特征提取性能差等问题,本文提出了一种基于双支特征联合映射的端到端图像去雾算法.首先对大气散射模型进行变形转换,分离出模型中的双支特征;然后根据双支特点设计了两个特征提取网络MPFEM和SPFEM,分别使用两种注意力机制对其输出特征进行加权;最后将提取到的双支特征输入复原模块恢复清晰图像,并对其进行色彩增强得到最终复原效果.在模型训练过程中为避免使用单一损失函数导致纹理细节丢失等问题,采用多尺度结构相似度和平均绝对误差加权作为损失函数.实验表明,本文所提算法网络结构简单,去雾效果明显,复原图像色彩亮度保真,边缘保持性强.     

基于双层视觉及多尺度注意力融合的图像去雾

针对现有去雾算法缺乏对雾霾图像不同区域噪音浓度的关注以及远近景特征的区分问题,本文提出了一种新的生成对抗网络模型.模型中通过两个UNet3+网络实现全尺度的跳跃连接和深度监督,使用多尺度融合的方法结合不同尺度特征图中的高低级语义;而深度监督的加入可以更好地学习图像中的远近层次表示.同时在生成器结构中加入融合改进自注意力机制的多尺度金字塔特征融合模块,以便更好地保留特征图的多尺度结构信息,并且提高了对不同雾霾浓度区域的关注度.实验结果显示,在NTIRE 2020、NTIRE 2021、O-Haze数据集和Dense-Haze数据集上, 本文所提出的算法网络相比BPPNET等其他先进算法可以得到更好的视觉效果,在Dense-Haze数据集上,峰值信噪比和结构相似性指数分别达到24.82和0.769.     

基于全局注意力的多级特征融合目标检测算法

针对小目标物体检测精度差的问题,同时不以牺牲速度为代价,本文提出了一种基于全局注意力的多级特征融合目标检测算法。算法首先由卷积神经网络生成多尺度的特征图,然后采用多级特征融合的方法,将浅层和深层特征图的语义信息相结合,提高特征图的表达能力,接着引入全局注意力模块,对特征图上下文信息进行建模,并捕获通道之间的依赖关系来选择性地增强重要的通道特征。此外,在多任务损失函数的基础上增加一项额外的惩罚项来平衡正负样本。最后经过分类回归、迭代训练和过滤重复边框得到最终检测模型。对所提算法在PASCAL VOC数据集上进行了训练和测试,结果表明该算法能有效地提升小目标物体检测效果,并较好地平衡了检测精度与速度之间的关系。     

基于多尺度密集特征融合的生成式对抗除雾网络

在真实雾天场景下,针对除雾网络无法去除远处雾气、天空区域容易出现噪声的问题,提出了一种基于多尺度密集特征融合的生成式对抗除雾网络,并采用制作的合成雾天数据集进行对抗训练.首先,对除雾网络进行设计,构建了网络模型;其次,从合成晴朗天气图像中利用深度标签生成逼真的雾天数据集,以适用于真实雾天除雾领域;最后,在真实雾天数据集上测试,选取近几年具有代表性的6种基于深度学习的除雾网络进行主观视觉效果,并借助除雾领域常用的无参考图像质量评价指标进行客观分析.研究结果表明:提出的除雾网络在真实场景下的除雾效果较其他网络有显著提升,主观视觉效果明显优于对比的除雾网络,在无参评价指标上综合表现优于其他除雾网络.     

基于特征融合的快速图像去雾方法

针对图像去雾问题, 提出一种基于特征融合的快速单幅图像去雾方法, 解决了暗通道方法存在的块效应问题. 该方法先采用基于K均值聚类的暗通道先验求得粗尺度下的透射率, 再通过分析雾对成像的影响, 提取有雾图像自身能反映景深变化的饱和度作为细尺度的透射率, 最后通过图像融合技术得到精确的透射率. 通过对
各种真实有雾场景进行测试的实验结果表明, 该方法简单且有效, 能得到理想的去雾效果.     

一种基于特征融合的图像检索方法

特征提取是图像检索的重要步骤,特征提取的好坏对检索结果至关重要．本文融合颜色和纹理特征来表示图像,并分析了单一特征的适用图像类．实验表明,融合特征方法可以得到更好的检索效果．     

基于特征融合的说话人聚类算法

针对单一声学特征和k-means算法在说话人聚类技术中的局限性,为了更好地表达说话人的个性信息并提高说话人聚类的准确率,将特征融合和AE-SOM神经网络应用于说话人聚类中,提出一种改进的说话人聚类算法.该算法通过对语音信号特征分析,将MFCC特征参数和LPCC特征参数相结合,从而完善说话人的个性信息.并在k-means...     

一种新的多特征融合图像检索方法

为解决图像检索中单一特征检索性能不佳、多特征融合耗时的问题,提出了一种新的融合颜色特征和形状特征的图像检索方法。检索过程分为两个阶段:首先对图像进行圆环分块,提取图像整体和各圆环子块颜色特征向量,以特征向量间距离大小为准则对图像库分类;然后在类内提取图像的ART形状描述符作为形状特征进行相似性度量以实现检索。形状特征提取只在某一类内进行,减小了运算量,同时弥补了颜色特征对图像空间信息丢失的不足,提高了检索准确率。仿真实验取得了较好的检索效果。     

基于多级别特征融合的医学图像检索技术

针对医学胸部CT扫描图像,在分别研究单一特征检索算法基础上,提出了基于底层—底层和底层—高层两种级别的特征融合检索方法。据此,用VC#和SQL server2005实现了一个图像检索原型系统,验证了所提方法的有效性。     

基于二元树复数小波变换的特征融合算法

提出了一种利用二元树复数小波变换(DT-CWT)提取遥感图像纹理特征的方法，不仅使得纹理分析具备小波分析的多尺度特性，而且具备了6个方向的选择性、良好的重构性和近似的平移不变性．利用DT—CWT变换提取目标图像的纹理特征，构造目标概率密度函数，并采用基于D-S证据理论的特征层融合算法对目标进行识别处理，实验结果表明，采用基于DT-CWT纹理特征的特征层融合算法对多源低分辨率可见光遥感图像中小目标的识别是有效的．     

基于递归特征估计的图像修复算法

针对现有图像修复方法纹理不清晰和结构错乱等问题,提出基于递归特征估计的图像修复模型,此模型基于部分卷积和注意力机制且不需要额外的标签。整体框架分为两个部分,粗修复模块和精修复模块,前者初步修复前景,后者利用递归特征估计递进式地修复缺失区域的边界,不断缩小空洞的面积,这种方式不断加强对缺失区域中央的约束,使得修复结果更加精细。实验表明,与其他经典的方法相比,此结构提高了图像修复的性能,其定性和定量分析均表现最优。     

基于残差密集块和自编码网络的红外与可见光图像融合

红外与可见光图像融合是复杂环境中获得高质量目标图像的一种有效手段,在目标检测与跟踪、图像增强、遥感、医疗等领域有广泛应用前景.为解决目前基于深度学习的红外与可见光图像融合方法中存在的网络无法充分提取特征、特征信息利用不充分和融合图像清晰度低的问题,本文提出了一种基于残差密集块的端到端自编码图像融合网络结构,利用基于残差密集块的编码器网络将图像分解成背景特征图和细节特征图,然后将两种特征图进行融合,再通过解码器进行重构,还原出最终的融合图像.测试结果表明,本文的方法可以得到清晰度高、目标突出、轮廓明显的融合图像,在SF、AG、CC、SCD、Qabf、SSIM 6个融合质量评估指标上与目前代表性融合方法相比均有不同程度的提升,特别是在融合图像清晰度上优势明显,且对于模糊、遮挡、逆光、烟雾等复杂环境图像有较好的融合效果.