多尺度特征的深度学习及在多聚焦图像融合上的应用

【目的】多聚焦图像融合指的是从同一场景下不同的图像中提取各自的聚焦区域,得到一幅全聚焦的图像,是近些年来图像处理领域一个热门的研究方向。传统的图像融合技术存在融合区域不清晰、失真、存在伪影等情况。针对这一现象,提出了一种基于深度学习的图像融合方法。【方法】所提算法整体使用了孪生网络来对图像中的聚焦区域进行分类,同时还引入了GoogLeNet中的Inception模块来提高网络的特征提取能力,取得了良好的性能。为了充分利用源图像中的特征信息,提出的算法中使用了不同大小的子块来提取源图像中不同尺度的特征信息,获得源图像多个尺度的特征。此外,提出的方法获得的二值图能够精确反映出源图像的聚焦区域和非聚焦区域,因此不需要应用后处理步骤来对二值图进行优化,降低了网络的复杂度。【结果】在Lytro多聚焦图像集和其他常用的多聚焦灰度图像集上的实验结果表明：相比于其他经典算法,提出算法的融合结果从主观和客观两个维度上都拥有显著的优势。【结论】提出的算法很好地融合了源图像中的细节特征,融合边缘自然平滑、无伪影产生,取得了较传统算法更好的融合效果。     

基于轻量级Fast-Unet网络的航拍图像电力线快速精确分割

为了满足光学航拍图像中电力线检测的实时性和高精度,提出了一种轻量级Fast-Unet网络电力线检测方法.它以Unet语义分割网络为基础,添加金字塔池化结构增强特征上下文信息的融合.设计深度可分离残差卷积运算,增加了网络深度且进一步减少了网络参数量.使用多损失函数训练Fast-Unet网络,缓解图像中前景与背景类别分布极...     

多层特征图堆叠网络及其目标检测方法

随着深度卷积神经网络的快速发展,基于深度学习的目标检测方法由于具有良好的特征表达能力及优良的检测精度,成为当前目标检测算法的主流.为了解决目标检测中小目标漏检问题,往往使用多尺度处理方法.现有的多尺度目标检测方法可以分为基于图像金字塔的方法和基于特征金字塔的方法.相比于基于图像金字塔的方法,基于特征金字塔的方法速度更快,更能充分利用不同卷积层的特征信息.现有的基于特征金字塔的方法采用对应元素相加的方式融合不同尺度的特征图,在特征融合过程中易丢失低层细节特征信息.针对该问题,本文基于特征金字塔网络(featurepyramidnetwork,FPN),提出一种多层特征图堆叠网络(multi-featureconcatenationnetwork,MFCN)及其目标检测方法.该网络以FPN为基础,设计多层特征图堆叠结构,通过不同特征层之间的特征图堆叠融合高层语义特征和低层细节特征,并且在每个层上进行目标检测,保证每层可包含该层及其之上所有层的特征信息,可有效克服低层细节信息丢失.同时,为了能够充分利用ResNet101中的高层特征,在其后添加新的卷积层,并联合其低层特征图,提取多尺度特征.在PASCALVOC2007数据集上的检测精度为80.1%m AP,同时在PASCALVOC2012和MSCOCO数据集上的表现都优于FPN算法.相比于FPN算法,MFCN的检测性能更加优秀.     

基于双层视觉及多尺度注意力融合的图像去雾

针对现有去雾算法缺乏对雾霾图像不同区域噪音浓度的关注以及远近景特征的区分问题,本文提出了一种新的生成对抗网络模型.模型中通过两个UNet3+网络实现全尺度的跳跃连接和深度监督,使用多尺度融合的方法结合不同尺度特征图中的高低级语义;而深度监督的加入可以更好地学习图像中的远近层次表示.同时在生成器结构中加入融合改进自注意力机制的多尺度金字塔特征融合模块,以便更好地保留特征图的多尺度结构信息,并且提高了对不同雾霾浓度区域的关注度.实验结果显示,在NTIRE 2020、NTIRE 2021、O-Haze数据集和Dense-Haze数据集上, 本文所提出的算法网络相比BPPNET等其他先进算法可以得到更好的视觉效果,在Dense-Haze数据集上,峰值信噪比和结构相似性指数分别达到24.82和0.769.     

基于稀疏编码空间金字塔模型的零样本学习

针对目前零样本图像分类均采用图像底层视觉特征训练属性分类器而导致分类精度较低的问题,提出一种基于稀疏编码空间金字塔模型的零样本学习方法,给出系统结构流程图.首先从原始视觉图像中提取SIFT特征,并进行SIFT特征点提取;然后构建空间金字塔最大池化模型,对已提取的SIFT中间特征进行稀疏编码;最后建立间接属性预测模型.给出基于稀疏编码的空间金字塔最大池化模型的零样本学习算法步骤,完成对目标图像的属性预测,从而达到零样本图像分类的目的.在Shoes数据集与OSR数据集上进行了对比试验.结果表明:试验证实了文中算法的有效性;相对于传统算法,试验耗时减少,图像属性预测精度增加,图像分类识别率提高.     

多尺度特征融合的图像语义分割

针对多尺度下的目标分割问题,提出了一种多尺度特征融合的图像语义分割方法.该方法改进了空洞空间金字塔池化(ASPP)模块,采用6种不同采样率空洞卷积并行架构增强了对输入图像信息的提取,该模块可以获取多尺度的卷积特征,从而进一步增强图像分割能力.通过在PASCAL VOC 2012数据集上进行训练和验证,达到了82.0%的平均像素准确率和71.9%的平均交并比.实验结果表明:通过改进空间维度上的ASPP模块,该方法可以达到良好的图像语义分割效果.     

融合注意力机制的PSPnet多目标语义分割

采用加强特征提取网络为MobileNetV2的融合多特征金字塔场景解析网络（PSPnet）来实现复杂场景下的图像语义分割.相对于深度残差网络ResNet50和MobileNetV1,引入了线性瓶颈结构和反向残差结构,利用金字塔池化模块（PPM）来处理不同层级的图像特征信息,并将其进行特征拼接,有效避免了不同分割尺寸下,子区域之间关键特征信息的缺失.在此基础上,引入注意力机制模块,结合通道注意力机制（CAM）和空间注意力机制（SAM）,进一步提高分割精度.实验结果表明：该方法可以提高图像识别的准确率,并节省训练时间.     

基于CNN多层特征加权融合的闭环检测算法

针对深度学习用于闭环检测中存在空间细节特征丢失的问题,提出基于卷积神经网络(CNN)多层特征加权融合(CNN-F)的闭环检测算法.首先,采用预训练的CNN模型作为特征提取器,从网络中提取输入图像的浅层几何特征和深层语义特征;然后,调整特征图数据进行加权融合,将融合的特征图进行主成分分析(PCA)降维处理后,计算相似性得分用于闭环检测;最后,将算法在数据集New College和City Centre上进行测试.实验结果表明:CNN-F可以有效改善图像特征描述效果,相比于直接使用CNN的闭环检测算法,该算法有更好的准确性和鲁棒性.     

基于高分辨率网络的人体姿态估计

针对高分辨率网络中存在不同分支特征交叉融合导致参数量大、运算复杂度高等问题,提出了一种基于高分辨率检测网络（HRNet）的人体姿态估计优化网络模型.引入空洞空间卷积池化金字塔替代多分辨率分支网络交叉融合过程,同时引入注意力机制,提高网络输出特征图质量,从而保证改进后网络检测的准确度.在环境配置和网络输入图像分辨率一致的情况下,所提出的模型在COCO数据集上实验结果较HRNet相比参数量下降38.6%,运算复杂度下降35.2%.实验结果表明：改进后网络在检测精度略微下降的情况下,能有效降低参数量、运算复杂度.     

基于改进YOLOv3和迁移学习的轻量型补片目标检测

自动三维乳腺超声(Automated 3-D Breast Ultrasound,ABUS)克服传统超声的缺陷，成功应用于对腹壁疝轻量型补片的检查.但人工检阅ABUS超声图像耗时费力，且极易出现漏诊等问题.因此，文章提出一种基于改进YOLOv3和迁移学习的目标检测算法以辅助医生提高审阅速度和准确性.基于原有的YOLOv3模型，在检测层前增加空间金字塔池化(Spatial Pyramid Pooling,SPP)模块实现局部特征与全局特征的融合，丰富特征图的表达，解决了检测图像中小目标难以检测的问题；在网络训练中，采用迁移学习的策略进行训练网络以克服轻量型补片图像数据集有限的问题，提升网络的鲁棒性减少过拟合产生.实验结果表明，YOLOv3-SPP算法结合迁移学习训练方式，其平均精度均值(mean Average Precision,mAP)达到90.15%，图像检测速度为33.2 f·s^-1，可有效辅助医生提高审阅效率.     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.     

基于深度学习与狮群SVM算法的遥感场景分类

针对高分辨遥感图像样本量小,以及传统优化支持向量机(SVM)算法易陷入局部最优解、寻优速度慢等问题,提出一种基于深度迁移学习与狮群优化SVM(LSO-SVM)算法对遥感图像场景进行分类.首先,通过自适应对比度增强图像后利用颜色聚合向量提取图像颜色特征;其次,利用3种预训练网络分别提取图像的迁移学习深度特征;最后,将手工提取的图像特征与用3种预训练网络获取的特征使用系列特征融合方法进行融合,并将其输入LSO-SVM进行图像场景分类.结果表明,该算法解决了小样本情况下深度学习较难训练及传统优化SVM算法易陷入局部最优解、寻优速度慢的问题.在80%的训练条件下,数据集UCM Land-Use和RSSCN7的分类精度分别达到99.52%和98.57%.     

一种基于深度学习的实时视频图像背景替换方法

针对视频会话业务的实时性需求,提出一种轻量级深度学习网络模型实现视频图像的实时背景替换功能.网络模型包含语义分割和背景替换两个模块.语义分割模块整体架构采用编解码结构,编码端使用编码器模块、空洞卷积金字塔池化模块、注意力模块以及增益模块提取特征;解码端使用解码器模块、调整模块以及编码器模块恢复图像,再传入背景替换模块完成背景替换.该网络模型在本文设定的数据集训练后分割精确度达到94.1%,分割速度达到42.5帧/s,在实时性和准确性上达到较好的平衡,具有很好的实用效果.     

多相机图像拼接算法的改进

为了加快图像拼接中特征检测的速率,避免图像中非重合区域对特征检测点与匹配的干扰,通过重合区域预估计算和图像的掩模处理的方法,研究了只针对重合区域的改进检测算法。为了降低由于多图拼接造成的累积误差,通过使用中间图像为基准的多图拼接的思路,研究了改进多图拼接算法并定义了平移矩阵并给出了平移量的计算公式。为了使融合效果更好,通过传统的加权线性融合算法,研究了分区域加权线性融合。结果表明:加快了特征检测速率,降低了特征点之间的误匹配率,优化了由于多图拼接带来的累积误差,提高了图像融合品质。可见上述提到的对多相机图像拼接的系列算法的改进在效果、速率上都有所改进。     

基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测

针对目前负荷分解模型的深层负荷特征提取不充分,分解精度低以及训练成本高等问题,提出了一种多尺度特征融合模型。模型由负荷分解子网络及负荷识别子网络两部分构成,两个子网络均利用一维卷积和批量归一化等组成的卷积块进行负荷特征初提取,然后采用金字塔池化模块从多个维度精确提取深层负荷特征信息,并与特征初提取部分进行融合。金字塔池化模块使网络参数大大减少且降低了训练成本。同时与以往模型中的注意力机制不同的是,网络引入多头自注意力机制,每个注意力关注负荷特征的不同部分,从多个角度实现对重要负荷特征的筛选,进一步提高分解性能。最后,在UK-DALE和REDD数据集上进行实验,结果表明所提模型与四个基准模型相比,无论是负荷分解性能还是电器运行状态识别能力都有明显提升。     

基于感知注意力和轻量金字塔融合网络模型的室内场景语义分割方法

针对实验室场景理解时存在背景复杂、光照多变等问题，利用RGB信息与深度信息在场景理解中具有互补性的特点，提出了一种感知注意力和轻量空间金字塔融合的网络模型（Perception Attention and Lightweight Spatial Fusion Network,PLFNet）。在该模型的感知注意力模块中，利用RGB图像与深度图像在网络中的权重不同，以加权的方式实现深度信息对RGB信息的多级辅助；在轻量空间金字塔池化模块中，通过增加级联的空洞空间卷积，不但有效地聚集了多尺度特征，而且比传统空间金字塔池化模块的参数量减少了约92%，使RGB信息和深度信息的融合更充分。在两个室内场景公开数据集上的实验结果表明，该模型的表现均优于经典算法。消融实验结果表明，本文模型添加感知注意力模块和轻量空间金字塔池化模块后，平均交并比分别提高了4.3%和3.5%。最后，利用场景较复杂的生物实验室数据集进行测试，结果表明本文模型可以有效地实现对生物实验室的场景理解。     

基于关键点特征融合的六自由度位姿估计方法

针对单张RGB-D图像进行六自由度目标位姿估计难以充分利用颜色信息与深度信息的问题,提出了一种基于多种网络(金字塔池化网络和PointNet++网络结合特征融合网络)构成的深度学习网络框架.方法用于估计在高度杂乱场景下一组已知对象的六自由度位姿.首先对RGB图像进行语义识别,将每一个已知类别的对象掩膜应用到深度图中,按...     

多尺度空洞卷积金字塔网络建筑物提取

为改善现有深度学习方法获取图像特征尺度单一、提取精度较低等问题,提出多尺度空洞卷积金字塔网络建筑物提取方法。多尺度空洞卷积金字塔网络以U-Net为基础模型,编码-解码阶段采用空洞卷积替换普通卷积扩大感受野,使得每个卷积层输出包含比普通卷积更大范围的特征信息,以利于获取遥感影像中建筑物特征的全局信息,金字塔池化模块结合U-Net跳跃连接结构整合多尺度的特征,以获取高分辨率全局整体信息及低分辨率局部细节信息。在WHU数据集上进行提取实验,交并比达到了91.876%,相比其他语义分割网络交并比提升4.547%～10.826%,在Inria数据集上进行泛化实验,泛化精度高于其他网络。结果表明所提出的空洞卷积金字塔网络提取精度高,泛化能力强,且在不同尺度建筑物提取上具有良好的适应性。     

改进型DeepLabV3+的糖尿病眼底病变分割

针对糖尿病视网膜眼底病变多类分割难及小病灶识别率低的问题,提出一种融合注意力机制与改进型DeepLabV3+的糖尿病视网膜眼底病变多类病症分割方法．该方法首先通过使用MobileNetV2网络提取病灶特征,减少参数量并提高算法训练速度;接着通过优化空洞空间卷积金字塔池化中的空洞卷积层数与空洞率,以提高捕获小病灶特征的能力;然后基于DeepLabV3+网络模型进行改进,借助坐标注意力机制感知病灶方向和位置信息,从而提高识别精度;最后采用FGADR和IDRiD数据集分别训练和测试所提出的模型．实验结果表明：所提出方法的平均交并比(MIoU)指标为73.75%,具有较高的分割精度,验证了模型有效性．     

面向小目标检测结合特征金字塔网络的SSD改进模型

针对SSD卷积神经网络模型对小目标检测精度不高的问题,提出了一种基于特征金字塔网络的SSD改进模型.特征金字塔网络可以将深层的携带有更抽象、更丰富的语义信息的卷积特征图与浅层的分辨率更高、更细节的卷积特征图进行融合.检测的过程是将原始SSD网络得到的多层特征图,经改进设计的横向连接层、上采样层、融合层和预测层处理后,再通过非极大值抑制得到最终的检测结果.采用PASCAL VOC 2007和2012(train+val)作为训练集,PASCAL VOC 2007(test)测试集的m AP达到了75. 8%,相比原SSD模型提高了1. 5%.其中,在盆栽植物类密集小目标检测上有9. 9%的提升.