利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.     

基于文本语义指导的自然场景文本图像超分辨方法

在自然场景文本图像超分辨中，针对先验信息利用不准确、不充分以及文本边缘恢复不完整的问题，提出了一种基于文本语义指导的自然场景文本图像超分辨方法。该网络结构由超分辨重建模块和文本语义感知模块组成。为进一步提高超分辨网络的表达能力，提出使用循环十字交叉注意力，捕获全局上下文信息，使得模型在训练的过程中更加关注文本区域，同时，提出软边缘损失、梯度损失对重建过程进行约束，生成具有锐利边缘的超分辨结果。采用公开的自然场景文本图像超分辨数据集TextZoom对提出模型的性能进行验证，与8种主流深度网络模型进行了对比,结果表明：该模型在3个不同识别器下的平均识别率相比TSRN分别提升了2.06%、1.80%和2.89%，在PSNR和SSIM指标上也具有一定的优势。     

基于生成对抗网络的轻量级图像盲超分辨率网络

针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络（fast and memory-efficient image super resulotion network, FMEN）进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络（fast and memory-efficient image blind super resulotion network, FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution, LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块（high frequency attention block, HFAB）结构进行改进;最后,使用生成对抗网络（generative adversarial network, GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集R...     

非约束环境下的实时人脸检测方法

在不受限制的场景下,人脸检测大多部署在移动端或者边缘设备上,这些设备计算能力低且内存较小.使用无锚检测思想,基于CenterNet无锚检测器,提出以人脸为点的检测方法.不需要人工预先设置锚框,也不需要使用非极大值抑制来后处理,模型变得简单且高效.模型的骨干网络使用改进的ShuffleNetV2,轻量级网络保证了模型参数...     

基于边缘增强生成对抗网络的人脸超分辨率重建

针对对抗生成神经网络在人脸轮廓细节恢复上不够完善的问题,利用人脸图像的结构先验信息提出了一种边缘增强的生成对抗网络人脸超分辨率的重建算法.首先,利用人脸图像及其边缘图像的一致性关系设计一种并行网络提取面部和边缘细节特征;然后,通过特征融合网络获得高分辨率的生成图像;最后,利用判别网络判别生成图像的真伪.在人脸图像数据库上进行的人脸超分辨率重建实验结果表明:提出的边缘增强生成对抗网络能够提升面部细节重建能力,主观和客观评价指标均优于现有的人脸超分辨率算法.     

基于深度学习的三维模型重构研究

由单个图像建立其三维模型是计算机视觉领域的一个热门且具有挑战性的问题.现有的传统单视图三维重构算法在处理低分辨率图像时效果不好,在训练中由于三维图形的高维性,使网络也变得高度不稳定,导致模型重构效果差.针对传统三维重构算法存在的缺点,提出一种基于深度学习网络的改进模型,在模型中加入超分辨率、投影、对抗生成网络(generative adversarial network,GAN)等模块,采用模块化设计强制生成的三维形状与深度图像对齐,使得映射更加规则.在损失函数上运用Wasserstein GAN思想,引入惩罚项,使网络训练难度降低,减小网络模型对训练数据集的依赖,克服了传统算法存在的问题.实验证明,提出的模型较传统方法重构的三维模型更加逼真,符合客观事实.     

利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

基于航拍图像的人员实时搜寻机制与分析

通过传统图像处理方法将航拍图片旋转后进行前景分割、计算轮廓和生成标识框的方法增加训练样本中不同拍摄视角下样本的数量,使得训练样本具有更全的代表性。算法方面针对小目标检测,通过在原有YOLO目标检测算法的基础上加入图像超分辨率功能形成SR-YOLO网络模型,并对原网络模型中的归一化层和残差层层数进行调整。应用SR-YOLO网络模型使用经过旋转扩充后的数据集进行训练,得到"人"的目标检测模型。通过实验数据分析,此模型在航拍场景下目标的识别率较原网络结构有所提升。     

基于深层卷积网络的单幅图像超分辨率重建模型

【目的】针对Mean squared error(MSE)作为损失函数在人眼感知方面存在局限性,以及基于卷积神经网络的图像超分辨率(Super-resolution,SR)算法生成的图像存在参数较多、计算量较大、训练时间较长、纹理模糊等问题,设计基于深层卷积神经网络的单幅图像超分辨率重建模型。【方法】使用ImageNet预先训练的大型卷积神经网络Visual geometry group(VGG)模型提取图像特征,利用该特征设计视觉感知损失函数进行训练学习,引入亚像素卷积层(Sub-pixel convolution)替换上采样层,缓解生成图像的棋盘效应。【结果】设计的模型对放大两倍的图像进行超分辨率修复,与其他4种超分辨率重建模型的Peak signal to noise ratio(PSNR)值接近,且生成图像的视觉效果更加清晰逼真,细节更加细腻。【结论】该模型可以实现输入不同大小的低分辨率图像而不必多次训练学习不同比例的放大模型,可以实现对不同放大倍数图像的训练和预测,在保持一定PSNR正确率的前提下,放大后的超分辨率图像能够恢复更多纹理细节和更佳视觉效果。     

改进YOLOv5的光伏组件热斑及遮挡物检测

针对光伏组件热斑若未及时发现处理,会严重影响光伏组件及阵列正常运行的问题,为了有效检测光伏阵列热斑,提出一种基于YOLOv5框架的深度学习热斑检测方法.首先,采用像素加权平均法融合红外和可见光图像作为检测对象,实现同时对光伏组件热斑和遮挡物的检测,并初步分析热斑成因.其次,改进模型框架,在轻量级网络MobileNetV3-large的基础上,融合坐标注意力机制,设计更轻量、更高效的MobileNetCA作为特征提取网络.然后,针对训练中正负样本数量极不平衡的情况,更换损失函数为变焦距损失函数,达到训练中突出正例的效果.同时,改进模型anchor box目标框生成算法,使生成的目标框与实际标注框更一致.实验结果表明,改进后的模型mAP为88.9%,较原YOLOv5s模型提升了3.8%,且模型参数量仅为原模型的48.6%.     

多尺度残差生成对抗网络的图像超分辨率重建

针对目前基于深度学习的超分辨率重建图像存在的纹理等高频信息丢失问题,提出了多尺度残差生成对抗网络的图像超分辨率重建算法。首先,使用Dense-Res2Net模块替代SRGAN生成网络中原本的残差模块,并且组合特征压缩与激发网络（SENet）从多个尺度自适应地提取浅层特征信息。其次,引入全变分正则化损失（TV loss）指导生成器训练。最后,使用Wasserstein距离优化对抗损失,提高网络训练稳定性。实验结果表明,该算法重建出的图像在视觉效果上保留了更加丰富的高频细节,与当前主流超分算法相比,该方法不仅有更高的峰值信噪比（PNSR）与结构相似性（SSIM）,且学习感知图像块相似度（LPIPS）的分数上均优其他算法。     

连分式插值结合卷积神经网络的超分辨率重建

基于卷积神经网络的图像超分辨率重建算法是数字图像处理领域近年来的研究热点。针对低分辨率图像在预处理时使用双三次插值导致图像丢失一些重要的高频纹理细节以及网络模型优化问题,文章提出了连分式插值结合卷积神经网络的超分辨率重建方法。在原有的轻量级基于卷积神经网络的超分辨率重建算法(super-resolution convolutional neural net work, SRCNN)网络模型基础上,首先采用Newton-Thiele型连分式插值函数将低分辨率图像插值到目标尺寸;然后利用3个卷积层进行图像特征提取、非线性映射、重建与优化;该文在网络收敛时利用Radam优化算法自适应地调整梯度,并且采用余弦衰减法逐渐降低学习率。实验结果表明,该网络模型能够在轻量级的卷积神经网络下获得更丰富的纹理细节和更清晰的图像边缘。     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

基于YOLOv5的遥感图像目标检测

目标检测是遥感图像处理领域的一项重要技术,遥感图像目标种类繁多且存在目标物体难以被检测.提出把YOLOv5算法应用到遥感图像目标检测的方法,首先选择YOLOv5x来构建网络模型,再通过Mosaic数据增强对样本集进行预处理和自适应锚框筛选方法确定锚框大小,然后切片卷积操作得到原始特征图,将原始特征图送入主干网络进行特征融合得到最优权重,最后采用GIOU Loss做边界框的损失函数和非极大值抑制目标框的筛选,对遥感图像进行目标检测.在公开的10类地理空间物体(NWPU-VHR 10)数据集进行了检测实验,以评估所提出模型的目标检测性能.对比实验表明,本文的模型mAP达到了0.9239,与使用相同数据集的模型中的最佳结果进行比较,mAP提升了1.78％,该方法可以提高遥感图像目标检测精度.     

基于改进YOLOv3和迁移学习的轻量型补片目标检测

自动三维乳腺超声(Automated 3-D Breast Ultrasound,ABUS)克服传统超声的缺陷，成功应用于对腹壁疝轻量型补片的检查.但人工检阅ABUS超声图像耗时费力，且极易出现漏诊等问题.因此，文章提出一种基于改进YOLOv3和迁移学习的目标检测算法以辅助医生提高审阅速度和准确性.基于原有的YOLOv3模型，在检测层前增加空间金字塔池化(Spatial Pyramid Pooling,SPP)模块实现局部特征与全局特征的融合，丰富特征图的表达，解决了检测图像中小目标难以检测的问题；在网络训练中，采用迁移学习的策略进行训练网络以克服轻量型补片图像数据集有限的问题，提升网络的鲁棒性减少过拟合产生.实验结果表明，YOLOv3-SPP算法结合迁移学习训练方式，其平均精度均值(mean Average Precision,mAP)达到90.15%，图像检测速度为33.2 f·s^-1，可有效辅助医生提高审阅效率.     

引入格式塔理论的超分辨率图像重建技术

超分辨率图像重建是一个不适定问题,学术上富有挑战性,在影像处理、高分辨率对地观测等领域具有广泛的用途,其目标评价特性与格式塔理论关于视像认知的相以性、共性线、同趋性等高度吻合.本文引入格式塔理论,在国际图像与视频压缩标准JPEG2000、MPEG-4推荐的提升小波分解与重建框架下,开展重建级大于分解级的超分辨率图像重建模型与算法研究,有如下三方面的贡献:1)对高频信息进行高精度估计,重建获得超分辨率图像,最高频系数置零的小波变换去噪为超分辨率图像重建提供了一个逆向成功的范例;2)遵循格式塔理论,对边缘轮廓、纹理及高频细节信息进行重建;3)建立了带格式塔约束的超分辨率图像重建优化模型框架,体现了人类视觉评价指标.     

超分辨率对抗网络的电路板瑕疵检测

电路板瑕疵检测是图像检测领域一个具有挑战性的问题.针对电路板瑕疵只占整个图像区域的很小比例而导致难以检测的问题,提出超分辨率生成式对抗网络的电路板瑕疵小目标检测方法,电路板图像通过对抗网络提高分辨率后用深层网络的多尺度进行目标检测.首先,将电路板数据集图片通过超分辨率生成式对抗网络提高分辨率,放大至4倍尺寸;在Darknet-53网络中通过卷积、采样和融合提取不同尺度的特征图;使用先验框对特征图进行多尺度预测,输出瑕疵的边界框和分类.实验表明,超分辨率生成式对抗网络电路板瑕疵小目标检测方法的平均精确率可提高至99.38％.     

基于密连接生成对抗网络的图像超分辨率重建

为了使超分辨率图像展现更好的视觉效果,在基于生成对抗网络的超分辨率算法基础上,改进生成器网络,加入密连接块,使网络在更少参数、更低计算成本、更短训练时间的情况下,实现更优的性能.为了促进图像的空间平滑性,在优化问题中,使用内容损失函数和Total Variation Loss一起约束噪声.输出图像选取VGG19的19、16、13、10、7层输出对比结果,加强了不同尺度图像的特征融合.主观视觉效果显示,该方法重建后的图像质量有所提升,重建后的图像细节信息有所增加;同时,用于评价图像重建质量的峰值信噪比(PSNR)提升了1.30dB,结构相似性(SSIM)提升了0.03.     

基于CNN的中文字体图像超分辨率重构算法

提出一种针对中文字体生成图像的超分辨率字体重构方法,以提高字体图像矢量化的准确度.结合字体行业领域知识和图像处理技术将网络生成的9169个字体图像进行超分辨率重构,该方法联合优化了所有网络层,使用双三次插值将单个低分辨率字体图像放大到所需的大小,通过卷积神经网络(CNN)拟合非线性映射输出较高分辨率的字体图像.实验结果表明:提出的方法生成的字体分辨率更高,能更好辅助字体设计师进行字体设计.     

基于YOLOv8的火灾烟雾检测算法研究

早期火灾预警为人类的生命财产安全提供有效保障，为了提高算法在复杂场景中对小火焰和烟雾的检测性能，对v8版本的YOLO算法进行改进，设计了一种轻量型的Fire-YOLOv8火灾检测网络。该网络在YOLOv8的基础上增加一个更小的目标检测层，并使用Focus层对输入图像进行切片操作，解决微小火焰检测的难题。在网络优化中，特征提取选用轻量级的BottleneckCSP模块，使用样本数据集进行迁移学习，更新网络参数，能够有效区分火焰、烟雾等干扰信息。实验结果表明：预训练生成的Fire-YOLOv8n火灾检测模型的精确率达到97.1%,mAP@0.5达到95.7%,检测速度达到192 FPS,模型大小仅为8.4 MB,综合性能得到明显提升，可以很好地满足嵌入式设备实时检测的应用需求。