多尺度残差生成对抗网络的图像超分辨率重建

针对目前基于深度学习的超分辨率重建图像存在的纹理等高频信息丢失问题,提出了多尺度残差生成对抗网络的图像超分辨率重建算法。首先,使用Dense-Res2Net模块替代SRGAN生成网络中原本的残差模块,并且组合特征压缩与激发网络（SENet）从多个尺度自适应地提取浅层特征信息。其次,引入全变分正则化损失（TV loss）指导生成器训练。最后,使用Wasserstein距离优化对抗损失,提高网络训练稳定性。实验结果表明,该算法重建出的图像在视觉效果上保留了更加丰富的高频细节,与当前主流超分算法相比,该方法不仅有更高的峰值信噪比（PNSR）与结构相似性（SSIM）,且学习感知图像块相似度（LPIPS）的分数上均优其他算法。     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

基于并联式卷积神经网络的遥感影像超分辨率重建

遥感影像超分辨率重建有助于丰富地物细节,从而更全面地反映地物目标信息。为了解决目前基于深度学习的超分辨率重建方法难以同时兼顾影像高、低频信息的问题,本文提出了一种并联式遥感影像超分辨率重建方法。该方法并联了密集深层反投影网络和浅层多尺度网络,利用密集深层反投影网络精确预测遥感影像的高频内容;同时利用浅层多尺度网络来增加目标可分辨能力,并保留影像的低频部分来提升影像的质量。这个方法在在GF-1和GF-2数据集上进行了实验,并在Landsat 8和ASTER异源遥感影像数据集上进行了泛化验证,研究结果表明,相较于增强深度残差网络（enhanced deep residual networks for single image super-resolution,EDSR）、深层和浅层端到端卷积网络（end-to-end image super resolution via deep and shallow convolutional network,EEDS）和密集深层反投影网络（deep back-projection networks for super-resolution,DBPN）,峰值信噪比（peak signal to noise ratio,PSNR）指标分别提升了2.30 dB、2.23 dB、0.25 dB,结构相似度（structural similarity,SSIM）性能指标分别提升了 0.1 316、0.1 085、0.0 096。本文方法有助于从数据端改善遥感影像目标识别、地物分类等应用的精度,进一步提高遥感数据在资源调查、环境监测、灾害预报等领域的应用效能。     

迭代化代价函数及超参数可变的生成对抗网络

为了解决生成对抗网络(Generative adversarial networks,GAN)的训练难问题,该文在Wasserstein GAN(WGAN)方法基础上提出了迭代化代价函数及超参数可变的生成对抗网络。为了对原始WGAN中的惩罚项进行改进,用迭代的方法增加惩罚项代替原始随机选取的方法。针对WGAN中固定代价函数惩罚项的超参数,提出变动超参数策略,其变动的依据是仿分布和真实分布之间的距离。在MNIST手写字体数据集和CELEBA人脸数据集上的实验表明,与传统WGAN方法相比,该文方法在生成器的拟合速度上有了显著提高,充分验证了方法的有效性。     

基于梯度的结构相似度的图像质量评价方法

虽然基于结构信息的图像质量评价方法——结构相似度（SSIM）模型结构简单、评价性能优于峰值信噪比（PSNR）或均方误差（MSE）模型，但SSIM模型不能较好地评价严重模糊的降质图像．文中提出了一种基于梯度的结构相似度（GSSIM）图像质量评价方法，该方法将梯度作为图像的主要结构信息．实验结果表明，GSSIM模型比SSIM和PSNR（MSE）模型更符合人眼视觉系统特性，能较好地评价模糊图像的质量．     

基于双向循环网络的变色龙视觉超分辨率图像重建

针对使用均方误差（Mean Square Error,MSE）作为目标损失函数，导致重建的超分辨率图像在失真与感知质量上难以兼得的问题，提出基于双向循环网络的变色龙视觉重建模型（Super-resolution Bidirectional Recurrent Neural Network,SRBRNN）以改善重建效果.首先，鉴于变色龙可以同时注视两个不同方向的非凡视觉功能，SRBRNN模型借助双向循环神经网络结合序列演进前向与反向给输出提供不同方向时间信息的思想，实现重建过程中失真与感知质量的兼顾；其次，SRBRNN模型定义了特征演进和退化序列，并设计了低分辨率图像到高分辨率图像演进和高分辨率图像到低分辨率图像退化网络，将演进网络和退化网络对应应用为原双向循环网络的前向循环和反向循环网络；最后，利用双向循环机制重建超分辨率特征.用SRBRNN算法在Set5、Set14、BSD100基准测试集上进行实验，实验结果表明在峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似性(Structural Similarity, SSIM)评估指标及主观质量评分上，...     

基于Wasserstein距离的双向学习推理

基于Wasserstein距离的生成对抗网络(WGAN)将编码器和生成器双向集成于其模型中,从而增强了生成模型的学习能力,但其在优化目标中使用KL散度度量分布间的差异,会导致学习训练过程中出现梯度消失或梯度爆炸问题,降低模型鲁棒性.为克服这一问题,提出了一种基于Wasserstein距离的双向学习推理(WBLI)模型.文章首先建立了真实数据分布与隐数据分布双向学习网络,然后引入Wasserstein距离度量联合概率分布的差异性,并据此推导了可解的损失代价函数,给出了完整的网络学习模型和迭代算法.实验结果表明,WBLI模型有效缓解了传统GAN及其变种的模式坍塌问题,增强了训练学习的鲁棒性,可生产辨识度更高的样本.     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于密连接生成对抗网络的图像超分辨率重建

为了使超分辨率图像展现更好的视觉效果,在基于生成对抗网络的超分辨率算法基础上,改进生成器网络,加入密连接块,使网络在更少参数、更低计算成本、更短训练时间的情况下,实现更优的性能.为了促进图像的空间平滑性,在优化问题中,使用内容损失函数和Total Variation Loss一起约束噪声.输出图像选取VGG19的19、16、13、10、7层输出对比结果,加强了不同尺度图像的特征融合.主观视觉效果显示,该方法重建后的图像质量有所提升,重建后的图像细节信息有所增加;同时,用于评价图像重建质量的峰值信噪比(PSNR)提升了1.30dB,结构相似性(SSIM)提升了0.03.     

基于流模型的低照度超分辨率重建

将低照度低分辨率图像增强到正常曝光高分辨率图像具有高度的不确定性，即它们之间的映射关系是一对多的.以往基于像素重建图像和确定图像的过程未能捕捉正常曝光图像的复杂条件分布，导致不适当的亮度、残余噪声和伪影.在本文中，通过一个已经提出的标准化流模型来构建这种一对多的关系.一种以低照度图像的特征为条件，学习将正常曝光图像的分布映射为高斯分布的可逆网络模型，这样可以很好地模拟正常曝光图像的条件分布.可逆网络模型的另一个优点是在训练过程中被一个描述正常图像流形结构的损失函数约束.在LOL(Low-light)数据集上的实验结果表明，该方法相比较其他方法，获得了更高峰值信噪比(PSNR),更高结构相似度(SSIM),更少学习感知图像块相似度(LPIPS).     

AVS+压缩编码高清视频质量分析

当代数字视频信号处理技术得到了广泛地应用。本文的课题实验搭建了基于AVS+和H.264的硬件的压缩编解码平台,对高清视频进行了不同码率的压缩编码的实验,采用了客观质量评价方法SSIM以及PSNR对解码后的视频图像质量进行客观评价,并与H.264压缩编码质量进行了比较。     

基于改进SRResNet深度学习网络的低照度图像超分辨率重建方法

为解决低照度条件下低分辨率图像的超分辨率重建问题,提出一种基于改进超分辨率残差网络(super-resolution residual networks, SRResNet)深度学习网络的低照度图像超分辨率重建方法。通过将读取的图像下采样、亮度降低等处理生成低照度低分辨率图像,并将该图像与高分辨率图像作为数据对输入学习模型,以便改进SRResNet的训练数据对的生成方式,优化训练过程,从而构建面向单帧低照度彩色图像的基于改进SRResNet训练的超分辨率重建方法。实验结果表明：与现有流行的图像超分辨率重建方法相比,该方法的峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity, SSIM)指标整体为最优,低照度环境下的超分辨率重建图像更为清晰明亮、细节更丰富,该方法训练出的深度学习网络的重建效果更好。     

一种具有非凸非光滑组合正则的图像恢复方法

为保证对含有较多纹理信息的图像有好的恢复性能,提出了一种具有非凸非光滑组合正则的图像恢复方法。一方面,利用一阶非凸非光滑正则在恢复图像的同时保护图像纹理信息;另一方面,采用二阶非凸非光滑正则降低一阶非凸非光滑正则引起的分层效应。交替方向法等用来克服该组合正则项非凸非光滑性带来的数值计算困难。最后,不同污染环境下的仿真实验结果表明算法恢复图像的信噪比、峰值信噪比、图像相似度评价值均优于比较算法恢复结果。     

基于生成对抗网络的SAR图像去噪

合成孔径雷达(synthetic aperture radar,SAR)图像是一种能够全天时、全天候产生高分辨率图像的主动式对地观测系统,在农业和军事等方面得到了广泛应用.然而,由于相干成像机制受到相干斑噪声的影响,因此提出了一种基于生成式对抗网络的SAR图像盲去噪算法,构造了基于残差结构的深度卷积神经网络(deep convolutional neural network,DCNN)作为生成网络,可以加速训练过程,提高去噪性能.本文还利用峰值信噪比(peak signal to noise ratio,PSNR)和结构相似指数(structural similarity index measure,SSIM)定义一种新的损失函数,使得去噪后的图像更符合人眼的视觉感知要求.实验结果表明,本文算法可以有效地抑制SAR图像中的相干噪声,获得良好的去噪效果.     

基于Keyhole和Landsat MSS融合影像的土地利用变化监测研究—以杭州湾南岸为例

以杭州湾南岸为研究区,利用1980年9月20日的Keyhole遥感影像与同一时期的Landsat MSS遥感影像,通过融合处理,获得既具有高空间分辨率又有多光谱分辨率的历史遥感影像,填补历史高分辨率遥感影像的空缺．研究结果将历史土地利用类型变化监测时间序列推前的同时,提高杭州湾南岸土地利用变化监测的精度．研究中将使用历史融合影像对杭州湾土地利用类型变化进行监测,同时结合1990—2020年4景Landsat遥感影像,获得杭州湾南岸地区近41年的土地利用情况,辅以前人的目视解译结果图,得到分类精度>90%的土地覆被利用分类结果．从面积变化、类型转化、年均变化率3方面分析讨论了1980—2020年间杭州湾南岸地区土地利用的时空变化特征．结果表明:1980—1990年,杭州湾南岸库塘呈减少的趋势,耕地逐渐向海岸地区扩张;1990—2020年,城市的扩张面积不断增加且呈现向海岸扩张的趋势,库塘的面积增加明显,主要表现在人工养殖场继续向海岸扩张．城市的发展是影响杭州湾南岸土地利用变化的主要因素,并且在杭州湾城市规划的同时应该充分考虑其生态环境的问题,加强自然湿地保护,严格控制自然湿地的开发规模,坚持可持续发展,在保护湿地的基础上进行合理的开发利用．      

基于频域的结构相似度的图像质量评价方法

基于结构相似度信息(SSIM)的图像质量评价方法结构简单、评价性能优于峰值信噪比(PSNR),但是在研究中发现SSIM不能很好地评价严重模糊的图像。该文提出一种基于频域的结构相似度(FSSIM)的图像质量评价方法。该方法将频域信息作为图像的主要结构信息,根据人眼视觉系统(HVS)对不同频率分量的敏感程度不同,对离散余弦变换后的各频率分量加权后得到图像的频域函数。由频域函数、亮度函数和对比度函数计算得到结构相似度。实验结果表明,FSSIM比SSIM和PSNR更符合人眼视觉系统特性,能较好的评价图像质量。     

基于图像块相似性和补全生成的人脸复原算法

图像获取过程中,由于成像距离、成像设备分辨率等因素的限制,成像系统难以无失真地获取原始场景中的信息,产生变形、模糊、降采样和噪声等问题,针对上述情况下降质图像的复原问题,提出了适用于低分辨率,低先验知识情况下的人脸复原方法,通过基于图像相似性的期望块log相似性EPLL (expected patch log likelihood)框架来构建人脸复原效果的失真函数,利用生成对抗网络的图像补全式生成过程来复原图像。所提算法在加噪率50%以及更高情况下可以保持较好的人脸图像轮廓与视觉特点,在复原加噪20%的降质图像时,相比传统的基于图像块相似性的算法,本文算法复原结果的统计特征峰值信噪比PSNR (peak signal-noise ratio)与结构相似度SSIM (structural similarity)值具有明显优势。     

基于Dropout改进的SRGAN网络DrSRGAN

超分辨率作为一种经典的视觉任务,在多个领域有着广泛的应用。随着深度学习中无监督学习的发展,以及生成对抗网络(generative adversarial network, GAN)的提出,超分辨率技术又得到了进一步的提高,但是相关网络仍旧存在过拟合、泛化性弱等诸多问题。以超分辨率生成对抗网络(super-resolution generative adversarial network, SRGAN)为基础,受研究Dropout在经典超分辨率网络中影响的相关论文启发,在SRGAN中加入Dropout层并研究其对生成图像质量的影响,采用峰值信噪比(peak signal to noise ratio, PSNR)和结构相似性(structural similarity, SSIM)评估图像质量。实验结果表明在合适的Dropout参数下,网络重建图像具有更好的视觉效果,PSNR能够达到0.4左右的提升同时SSIM也有提高,从训练过程中不同迭代次数生成图像的比较发现改进后网络缓解了训练不稳定问题。将Dropout层加入超分辨率网络不同于以往的方法,为改进此类网络提供了一个新的思路。     

基于Hessenberg测量矩阵的超声图像重建

针对超声图像连续性差、自身具有稀疏性的特点,提出了一种适用于超声图像的压缩感知重建方法。该方法以小波变换为稀疏基,Hessenberg矩阵为测量矩阵,引入正交匹配追踪(OMP)算法实现了超声图像的重建。超声C-扫描图像重建结果表明在观测数据采样率降低、数据缺失等条件下均能清晰的成像,验证了该方法的有效性。此外,本文给出Hessenberg测量矩阵的有限等距性(RIP)性质证明;并与基于Toeplitz测量矩阵的图像重建方法进行了比较,实验结果表明利用本文方法的重建图像在平均结构相似度(SSIM)、峰值信噪比(PSNR)和三维差值图等指标上均较优。该压缩感知重建方法在采样率为50%,原始数据较差的前提下,成功恢复出相似度在80%以上的超声图像。