基于损失提取反馈注意网络的图像超分辨率重建研究

自SRCNN(super-resolution convolutional neural network)将卷积神经网络用于超分辨率图像重建领域以来，人们通过大量的研究证明了使用深度学习的方法能够提高重建图像的效果。针对图像超分辨率网络中参数过多以及图像特征利用不充分导致可用的高频信息较少等问题，提出了一种基于损失提取策略的反馈注意网络(loss extraction feedback attention network,LEFAN)，以循环的方式对参数进行复用，同时增加对低分辨率图像特征的重用，以捕获更多的高频信息，对重建过程中造成的损失进行提取并融合到最终的超分辨率图像中。实验结果表明：算法在实现多次利用低分辨率图像的基础上，对潜在的损失进行提取并融合到最终的超分辨率图像中，可以获得较好的图像重建效果。     

基于稀疏性深度学习的航拍图像超分辨重构

为降低无人机硬件设备升级成本, 研究利用深度学习技术进行航拍图像超分辨(super-resolution, SR)。针对神经网络训练参数量大的特点, 提出了一种稀疏卷积神经网络SR(SR based on sparse convolutional neural network, SRSCNN)重构方法, 对神经网络连接权值进行选择性筛选达到压缩网络结构并减少训练时间的目的。实验结果表明, 该方法在缩短网络学习时间, 图像重构效果和计算时间上具有一定优越性。同时, 设计了一种基于显著性区域的图像质量评价方式, 更适应航拍图像后续处理工作。     

基于深度卷积神经网络的PolSAR图像变化检测方法

针对极化合成孔径雷达(polarimetric synthetic aperture radar,PolSAR)图像变化检测问题,提出了结合区域信息和深度卷积神经网络(deep convolutional neural network,DCNN)的PolSAR图像变化检测算法。在本方法中,用超像素分割算法与超像素合并算法提取图像场景的区域信息,利用区域信息和Wishart似然比得到差异图像;再运用预分类算法以得到训练DCNN的伪训练样本和待分类样本;接着用伪训练样本训练DCNN;最后用训练好的DCNN对待分类样本进行分类得到最终结果。实验结果表明,与多种PolSAR变化检测算法相比,所提算法能够获得更好的结果。     

基于衰减因子的双通道神经网络图像分类算法

为解决深度卷积神经网络(convolutional neural networks, CNN)难以训练的问题,提出一种快速、高效的双通道神经网络(dual channel neural networks, DCNN),该神经网络由直通通道和卷积通道两种通道构成,直通通道负责保障深度网络的畅通性,卷积通道负责深度网络的学习。考虑到深层网络在训练时容易出现性能不稳定的问题,在卷积通道上引入卷积衰减因子,对其响应数据进行约束。设计一种“双池化层”对同一特征图进行降采样,不仅可以防止训练过拟合,还能保证各通道的维度一致性。在3个图像数据集CIFAR-10、CIFAR-100和MNIST上的实验结果表明,无论是神经网络的可训练深度、稳定性和分类精度,DCNN都明显优于现有的深度卷积神经网络。     

基于改进R-FCN的SAR图像识别

由于深度学习在目标识别方面取得了显著的成绩,为提高合成孔径雷达(synthetic aperture radar, SAR)图像目标识别的精度与速度提供了新的思路。本文将区域全卷积网络(region-based fully convolutional networks, R-FCN)结构应用于SAR图像目标识别中,取得了良好的效果。对于数据集较小和数据相似度较高的问题,提出了基于迁移学习的R-FCN模型用于SAR图像目标识别。对更快的区域卷积神经网络(faster region convolutional neural networks, Faster R-CNN)和R-FCN进行模型训练及优化,并与所提出的基于迁移学习的改进R-FCN模型实验结果进行对比。结果表明,所提方法对SAR图像具有更好的识别效果和更快的识别速度。     

一种有效的二维MUSIC超分辨SAR成像算法

多重信号分类(MUSIC)方法是一种高分辨率到达角(DOA)估计方法,将MUSIC方法应用于合成孔径雷达(SAR)可以很好地提高图像质量。提出了一种简单有效的2D MUSIC超分辨成像算法,该方法对已聚焦的SAR图像进行处理,减小了处理过程的复杂性,并结合幅度估计完成超分辨率图像重建。实验结果验证了这种超分辨率方法的有效性。     

基于稀疏表示和多成分字典学习的超分辨率重建

针对目前基于稀疏表示模型的图像超分辨率重建方法对于边缘、纹理等细节信息保持能力有限、易产生视觉伪影的问题,提出了基于稀疏表示和多成分字典学习的超分辨率重建算法。在字典训练阶段,所提算法在利用图像形态分量分析方法构造纹理和结构字典的基础上,为了有效地提取低分辨率图像特征细节信息,对图像结构分量采用一阶二阶导数进行特征提取,对纹理分量采用Gabor变换进行特征提取,并使用L_1/2范数构造训练字典模型;而在重建阶段,为了消除重建图像块效应及模糊伪影,进一步提高重建图像的质量,采用全局约束和非局部相似性约束相结合的方法对重建高分辨率图像进行优化。实验结果表明,该算法在重建图像主观和客观评价指标方面均有较好的表现。     

图像超分辨BP神经网络的改进

为了进一步提高超分辨图像重建效果,针对前期研究的超分辨误差反向传播神经网络（back propagation neural network, BPNN）重建结果中存在的块痕迹问题加以改进和优化。对影响BPNN超分辨效果的两个关键问题进行改进：(1) 网络训练样本问题,将8×8→16×16的映射方式改进为2×2→4×4的映射方式,同时,采用相邻仅间隔一个像素的方式优化构造训练样本;(2) 加速网络训练收敛问题,将网络训练规则由BP算法改进为改进的比例〖JP2〗共轭梯度算法。网络训练实验和泛化实验表明,改进方法增加了网络训练样本数量,改善了超分辨BPNN的输出图像质量,有效解决了超分辨结果中的块痕迹问题,使超分辨结果图像的峰值信噪比提高约8 dB。     

基于联合聚焦/超分辨贝叶斯模型的雷达目标超分辨重建

针对合成孔径雷达(synthetic aperture radar, SAR)、逆合成孔径雷达(inverse SAR, ISAR)等雷达目标图像,提出了一种基于联合聚焦/超分辨贝叶斯模型的超分辨重建方法。该方法基于联合聚焦/超分辨和点扩散函数参数模型,采用Metropolis-Hastings迭代更新算法,产生一系列描述目标散射截面和散焦参数概率分布特征的样本,从而估计出最佳目标散射截面元和散焦参数,实现低分辨率图像的超分辨重建。以合成与实测图像数据为例,对该超分辨方法进行了演示并给出了重建结果。实验表明,本文提出的方法对雷达目标图像重建效果良好,可用于SAR、ISAR及实波束成像等雷达图像目标信息的开发。     

基于深度残差神经网络的电阻层析成像及流型辨识方法

针对电阻层析成像(electrical resistance tomography, ERT)反问题成像精度和流型识别准确率偏低的问题,提出一种基于深度残差神经网络的两相流电阻层析成像及流型识别方法。利用有限元法对ERT正问题建模,构造多种气液两相流分布状态的“边界电压–电导率分布–流型类别”数据集。搭建用于气液两相流ERT图像重建和流型辨识的残差神经网络模型并进行网络训练,将残差神经网络的两个输出分别进行数据处理,得到重建的电导率分布图像和流型辨识结果。仿真与静态实验结果表明：该方法能够同时实现成像及流型辨识的需求,具有重建图像精度高、泛化性和抗噪性强、流型辨识准确度高的特点。     

Super-resolution image reconstruction based on three-step-training neural networks

A new method of super-resolution image reconstruction is proposed, which uses a three-step-training error backpropagation neural network (BPNN) to realize the super-resolution reconstruction (SRR) of satellite image. The method is based on BPNN. First, three groups learning samples with different resolutions are obtained according to image observation model, and then vector mappings are respectively used to those three group learning samples to speed up the convergence of BPNN, at last, three times consecutive training are carried on the BPNN. Training samples used in each step are of higher resolution than those used in the previous steps, so the increasing weights store a great amount of information for SRR, and network performance and generalization ability are improved greatly. Simulation and generalization tests are carried on the well-trained three-step-training NN respectively, and the reconstruction results with higher resolution images verify the effectiveness and validity of this method.     

双参数Beta过程联合字典遥感图像超分辨

为了改善遥感图像超分辨重建(super-resolution reconstruction,SRR)效果,针对以往仅适用于单特征空间的稀疏字典超分辨算法,提出同时适用于两个特征空间的双参数Beta过程联合字典(Beta process joint dictionary,BPJD)遥感图像SRR方法。首先,根据遥感图像退化模型生成训练样本图像,并分别对高、低分辨率图像进行分块和Gibbs采样,生成字典训练样本。然后,依据BPJD,建立连接高、低分辨率遥感图像空间的双参数联合稀疏字典,将字典稀疏系数分解为系数权值和字典原子的乘积,依据字典原子指标训练和更新字典,得到高低分辨率联合字典映射矩阵。最后,进行遥感图像超分辨稀疏重构。实验结果表明:所提方法可自适应地缩小字典尺寸,能以更小尺寸的稀疏字典重建更高质量的超分辨遥感图像,重建结果图像的纹理细节信息更丰富,峰值信噪比和结构相似性度均有提高。     

超完备稀疏表示的图像超分辨率重构方法

为改善单帧退化图像的分辨率,提出一种基于超完备字典稀疏表示的图像超分辨率重构方法。该方法的核心是构建信号自适应的超完备字典对及计算图像关于对应字典的稀疏表示。为降低在训练过程中构建超完备字典对的复杂性,采用学习低分辨率字典而数值计算高分辨率字典的方法,待超分辨图像应用正则正交匹配追踪的稀疏表示算法求解关于字典的稀疏表示,并联合高分辨率字典实现超分辨率重构。实验表明,该方法与其他类似算法相比,字典训练和超分辨测试的速度都有显著提高,实验图像的峰值信噪比改善3.3 dB,框架相似性提高0.09。本方法可应用于单帧模糊图像的高倍率的超分辨率重构,有效地提高了图像的分辨率水平。     

基于多重稀疏表示的声纳图像超分辨率重建方法

提出一种基于多重稀疏表示的声纳图像超分辨率重建方法。该方法针对声纳图像的光滑、边缘和纹理3种结构形态,分别利用离散平稳小波变换、contourlet小波变换和Gabor小波变换建立过完备字典,并对多重稀疏表示的声纳图像进行超分辨率重建。实验结果表明,该方法得到的超分辨率图像能够有效保持原始高分辨率图像的几何特征和纹理特征,可以得到更高的峰值信噪比,并且对噪声具有鲁棒性。     

基于分数阶微积分的图像超分辨率重建

为了解决模糊图像超分辨率重建的问题,将分数阶微积分和凸集投影相结合,实现图像的超分辨率重建。利用分数阶微分卷积获取原始参考帧,通过尺度不变特征变换(scale invariant feature transform,SIFT)配准,采用基于分数阶积分的点扩散函数,运用凸集投影,有效解决超分辨率算法对于模糊图像效果不好的问题,实现了对模糊图像的重建。实验表明,与常见的算法相比,基于分数阶微积分的凸集投影超分辨率重建算法在图像视觉效果和客观指标上均有较好的结果。特别是在图像模糊的情况下,基于稀疏表示的或轮廓模板的算法会增加图像的模糊程度,而所提算法在主观清晰度方面有明显的提高。     

基于并行映射卷积网络的超分辨率重建算法

针对基于卷积网络的超分辨率重建算法对不同场景下的图像存在复原质量不佳、细节信息丢失的问题,对卷积网络结构详细分析,结合重建模块和损失函数约束条件存在的问题,提出了基于并行映射卷积网络的超分辨率重建模型。该模型基于端到端的思想,构建并行映射网络及正则化约束条件,能对图像特征进行层次化自主提取,在高分辨率图像重建时极大地丰富图像特征的维数;并且将全变分正则化引入到重建模块,有效地克服了超分辨率的病态问题,从而获得鲁棒、丰富的图像信息,提升了重建图像的质量。实验结果表明,所提出的网络模型具有更优异的性能,其超分辨率算法在视觉评价和量化指标上取得了更好的重建效果。     

6通道MSVD构造及其在多聚焦图像融合中的应用

针对经典的奇异值分解(singular value decomposition, SVD)在图像处理中的不足,提出了一种6通道多尺度奇异值分解(multi-scale SVD, MSVD)的构造方法,并将其应用于多聚焦图像融合中。首先,在经典SVD的基础上,利用矩阵分块的方法,给出了一种6通道MSVD的构造方法。其次,对参加融合的多聚焦图像进行6通道MSVD分解,得到高层低频和各层5个方向的高频,对分解的低频子图像采用取平均、高频子图像采用区域能量取大的融合规则进行融合,并进行MSVD逆变换得到融合结果图像。最后,对融合结果图像进行主观分析和客观评价。实验结果表明该方法有好的视觉效果,融合结果图像有较高的清晰度和较丰富的边缘细节信息,且没有方块效应。从客观指标看,该方法有较高的清晰度和空间频率,其清晰度和空间频率比基于离散小波变换、基于提升小波变换、基于曲波变换和基于轮廓波变换的融合方法都高。     

基于超分辨极化SAR图像的舰船检测算法

极化合成孔径雷达(synthetic aperture radar, SAR)图像超分辨处理具有聚集目标能量,提高图像分辨率,抑制相干斑噪声的能力。扩展了多通道幅度和相位估计(amplitude and phase estimation, APES)谱估计算法,并以此实现了极化SAR图像的超分辨处理。运用基于K分布的单极化检测器和基于SPAN、PWF的全极化检测器对实测SAR图像进行了舰船检测。通过分析超分辨极化SAR图像杂波统计分布、弱小目标检测性能、目标区域区分精度、目标轮廓及拓扑结构提取效果等,验证了基于多通道APES谱估计的超分辨极化SAR图像的舰船检测性能。     

Super-resolution processing of passive millimeter-wave images based on adaptive projected Landweber algorithm

Passive millimeter wave(PMMW)images inherently have the problem of poor resolution owing to limited aperture dimension.Thus,efficient post-processing is necessary to achieve resolution improvement.An adaptive projected Laadweber(APL)super-resolution algorithm using a spectral correction procedure,which attempts to combine the strong points of all of the projected Landweber(PL)iteration and the adaptive relaxation parameter adjustment and the spectral correction method,is proposed.In the algorithm,the PL iterations are implemented as the main image restoration scheme and a spectral correction method is included in which the calculated spectrum within the passband is replaced by the known low frequency component.Then,the algorithm updates the relaxation parameter adaptively at each iteration.A qualitative evaluation of this algorithm is performed with simulated data as well as actual radiometer image captured by 91.5 GHz mechanically scanned radiometer.From experiments,it is found that the super-resolution algorithm obtains better results and enhances the resolution and has lower mean square error(MSE).These constraints and adaptive character and spectral correction procedures speed up the convergence of the Landweber algorithm and reduce the ringing effects that are caused by regularizing the image restoration problem.