结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

结合语义分割图的注意力机制文本生成图像

针对生成对抗网络生成图像存在结构不完整、内容不真实、质量差的问题,提出一种结合语义分割图的注意力机制文本到图像生成模型(SSA-GAN)。首先采用一种简单有效的深度融合模块,以全局句子向量作为输入条件,在生成图像的同时,充分融合文本信息。其次结合语义分割图像,提取其边缘轮廓特征,为模型提供额外的生成和约束条件。然后采用注意力机制为模型提供细粒度词级信息,丰富所生成图像的细节。最后使用多模态相似度计算模型计算细粒度的图像-文本匹配损失,更好地训练生成器。通过CUB-200和Oxford-102 Flowers数据集测试并验证模型,结果表明：所提模型(SSA-GAN)与StackGAN、AttnGAN、DF-GAN以及RAT-GAN等模型最终生成的图像质量相比,IS指标值最高分别提升了13.7%和43.2%,FID指标值最高分别降低了34.7%和74.9%,且具有更好的可视化效果,证明了所提方法的有效性。     

任意方向自然场景文本识别

自然场景文本识别是计算机视觉领域一项极具挑战性的任务,为此提出一种适用于任意方向的自然场景文本识别算法.使用高分辨分割网络作为基础框架提取文本的空间信息,利用卷积长短时记忆网络提取文本的时空序列信息,同时通过设计字符注意机制使模型专注于字符上,并采用可微分二值化函数进一步加大网络对前景的注意力,削弱对背景区域的关注,网...     

图像超分辨重建技术研究现状

本文详细论述了图像超分辨重建技术国内外研究现状,包括基于重建的超分辨技术和基于学习的超分辨重建技术,最后总结了超分辨技术的发展方向。     

基于线过程的POCS超分辨图像重构算法

传统的凸集投影（POCS）超分辨重构算法易使图像产生边缘振荡效应问题,在研究了边缘振荡效应的成因后,提出一种基于线过程模型的POCS算法来对低分辨图像序列进行超分辨图像重构．该算法采用线过程模型检测出超分辨初始估计图像的4个方向的边缘,在传统POCS的投影过程中增加了对图像的平滑处理,实现了低分辨图像序列超分辨重建的对比实验,实验结果表明图像边缘振荡效应能得到明显改善．     

基于稀疏邻域嵌入法的图像超分辨技术研究

到现在为止,基于邻域嵌入法(NE)的图像超分辨(SR)技术都采用两个独立的步骤合成高分辨的图像。首先以Eu-clidean距离作为标准进行邻域搜索,然后通过求解一个约束最小均方问题得到最优的加权值。然而,采用两个独立的过程并不是最优的。提出一种基于稀疏邻域选择的图像超分辨算法。首先确定可能的邻域范围,然后采用稳健SL0算法同时找出邻域和加权值。由于采用聚类方法,用于重建的k个最近邻域(k-NN)具有相似的局部几何结构,可以采用一种叫做方向梯度直方图(HoG)的统计方法对低分辨图像块进行聚类。通过在合成过程中利用HoG的局部结构信息,每幅低分辨图像的k-NN都能从相对应的子集中自适应的选择,从而在保证合成图像质量的前提下大大提高了合成高分辨图像的速度。仿真表明本文算法能够得到与传统方法相似的结果。     

基于深度残差卷积神经网络的高光谱图像超分辨方法

卷积神经网络由于其强大的非线性表达能力在自然图像的处理问题中已经获得了非常大的成功。传统的稀疏表示方法利用精确配准的高分辨率多光谱图像,从而限制了实际应用。针对传统方法的不足,本文提出了一种基于深度残差卷积神经网络的单高光谱图像超分辨率方法,无需对应的多光谱图像。我们构建深度残差卷积神经网络挖掘低分辨率遥感图像和高分辨率遥感图像之间的非线性关系。构建的深度学习网络串联多个残差块,并去除一些不必要的模块,如批标准化层,每个残差块只包含两个卷积层,这样在保证模型效果的同时又加快模型的效率。此外,因为遥感图像训练数据缺乏,我们充分挖掘自然图像和高光谱图像之间的相似性,利用自然图像样本训练卷积神经网络,进一步利用迁移学习将训练好的网络模型引入到高分辨率遥感图像超分辨问题上,解决了训练样本缺乏问题。最后,基于实际的遥感数据超分辨实验结果表明,本文所提出的方法具有良好的性能,能得到较好的超分辨效果。     

基于空间注意力的文本超分辨率重建算法

自然场景的文本识别在深度学习的推动下发展迅速,但是大多数文本识别算法都无法在低分辨率条件下使用,为了解决这个困境,本研究将超分辨率重建技术作为预处理手段加入到文本识别中,并提出一种针对文本识别领域的超分辨率重建网络,利用像素级注意力机制使超分辨率重建网络专注文本相关信息,同时利用文本识别网络的先验信息构建感知损失,辅助超分辨率识别网络的训练,将低分辨率图片的识别率从66.38%提升到78.99%.     

基于提升树的自然场景中文文本定位算法研究

提出了一种新的基于提升树算法的自然场景中文文本定位技术.首先利用边缘特征进行文本区域的检测,即对下采样后彩色图像首先进行边缘提取、二值化处理,然后通过形态学运算以及连通区域分析去除大量的非字符连通域,获得候选的文本区域,最后,提取候选文本区域的PHOG-Gabor特征,通过提升树算法进一步确认是否为字符连通域.通过实验验证,该算法具有很高的召回率和准确率,综合性能较高.     

基于连通域阈值的自然场景文本图像分割技术

文章探讨了三类自然场景图像的基于纹理、边缘以及连通域文本定位方法的不同特点,并选取基于阈值的连通域方法,对复杂场景中的车牌图像中的文本实现图像的分割,最后分析了此方法在自然场景文本定位方法今后的应用前景。     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

基于流形学习和梯度约束的图像超分辨率重建

将改进的基于流形学习的超分辨率重建与基于梯度约束的正则化重建结合起来,提出一种新的单帧图像超分辨率重建算法.该算法首先针对基于流形学习的超分辨率重建,提出新的特征提取方法,联合归一化亮度与平稳小波变换细节子带系数两个特征矢量,提高重建性能;然后将学习得到的高分辨率图像作为初始估计,将其梯度作为目标梯度域,进行基于梯度约束的正则化重建,得到最终的高分辨率图像.与现有的一些算法相比,文中算法无论在视觉效果还是客观评价上都具有较好的重建性能.     

输电线红外图像超分辨率复原方法

针对因相机抖动而影响输电线红外图像超分辨率复原效果的问题,提出结合SIFT(Scale Invariant Feature Transform)特征配准信息对低分辨率的输电线红外图像进行超分辨率复原.以4个相邻图像帧为例,首先选定一帧作为参考帧,将其他3帧与该帧图像进行SIFT特征配准,配准过程为特征点检测与初配准、RANSAC (Random Sample Consensus)去除误配准点和图像重采样.然后,对参考帧与图像重采样后的3帧图像进行超分辨率复原.实验结果表明,该算法与传统的超分辨率复原算法相比,重影率下降41％,具有更好的超分辨率复原效果.     

一种新的场景文本识别模型

提出了基于残差网络和注意力机制的LRAM（LSTM with ResNet and attention model）模型,在模型中引入残差模块（ResNet）,加快了网络的收敛速度,降低了网络训练难度;引入注意力机制（AM）,实现了不同序列对当前文本识别的权重分配,提高文本识别的准确率.通过在Synth90K,Street View Text和ICDAR等数据集测试结果,与已存在的模型相比,LRAM性能超过现存其他网络模型.      

面向细粒度分类的预测属性引导的注意力研究

细粒度图像分类任务比一般图像分类任务更具有挑战性,其通常需要对类间差异小、类内差异大的样本进行分类.现有细粒度分类方法主要依赖视觉特征进行分类,而人类可以根据文本描述等属性描述来辅助识别图像类别.该文提出了一种通过预测属性引导的通道注意力模块,该模块可以插入到任意的卷积神经网络中,从而让模型学习到更高级的特征表示.最后,该算法在CUB-200-2011数据集上测试,在使用Resnet-50、VGG-19、Bilinear-CNN作为主干网络训练时的精度分别达到87.1%、82.1%、85.5%,精度得到显著提升.     

基于双注意力引导特征级联的显微影像深度估计方法

深度估计在医学显微影像中具有重要应用价值,可以弥补外科医生在手术过程中由于观察目镜感官受限而难以获得精确深度信息的不足。针对手术场景动态多变、软组织和手术器械尺度微小等原因导致深度估计精度不高的问题,提出了一种改进稠密回归中跨层级特征级联的深度估计方法。通过利用多层次特征聚合模块,将编码器中的上下文信息传递到解码器中,同时基于通道选择和分支优化的双重注意力特征融合机制来优化解码的精度。为了获得密集的深度真值,提出了一种迭代式配准策略,结合自动化的机械臂扫描实现由粗到精优化多视角点云配准,并从模拟场景中重建高精度深度数据。实验结果表明,本文提出的深度估计方法实现了0.00151的均方误差值（root mean squared error, RMSE）和0.03039的尺度不变对数误差值（scale-invariant log, SILog）,超越了以往最先进的方法,并对细小手术器械的尖端产生了更精准的深度估计。     

利用位置字典对的人脸图像超分辨率方法

针对基于稀疏表示的人脸超分辨率算法存在的字典尺寸大、训练时间长等问题,提出一种基于位置字典对的超分辨率重建方法.由于同一位置的人脸图像块具有相似的结构和内容,更有可能用相同的字典原子进行线性组合表示,因此把训练人脸图像按位置分块,首先为每个位置训练一个位置字典对,利用获得的多个位置字典对,对低分辨率测试人脸图像进行基本重建,然后应用残差补偿方法对位置块进行补偿.实验结果表明,由所提方法重建的人脸图像具有更好的视觉效果,与应用原始图像块进行稀疏表示的图像超分辨率算法相比,平均图像结构相似度指标值提高了0.082,同时字典训练时间缩短了约5倍.     

全局重建和位置块残差补偿的人脸图像超分辨率算法

针对传统基于学习的人脸图像超分辨率算法存在高频细节信息损失过多问题,提出一种全局重建和位置块残差补偿相结合的人脸图像超分辨率新算法.首先利用高、低分辨率训练集所有样本,使用基于权值学习的全局重建算法得到初步的人脸图像,再结合图像模糊和下采样过程,产生高、低分辨率残差图像训练集,最后使用基于位置块的残差补偿算法,对初步的人脸图像进行高频细节补偿得到最终结果.对比实验结果表明,相比同类基于学习的人脸图像超分辨率算法,在将人脸图像分辨率提高4×4倍的情况下,新算法的平均峰值信噪比可提高0.65～3.55dB,可以更好地重建出局部高频细节信息.