基于通道注意力机制的视频超分辨率方法

基于视频帧间信息特征,提出了基于通道注意力机制的循环残差注意力网络,将连续的低分辨率视频帧、前一时刻输出帧和隐藏态作为输入进行特征提取,在隐藏态中引入残差连接和注意力机制,增强网络特征提取能力,经过亚像素卷积层重建出高分辨率视频帧。然后将本视频超分辨率网络模型在Vid4、UDM10、SPMCS视频数据集进行了测试。实验结果表明,与其他基于深度学习的视频超分辨率方法相比,本方法能利用帧间特征信息较好地恢复高频特征信息,恢复的视频图像PSNR和SSIM值都比其他主流方法要高,同时取得了较好的主观视觉效果。     

基于像素及梯度域双层深度卷积神经网络的页岩图像超分辨率重建

实际采集的页岩图像存在分辨率低等不足,有时难以满足实际应用的需求。针对此问题,构建了一种基于双层深度卷积神经网络的页岩图像超分辨率重建算法。算法以深度卷积神经网络为基础,引入残差训练及批规范化层来加速网络的收敛,并且在此神经网络的基础上提出图像像素域及梯度域结合的页岩图像超分辨率重建算法。算法大致过程为首先利用像素域的卷积神经网络对输入的低分辨率页岩图像进行上采样;然后对上采样图像提取梯度信息并利用梯度域的卷积神经网络对其进行转换;最后利用转换后的梯度信息作为正则项来约束高分辨率图像的重建,从而得到重建的高分辨率页岩图像。实验表明,与主流的超分辨率重建算法相比,重建得到的页岩图像具有更好的主观视觉效果与更高的客观评价参数,更利于后续的处理及分析。     

像素域分布式视频编码双向运动补偿重建算法

为提高分布式视频编码系统解码视频的主客观质量,提出了像素域双向运动补偿重建算法(BMCR).该算法充分考虑了视频中帧内和帧间的相关性,对于边信息落在译码符号对应量化区间内的像素,直接用边信息值进行重建；对于边信息落在译码符号对应量化区间外的像素,利用结合量化区间的双向运动补偿得到合理的重建值.实验结果表明,在Wyner...     

基于局部自相似性的视频图像超分辨率算法

针对视频图像的特点,提出基于局部自相似性的视频图像超分辨率算法.该算法不依赖自然图像数据库作为样本块的图像来源,而是利用局部自相似性,通过在相关坐标邻域中搜索子图像块以实现高频补偿.设计上采样和下采样滤波器,以实现对高频补偿后的图像进行滤波从而产生最终的样本块,采用逐级放大、分多步组合达到视频图像的放大,从而实现了视频图像超分辨率算法.实验结果表明,对于视频序列图像,在主观视觉效果和均方根误差(root mean square error,RMSE)、结构自相似性算子(structural similarity index measurement,SSIM)等方面,算法能显著地提高其分辨率,取得很好的效果.同时,对视频图像利用局部自相似性方法,减少了图像块的检索时间,降低了算法运算量.     

超像素梯度流与元胞机融合的视频显著图检测

使用静态空间特征通常无法得到准确的视频显著性目标对象,提出了超像素梯度流场与元胞自动机融合的视频图像显著性检测方法。首先,使用SLIC方法将视频帧分割成超像素,在超像素级上运用光流梯度和颜色梯度生成一个时空梯度函数,由时空梯度得到新的梯度流场值,将视频中运动信息充分利用起来;其次,在视频帧超像素图像上使用卷积神经网络得到其深度特征,通过元胞自动机使这些深度特征依自定义规则更新出粗略显著图,然后将梯度流场显著图与元胞自动机粗略显著图融合得到最终的显著图;最后,在ViSal数据集上、采用5种评估指标、与现有的4种方法进行对比实验,结果表明本文方法在动态视频图像显著性检测中有好的表现。     

光流估计补偿结合生成对抗网络提高视频超分辨率感知质量

视频超分辨率(VSR)的任务是利用序列视频帧具有的时间连续性和空间相似性提高视频的分辨率。主流的VSR方法利用像素损失优化网络,导致生成的超分辨率(SR)重建结果边缘模糊、细节平滑。为此,提出了一个新的引入时空特征补偿和多特征鉴别器的端到端的VSR网络框架MC-PETGAN。该框架包括光流估计补偿网络和多特征鉴别生成对抗网络。光流估计补偿网络利用相邻视频帧之间的短时连续和内容相似性特征为多特征鉴别生成对抗网络提供有效丰富的细节信息;生成器与包括像素、边缘和纹理鉴别器的多特征鉴别器的对抗训练促使SR帧与高分辨率(HR)帧的像素、边缘和纹理趋于一致。大量公共数据集和监控视频数据的实验结果表明,该文方法能够有效提高视频SR结果的像素精度,并恢复出清晰的边缘和纹理,而且视觉感受愉快,感知指标有竞争力。     

连分式插值结合卷积神经网络的超分辨率重建

基于卷积神经网络的图像超分辨率重建算法是数字图像处理领域近年来的研究热点。针对低分辨率图像在预处理时使用双三次插值导致图像丢失一些重要的高频纹理细节以及网络模型优化问题,文章提出了连分式插值结合卷积神经网络的超分辨率重建方法。在原有的轻量级基于卷积神经网络的超分辨率重建算法(super-resolution convolutional neural net work, SRCNN)网络模型基础上,首先采用Newton-Thiele型连分式插值函数将低分辨率图像插值到目标尺寸;然后利用3个卷积层进行图像特征提取、非线性映射、重建与优化;该文在网络收敛时利用Radam优化算法自适应地调整梯度,并且采用余弦衰减法逐渐降低学习率。实验结果表明,该网络模型能够在轻量级的卷积神经网络下获得更丰富的纹理细节和更清晰的图像边缘。     

基于二分K均值聚类和最近特征线的视频超分辨率重建方法

提出一种基于二分K均值聚类和最近特征线的视频超分辨率重建方法.该方法在生成图像块训练样本库阶段,为了解决传统K均值算法对图像块聚类时间复杂度较大的问题,设计一种基于二分K均值图像块聚类算法,用以实现快速构建初始训练样本库;在视频帧超分重建阶段,通过改进的最近特征线方法扩充样本库,并舍弃其中的不合适样本,提升样本库的表达能力.该视频超分辨率重建方法应用于基于关键帧的视频超分辨率重建,首先对时序上近邻的两个关键帧下采样并分块,然后使用图像块聚类算法构建初始训练样本库;对于这两个关键帧之间的低分辨率帧,使用改进的最近特征线方法扩充的训练样本库重建出对应的高分辨率帧.实验结果表明,提高了视频超分辨率重建的时间效率,同时也提升了每一帧重建图像的主客观质量,证明了算法的有效性.     

基于特征补偿的深度神经网络重建超分辨率图像

为有效恢复图像的高频信息,本文提出一种基于特征补偿的深度神经网络重建超分辨率图像方法.该方法结合密集型深度卷积神经网络和残差网络,并将原图像的高频信息单独提取上采样后与重建后的超分辨率图像融合形成高频特征补偿,使得图像质量提升.通过实验对比,本文算法相比于SRCNN算法重建出的超分辨率图像效果提升约1 db.     

全局重建和位置块残差补偿的人脸图像超分辨率算法

针对传统基于学习的人脸图像超分辨率算法存在高频细节信息损失过多问题,提出一种全局重建和位置块残差补偿相结合的人脸图像超分辨率新算法.首先利用高、低分辨率训练集所有样本,使用基于权值学习的全局重建算法得到初步的人脸图像,再结合图像模糊和下采样过程,产生高、低分辨率残差图像训练集,最后使用基于位置块的残差补偿算法,对初步的人脸图像进行高频细节补偿得到最终结果.对比实验结果表明,相比同类基于学习的人脸图像超分辨率算法,在将人脸图像分辨率提高4×4倍的情况下,新算法的平均峰值信噪比可提高0.65～3.55dB,可以更好地重建出局部高频细节信息.     

多尺度卷积神经网络的图像超分辨率重建算法

为利用多尺度信息重建超分辨率图像,提出多尺度卷积神经网络的图像超分辨率重建算法。算法利用不同尺度的卷积核提取图像特征,为图像重建提供不同大小的邻域信息;用瓶颈层融合多尺度特征图,增强网络非线性表示能力,降低中间层输出的维数,提高图像的超分辨率重建性能。多个测试集上的实验结果表明,多尺度卷积神经网络算法优于现有的单幅图像超分辨率方法。     

基于Keren配准和插值的快速超分辨率图像重建

为提高图像超分辨率重建技术实时应用的可能性,增强其对配准误差的容忍度,提出了一种基于Keren配准和插值的快速鲁棒超分辨率图像重建算法.该算法将配准后的低分辨率图像根据变换参数映射到高分辨率网格上,再利用模板卷积迭代地填充缺失像素值,从而重建一幅高分辨率图像.将文中算法与非均匀插值法、凸集映射法、鲁棒的迭代后向映射法和...     

用于CMOS图像器件的超分辨率算法研究

提出一种基于CMOS图像器件的超分辨率图像合成算法,该方法将4幅沿水平、垂直及对角线方向错位获取的CMOS图像重新组合,得到一幅重建的新图像.对重建图像的像素灰度进行了理论分析和计算,求出了重建超分辨率图像的算法.结果表明,在不提高CMOS工艺水平的条件下,该算法能将重建的CMOS图像的分辨率提高到原图像的2×2倍.实现了CMOS图像器件的超分辨率图像合成算法.对该算法进行了计算机仿真,结果同理论分析计算的结果完全一致,证明了所提出的CMOS图像器件超分辨率算法是正确的.     

基于可变尺寸块分割的立体视频帖估计和内插算法

在立体视频序列编码中,在图像流按MPEG－I／II的视频编码标准进行编码,而对右图像流只有参考帧（I及P帧）进行编码,右图像流的B帧不编码及传送,依靠在解码端从各个参考帧中进行帧重建及内插获得,该文中的可变尺寸块分割方法采用基于分辨率四叉树分解的运动分割,对右B帧的重建提出了按照匹配和失配块分别处理的方法,并根据右B帧中的块与右I,P帧之间或与左B帧之间相关性大小来确定各个块的位置和内容,该文还提出了一种可避免误匹配和对显露区进行正确填充的针对交叠块的帧估和内插方法,仿真实验表明,作者提出的图像重重建方法与MonsonH.Hayes所提出的基于固定块的方法相比,能够使得重建图像的PSNR增加约1．25dB,并且图像的主观视觉质量也明显要好。     

深度学习下的高效单幅图像超分辨率重建方法

提出一种基于深度学习的高效单幅图像超分辨率重建方法,增加一个亚像素卷积层和一个替换的级联卷积,即设计一个具有合适深度的卷积神经网络,以保证图像的重建质量,并采用级联小卷积核提高运行速度.在标准的公共数据集上进行实验测试,结果表明:与亚像素卷积神经网络(ESPCN)算法相比,所提算法重建的高分辨率图像的质量和速度皆显著提高;将其应用于实际项目中,可端到端地重建低分辨率服装风格图像,获得高分辨率图像.     

一种基于三维小波变换的视频图像消噪新方法

根据视频图像帧与帧之间在多数情况下存在较强相关性的特点，提出了一种基于三维小波变换的视频图像消噪方法。将被加性平稳高斯噪声污染的连续几帧视频图像进行帧间一维小波变换，根据变换后各帧的特点．采用不同的方法分别进行消噪；对变换后的低频帧进行帧内二维小波变换，在小波域中采用自适应阈值进行消噪；对变换后的其余各高频帧直接采用固定阈值进行消噪。实验结果表明该方法消噪效果较好。     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

一种改进的多帧图像超分辨率重建算法

文中构建了超分辨率重建图像的一般框架.在对图像模糊的不确定性和复杂性作一定限制条件下,讨论采用最小二乘方规整化方法重建除运动外其它因素引起降质的低分辨率图像;并进一步提出了采用改进的递归最速下降迭代算法实现多帧图像的超分辨率重建.计算机模拟结果表明,该方法具有较好的重建图像质量.     

利用位置字典对的人脸图像超分辨率方法

针对基于稀疏表示的人脸超分辨率算法存在的字典尺寸大、训练时间长等问题,提出一种基于位置字典对的超分辨率重建方法.由于同一位置的人脸图像块具有相似的结构和内容,更有可能用相同的字典原子进行线性组合表示,因此把训练人脸图像按位置分块,首先为每个位置训练一个位置字典对,利用获得的多个位置字典对,对低分辨率测试人脸图像进行基本重建,然后应用残差补偿方法对位置块进行补偿.实验结果表明,由所提方法重建的人脸图像具有更好的视觉效果,与应用原始图像块进行稀疏表示的图像超分辨率算法相比,平均图像结构相似度指标值提高了0.082,同时字典训练时间缩短了约5倍.     

一种改进的单帧图像超分辨率重建的高效算法

根据图像的降质模型,基于凸集投影(POCS)原理,结合降质图像模型,提出一种使用中值滤波初值处理的高效POCS单帧图像的超分辨率重建方法.计算机仿真结果表明,和双线性内插、经典POCS方法比较,改进后的该方法重建图像信噪比平均提高2.1 dB和1.1 dB.