多注意力结合光流的视频超分辨方法

针对现如今监控摄像、卫星遥感以及视频娱乐等领域对视频图像的清晰度要求越来越高,而目 前大部分视频超分辨方法存在参数量大、恢复的视频存在抖动等问题,提出了一种多注意力结合光流的视频 超分辨方法,通过引入多个注意力包括空间注意力、通道注意力以及自注意力来提升超分辨性能。 具体而 言,作为一种特征加权的增强方法,这些注意力可以捕获视频帧的时空特征并增强自适应性和通道间的依赖 性,实现全局学习的功能;同时,提出双阶段特征对齐思路,首先利用光流对视频进行估计,进行第一阶段的 特征对齐,然后引入长短是记忆网络结构增强位置和通道的特征融合,进行第二阶段的特征对齐,以防止恢 复的视频帧出现抖动。 实验结果表明:该方法在评估标准和可视化效果方面都取得了令人满意的效果。     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。     

压缩视频贝叶斯超分辨率重建

超分辨率重建技术就是由低分辨率图像序列来重建高分辨率图像.文中利用比特流中的量化步长和运动信息,建立了量化噪声和运动噪声模型,提出的新噪声模型可对不同的量化器自适应调整.以Huber-Markov随机场作为先验模型,在贝叶斯(Bayesian)框架下,用梯度下降法进行重建,并对其特性进行了分析.仿真实验表明,本文提出的算法收敛速度快,重建图像的主、客观质量较高,适合压缩视频的应用.     

一种彩色视频超分辨率重建算法

基于RGB三通道的超分辨率视频重建算法对彩色视频进行处理将导致算法的计算量过大,不利于其在彩色视频实时处理中的应用。针对这一缺点,本文基于核回归函数提出了一种高效的彩色视频超分辨率重建算法,该算法只需要对亮度分量进行超分辨率重构,在增大视频序列重构信息量的同时,大幅降低超分辨率重建算法的计算量,更适用于彩色视频的实时超分辨率重建场景中。     

基于生成对抗网络的图像超分辨率重建

借助深度学习方法,通过组合低层特征形成更加抽象的高层特征表示属性类别或特征,发现数据的分布式特征表示。采用生成对抗网络作为神经网络框架,实现了图像超分辨率的重建。     

改进生成对抗网络的图像超分辨率重建算法

超分辨率生成对抗网络(SRGAN)的高分辨率图像质量较传统方法有明显提升,然而其存在训练过程不稳定、图像浅层特征未充分使用等问题,很大程度上影响生成图像的质量.为此,提出一种特征增强改进的SRGAN模型,使用信息蒸馏块.通过对长短途特征在图像通道上的拼接增强特征纹理信息,利用压缩单元消除图像特征中的冗余信息.此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证生成对抗网络训练的稳定性.本研究基于4倍放大因子进行超分辨重建任务,并在BSD100和SET14数据集上进行实验结果的质化和量化评价.实验表明,该方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果.     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

基于视频的车辆速度估计方法

提出了一种基于视频流的车辆速度估计方法.该方法首先使用光流分析得到车辆移动特征点,进而计算车辆运动矢量.然后通过对车辆运动矢量的统计得到运动矢量直方图,运动矢量直方图即可反映车辆运动速度的大小和方向.在建立车速估计函数的基础上,给出了算法的实现过程.实验结果表明该估计算法具有稳定性,是一种车速估计的有效方法.     

基于生成对抗网络的轻量级图像盲超分辨率网络

针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络（fast and memory-efficient image super resulotion network, FMEN）进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络（fast and memory-efficient image blind super resulotion network, FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution, LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块（high frequency attention block, HFAB）结构进行改进;最后,使用生成对抗网络（generative adversarial network, GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集R...     

利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

基于生成对抗网络与噪声分布的图像超分辨率重建方法

现有的图像超分辨率重建方法都较少考虑真实低分辨率图像中包含的噪声信息,因此会影响图像的重建质量.受真实图像去噪算法的启发,本文引入一个噪声分布收集网络来收集低分辨率图像的噪声分布信息,并采用生成对抗网络的模型设计,提高含噪声图像的重建质量.噪声分布信息会分别输入到超分辨率重建网络和判别网络,在重建过程中去除噪声的同时保证有用高频信息的恢复,另外由于判别网络的能力对整个模型的性能有着重要影响,选择使用 U-Net 网络来获得更好的梯度信息反馈.与经典图像超分辨率重建算法的对比以及消融实验表明,使用噪声收集网络和 U-Net 判别网络后,本文模型在噪声低分辨率图像重建任务中获得了更好的性能.     

基于GDIM的纹理图像光流估计

针对传统的光流估计方法不适用于在环境亮度不均匀变化情况下,在无显著特征动态图像模型(GDIM)基础上,提出了一种处理不均匀亮度变化问题的光流计算方法.通过建立纹理图像滤波器对原始图像进行预处理,获得纹理图像;然后在GDIM中应用反复加权最小二乘方方法抑制不稳定的流约束获得鲁棒光流估计.对于Yosemite基准图像序列,通过使用该算法和传统算法进行实验比较,证明其具有较好的性能.     

双通道多感知卷积神经网络图像超分辨率重建

基于深度卷积神经网络的单幅图像超分辨率重建取得了显著研究成果.但随着深度卷积神经网络规模的不断扩大,如何降低网络构建难度和计算成本成为一个难点.为此,提出了一种双通道多感知卷积神经网络(DMCN)模型.该模型在两条具有不同卷积核的通道上建立了稠密连接,并构建了带有动态调节能力的层间融合结构.这种结构的设计使得小规模卷积神经网络便能获得图片特征信息的全面感知能力.实验结果表明,DMCN重建效果优于目前多数具有代表性的重建算法.     

基于多分辨率光流和多尺度角点的运动车辆跟踪

针对稀疏光流LK(Lucas-Kanade)算法不能稳定跟踪快速移动目标的局限性,提出了基于小波金字塔的多分辨率光流跟踪算法.算法基于多分辨率思想对原始稀疏光流进行了改进,从而实现了准确跟踪快速移动目标.在特征提取方面,提出了多尺度Harris角点检测方法,较好地解决了传统Harris方法的漏检和角点分布不均匀的缺陷,适合复杂交通场景中运动车辆特征提取.实验表明,当运动车辆旋转、移动以及摄像机变焦时,角点始终稳定可靠,并且跟踪算法能够快速、准确地匹配特征角点,实现了复杂交通场景下对运动车辆目标的实时稳定跟踪.     

一种改进的基于光流的鲁棒多尺度运动估计算法

基于图像的运动估计是计算机视觉在许多应用中的一项基本任务, 在这一领域的主要目标是尽可能精确地估计场景和物体的运动。针对界外值在光流估计过程中会引起不可预期的运动估计结果, 严重影响运动估计精度的问题,提出一种改进的鲁棒分层的多尺度运动估计算法。该算法利用图基的双权重函数,自动调节不同残差数据点的权重,去除残差过大的数据点,并采用多尺度金字塔由粗到精逐层迭代,精确地估计运动矢量。实验结果表明：该算法鲁棒性好,能有效地解决遮挡背景和运动不连续而引起的界外值问题,明显地提高运动估计精度。     

提高光流估计性能的渐进性高斯多维预滤波方法的研究

基于光流计算方法统一框架理论，研究了一种利用高斯多维滤波器的渐进性和时空性提高光流估计性能的有效方法。在保持现有光流计算方法的前提下，通过调节时间维和空间维的方差参数，改变时空预滤波和光滑效果，突出时间混叠和光流主信息，从而提高重构视频序列的信噪比。试验中以标准的Flower Garden和Football序列的前50帧作为参考图像序列，以LK算法为参考光流算法。结果显示，滤波窗口为5×5时的最佳时间方差参数为0.4，最佳空间方差参数为［1.6,2.0］；加入高斯多维预滤波前后利用光流场重构图像的平均峰值信噪比PSNR提高2.572dB，提高幅度为13.6%