基于像素流的视频彩色化

针对利用传统光流传递关键帧颜色信息的视频彩色化方法计算耗时问题,以及全局传递颜色的视频彩色化方法导致欠饱和度问题,提出基于像素流的视频彩色化方法.首先,将参考帧与目标帧转换到Lab颜色空间中,利用其亮度通道通过一个深度学习网络得到像素流,该像素流中的数值指示了目标帧的颜色在参考帧中的位置;然后,利用该像素流对参考帧颜色...     

基于场景的视频摘要生成方法

针对如何在语义层次上形成视频摘要问题,提出了一种基于场景的视频摘要生成算法.首先利用类内和类间损失对场景进行分类,然后根据语义概念"重要度"从镜头类和场景提取视频摘要的构成帧,最后将选取的关键帧根据时间顺序排序,构成静态浏览型的视频摘要.实验证明该方法可以用少量的视频帧有效地表示视频的主要内容,并能有效地保持视频内容的连续性.     

基于特征的航空视频序列拼接方法

针对航空侦察视频序列,提出了一种基于特征点的视频序列拼接方法,论述了该方法的流程和模块。该方法矫正了航空视频序列中普遍存在的径向扭曲;改进了SIFT特征提取和匹配策略,缩短了算法的时间;提出了改进的RANSAC算法用于剔除匹配外点,提高了视频帧图像之间的变换精度;提出双频带融合技术消除边缘跳变和模糊叠影现象,改善了视频帧融合的视觉效果。实验结果表明,该方法能够有效地实现航空视频序列的近实时拼接,同时保持对噪声、光照和目标运动鲁棒。     

自适应CCV及等价关系聚类的视频摘要的生成

在静态视频摘要生成过程中,提取代表帧是关键。通过分析视频帧底层的颜色特征,根据其内容自动设置连通阈值,提取颜色聚合向量,并以此进行基于等价关系的自适应聚类。在确定整体划分后,根据时序特征进行局部修正。整个过程无需设定任何阈值和人为干预,对变化程度不同的各种视频进行实验,结果比较满意。     

超像素梯度流与元胞机融合的视频显著图检测

使用静态空间特征通常无法得到准确的视频显著性目标对象,提出了超像素梯度流场与元胞自动机融合的视频图像显著性检测方法.首先,使用SLIC方法将视频帧分割成超像素,在超像素级上运用光流梯度和颜色梯度生成一个时空梯度函数,由时空梯度得到新的梯度流场值,将视频中运动信息充分利用起来;其次,在视频帧超像素图像上使用卷积神经网络得...     

应用残差生成对抗网络的路况视频帧预测模型

在路况视频帧的预测领域中,针对当前大部分模型所存在的预测图像分辨率低、图像模糊和局部细节缺失等问题,提出了一种应用残差生成对抗网络的路况视频帧预测模型(RB-GAN)。该模型用于在给定一段路况视频流的情况下更好地预测未来的一帧路况图像,应用多个级联的残差模块初步提取输入视频流的图像特征;利用感知网络强化对视频流中物体运动特征的提取;通过使用双重判别器提高生成对抗网络生成的图像的质量;用Adam方法来优化网络权值的深度学习过程。基于生成对抗网络这种半监督的学习框架,训练后的模型可以预测出一段路况视频流下一时刻的同输入视频流具有时空一致性的帧图像。应用车辆检测领域常用的KITTI数据集对生成对抗网络模型进行训练和测试,实验结果表明:与主要依赖于像素均值的方法相比,RB-GAN模型预测图像的分辨率提高了2～4倍,达到256像素×512像素,在图像锐度标准上提高了1～2个数量级,同时图像也更加符合人眼视觉的主观感受,所预测得到的路况视频帧图像质量更高,更具有实用性价值,可以更好地为诸如检测算法等其他下游算法提供有效的特征信息。     

融合时空切片和双注意力机制的视频摘要方法

为解决现有视频摘要方法的视频帧特征信息提取不充分、摘要结果过分依赖单一特征的问题,提出了一种融合时空切片和双注意力机制的视频摘要方法。在原视频的精准分段阶段,提出了基于时空切片的核时序分割算法(STS-KTS),将视频场景信息反映为时空切片纹理信息,采用水平映射法将预处理后的时空切片投影为一维数组,作为KTS的输入特征;以双注意力机制和分组卷积为基本组件,结合BiLSTM构建时空特征提取网络,以快速提取丰富的时空特征信息,从而配合纹理特征信息消除现有摘要模型对单一特征的过分依赖;采用帧参数预测模块获取最佳的视频帧贡献度分数、中心度分数以及帧序列位置;将帧分数转化为镜头分数,以选取内容丰富的片段,进而生成动态视频摘要。在SumMe和TVSum数据集上的实验表明：所提方法能提高生成摘要的准确性,比现有方法性能更高,尤其在SumMe数据集上的生成摘要准确性相比于现有方法提升了0.58%。     

基于生成对抗网络的多目标行人跟踪算法

多目标跟踪领域中,在背景复杂、目标遮挡、目标尺度和姿态变换等情况下,容易出现目标丢失、身份交换和跳变等问题.针对这些问题,提出了一种基于检测的多目标跟踪算法,使用改进的YOLO人体人脸关联算法,对当前帧待检目标进行分类和位置检测,使用生成对抗网络构建特征提取模型,学习目标的主要特征以及细微特征,再运用生成对抗网络生成多目标的运动轨迹,最终融和目标的运动信息和外观信息,得到跟踪目标的最优匹配.在MOT16数据集下的实验结果表明,提出的多目标跟踪算法具有较高的精确度和鲁棒性,对比目前身份交换和跳变最少的算法,跳变的次数少了65%,准确度提高了0.25%.     

采用Transformer架构的长跨度视频压缩感知重构方法

深度学习的快速发展给视频压缩感知重构提供了新思路。受网络模型限制,现有的基于深度学习的压缩感知重构方法不能充分利用视频的空时特征,且对于超过16帧的视频段重构效果不够理想。采用Transformer网络构建压缩感知重构网络,利用Transformer网络在序列信号处理方面的优势构建空时注意力提取模块,学习视频帧间的空时注意力特征,更好地实现对视频连续帧的建模,从而解决长跨度视频段压缩感知重构问题。实验结果表明：所提方法在处理32张视频帧的视频分段时,能达到30 dB以上的重构精度,在处理96张视频帧的视频分段时,仍能达到27 dB以上的良好性能。     

网络视频质量包层评估模型研究

为了实现对网络视频质量的实时监测,提出一种包层视频质量评估模型.该模型无需对视频载荷信息进行解码,只通过分析视频包头信息评估网络视频的质量.首先,分析包头信息获取压缩码率、帧率、每帧编码比特数、丢包数目和丢包位置等信息,利用压缩码率和Ⅰ帧的平均编码比特数预测视频内容的运动特性,在此基础上结合视频帧编码类型及视频内容运动特性预测视频流的编码失真和丢包失真并最终建立包层质量评估模型.实验结果表明,相比国际标准G.1070模型和G.1070增强模型中的视频质量评价方法,通过该模型得到的视频质量与视频主观质量的皮尔森相关系数分别平均提高了0.087和0.065,同时均方根误差降低了0.219和0.164.该模型具有良好的性能,可以准确地评价网络视频质量.     

基于动态规划的视频自动裁剪

传统视频裁剪方法大多只考虑内容保持,而忽略了由裁剪窗口频繁移动造成的时间不连续问题.为此,提出了一种基于动态规划的视频自动裁剪算法,并通过平滑因子和面积约束将视差控制在舒适区间.算法主要分为目标检测、轨迹定义、轨迹找寻三个阶段.首先将输入的视频序列进行语义处理并输出,运用YOLOX模型检测输出视频中的重要内容;然后定义一个对数线性模型融合每帧图像的特征、颜色直方图和灰度图,以得到一组帧系数,并对裁剪窗口进行面积和距离上的约束;最后运用动态规划中最短关键路径方法为视频帧找到一系列裁剪窗口,在相邻帧之间设置过渡因子来保证裁剪轨迹的平滑,同时定义了一个视觉惩罚函数平衡内容丢失与裁剪窗口偏移的问题.实验结果表明：所提出的算法在裁剪率、扭曲度和稳定性方面都优于以往的方法.     

高速无线个域网多视频流信道时间分配算法

研究了视频传送时的信道时间分配问题.根据视频帧的不同重要性和长度等,预留不同带宽,从而加强公平性.同时利用不同方法对不同重要程度的视频帧进行差错保护,从而提高实时视频业务的性能.在此基础上,提出了一种保证服务帧率公平的高优先级帧最小瞬时权重优先的信道时间分配算法.仿真表明:所提算法较已有算法在同等公平性下可解帧率平均提高5 %,在网络负载严重的情况下能提高11 %.     

长短时记忆网络的自由体操视频自动描述方法

提出一种长短时记忆网络的自由体操视频自动描述方法.在视频描述模型S2VT中,通过长短时记忆网络学习单词序列和视频帧序列之间的映射关系.引入注意力机制对S2VT模型进行改进,增大含有翻转方向、旋转度数、身体姿态等关键帧的权重,提高自由体操视频自动描述的准确性.建立自由体操分解动作数据集,在数据集MSVD及自建数据集上进行3种模型的对比实验,并通过计划采样方法消除训练解码器与预测解码器之间的差异.实验结果表明:文中方法可提高自由体操视频自动描述的精度.     

基于人工免疫有序聚类的视频关键帧提取方法

针对现有的基于无监督聚类的视频关键帧提取方法没有考虑镜头内容的时序性、对初始类的划分较敏感、易陷入局部最优等问题,提出了一种新的基于人工免疫的有序样本聚类算法.在传统人工免疫聚类算法的基础上引入了抗原记忆识别机制及改进了抗体的克隆与超变异机制,并在此基础上给出了基于人工免疫有序聚类的视频关键帧提取方法.该方法将镜头帧序列看成一个入侵机体的抗原序列,然后基于首次应答与再次应答机制依次为每个抗原产生记忆细胞池,最终每个记忆细胞池能识别的邻近抗原对应一个类别并选取距其类中心最近的帧为关键帧.对大量不同类型的视频进行了试验.结果表明,该方法能得到较高的保真度和压缩率,能够十分有效地提取出反映镜头内容变化的关键帧.     

自然图像上色研究综述

图像上色是指从灰度图像中恢复图像的色彩信息,一张灰度图像可以有多个合理的上色结果,具有多模态的不确定性.另外,在上色过程中经常会出现颜色溢出、颜色暗淡等问题.传统的上色方法耗时长且效果不佳.最近,深度学习技术的应用使图像上色取得了显著的进展.文章将自然灰度图像上色分为4类：基于涂鸦的图像上色、基于参考图像的图像上色、全自动图像上色和基于文本的图像上色,并对这4类自然图像上色的技术方法进行回顾与总结;然后,讨论分析了深度学习给上色带来的影响、目前使用的损失函数以及评价指标;最后,总结了图像上色中存在的问题和未来的研究发向,为后续图像上色的研究提供参考.     

基于时空感知级联神经网络的视频前背景分离

针对在复杂情景下视频前背景分离技术中存在的前景泄露问题,设计开发了一个端对端的二级级联深度卷积神经网络,实现了对输入视频序列进行精确的前景和背景分离.所提网络由一级前景检测子网络和二级背景重建子网络串联而成.一级网络融合时间和空间信息,其输入包含2个部分:第1个部分是3张连续的彩色RGB视频帧,分别为上一帧、当前帧和下一帧;第2个部分是3张与彩色视频帧相对应的光流图.一级前景检测子网络通过结合2部分输入对视频序列中运动的前景进行精确检测,生成二值化的前景掩膜.该部分网络是一个编码器-解码器网络:编码器采用VGG16的前5个卷积块,用来提取两部分输入的特征图,并在经过每一个卷积层后对两类特征图进行特征融合;解码器由5个反卷积模块构成,通过学习特征空间到图像空间的映射,从而生成当前帧的二值化的前景掩膜.二级网络包含3个部分:编码器、传输层和解码器.二级网络能够利用当前帧和生成的前景掩膜对缺失的背景图像进行高质量的修复重建.实验结果表明,本文所提时空感知级联卷积神经网络在公共数据集上取得了较其他方法更好的结果,能够应对各种复杂场景,具有较强的通用性和泛化能力,且前景检测和背景重建结果显著超越多种现有方法.     

基于递归长短期记忆网络和镜头序列注意网络的视频摘要生成

为解决基于长短期记忆网络LSTM的视频摘要生成方法当输入序列过长时LSTM网络中的记忆单元不能集中在长时间序列的跨度上。通过深度学习的方法研究了一种基于递归长短期记忆网络(ReLSTM)和序列注意(SSA)的视频摘要生成模型用以提高深度学习网络学习时序特征的能力。该模型使用ReLSTM网络提取时间特征。同时,利用SSA动态调整每个视频序列输入到ReLSTM网络中的特征权重。结果表明：在数据集TVSum上F1-score平均提高2.5%,最高提高0.2%。在数据集SumMe上F1-score平均提高7.8%,最高提高3.4%。可见该方法能有效地学习镜头之间的时序特征。     

基于自适应帧采样算法和BLSTM的视频转文字研究

针对视频转文字(video to text)存在的建模复杂和准确率低的问题,提出了基于自适应帧采样算法和双向长短时记忆模型的视频转文字方法.自适应帧采样算法能够动态地调整采样率,以提供尽量多的特征来训练模型;结合双向长短时记忆模型,能有效学习视频中前面帧和未来帧的相关信息;同时,用于训练的特征是来自深度卷积神经网络的特征,使得这种双深度的网络结构能够学习视频帧在时空上的关联表示及全局依赖信息;帧信息的融合又增加了特征的种类,从而提升了实验效果.结果显示,在M-VAD和MPIIMD两个数据集中,文中的方法在METEOR中的评分均值分别为7.8%和8.6%,相对原S2VT模型分别提高了16.4%和21.1%,也提升了视频转文字的语言效果.     

基于双帧图模型的视频物体分割

通过将空间及时序信息有效结合, 提出基于双帧图模型的单目视频物体分割算法。首先, 通过手工交互得到初始帧的分割, 并据此训练获取前景物体及背景的颜色模型。然后, 利用双帧图模型融合当前帧的颜色信息以及由颜色差得到的空间和时序约束。根据观测到的颜色差异与物体运动的线性关系, 提出运动自适应的时序约束因子, 它能够随视频中物体运动变化自适应地调节。最后, 通过二值图割法计算当前帧的分割结果并更新颜色模型。利用双帧图模型可循序地对视频中的下一帧进行分割。实验结果证实, 提出的自适应时序约束因子可以提高物体分割结果的准确性和时序一致性, 量化指标表明此算法在视频物体分割中可获得更优结果。     

基于信息融合的二维视频深度提取方法

采用多种深度线索获取二维视频深度,可以提高视频深度提取效果.针对运动线索,通过块匹配运动估计算法获得帧间深度信息;针对帧内线索,采用Laws滤波器提取深度特征,然后利用马尔可夫随机场模型训练获得帧内深度信息;在此基础上,提出了基于信息融合的二维视频深度提取方法.该方法首先通过计算背景和运动区域的信息熵,然后利用模式识别中的Neyman Pearson准则确定视频帧的运动区域.针对该区域,在帧内深度信息获取的基础上,融合帧间深度信息.实验结果和真实深度比较,证实了该方法的有效性.