基于通道注意力机制的视频超分辨率方法

基于视频帧间信息特征,提出了基于通道注意力机制的循环残差注意力网络,将连续的低分辨率视频帧、前一时刻输出帧和隐藏态作为输入进行特征提取,在隐藏态中引入残差连接和注意力机制,增强网络特征提取能力,经过亚像素卷积层重建出高分辨率视频帧。然后将本视频超分辨率网络模型在Vid4、UDM10、SPMCS视频数据集进行了测试。实验结果表明,与其他基于深度学习的视频超分辨率方法相比,本方法能利用帧间特征信息较好地恢复高频特征信息,恢复的视频图像PSNR和SSIM值都比其他主流方法要高,同时取得了较好的主观视觉效果。     

基于混合运动激励和时序增强的篮球运动员动作识别算法

为了解决在背景相似的篮球视频中提取特征级运动信息不充分和捕获长时序依赖关系困难等问题,从局部和全局的角度出发,提出一种混合运动激励和时序增强网络(mixed motion excitation and temporal enhancement network,MTE-Net),该网络由在时间建模上互补的混合运动激励(mixed motion excitation,MME)模块和时序增强(temporal enhancement,TE)模块构成。混合运动激励模块通过计算短距离视频帧之间混合的特征级差分来充分表征局部运动信息,并显性地对运动敏感通道进行激励。时序增强模块对长距离视频帧使用自注意力机制来构建时序关联函数并捕获时序之间的全局依赖关系,增强视频中的重要帧序列。在不额外引入光流和过多参数的情况下,在SpaceJam篮球动作数据集上的实验结果表明,与其他主流的动作识别算法相比,所提模型对篮球运动员动作识别的准确率更高。     

多域特征融合的换脸视频检测算法

现有基于深度学习网络的换脸视频检测算法大多存在跨库检测性能较弱和泛化性能不足的问题。文章融合空域、频域和时域的图像特征信息,提出一种基于多域特征融合的换脸视频检测算法。采用多路卷积特征提取网络分别提取空域颜色通道特征、频域离散傅里叶变换特征以及时域光流特征,并引入通道注意力机制对各支路特征进行优化和有效融合。所提算法在4个公开数据库上进行了实验,与现有同类方法相比,在保持良好库内检测性能的同时,显著提升了跨库检测性能,表现出更为稳定的泛化性能。     

基于FAST-9角点与光流法的机载视频稳像算法

针对机载视频图像受载体姿态运动及抖动而出现的不稳定现象,提出FAST-9角点与光流法结合的电子稳像算法。首先对参考帧提取FAST-9角点,利用光流法在当前帧找到匹配特征点以求取帧间运动矢量。采用卡尔曼滤波计算出补偿分量,对各帧图像进行运动补偿。经过稳像前后的视频序列帧间差值对比可知,很好地去除了视频序列的抖动。     

一种新的视频质量评价中帧对齐算法

在全参考或者部分参考的视频质量评价算法中,由于视频序列在传输过程中总会存在丢帧、跳帧、停滞等现象,因此在视频质量评价之前进行的帧对齐处理是非常重要的步骤.提出了一种新的帧对齐算法,该方法在国际电信联盟(ITU)的ITU-T J.244和J.247的基础上,对源视频和劣化视频序列进行预处理和相关特征参数的提取,并采用类似滑动窗口的原理对二者进行相似度的运算,根据运算结果可判断是否达到帧对齐.结果表明,该方法可以明显甄别出视频序列相应帧的对齐情况,算法简单、实时性较好,具有一定的实用价值.     

光流估计补偿结合生成对抗网络提高视频超分辨率感知质量

视频超分辨率(VSR)的任务是利用序列视频帧具有的时间连续性和空间相似性提高视频的分辨率。主流的VSR方法利用像素损失优化网络,导致生成的超分辨率(SR)重建结果边缘模糊、细节平滑。为此,提出了一个新的引入时空特征补偿和多特征鉴别器的端到端的VSR网络框架MC-PETGAN。该框架包括光流估计补偿网络和多特征鉴别生成对抗网络。光流估计补偿网络利用相邻视频帧之间的短时连续和内容相似性特征为多特征鉴别生成对抗网络提供有效丰富的细节信息;生成器与包括像素、边缘和纹理鉴别器的多特征鉴别器的对抗训练促使SR帧与高分辨率(HR)帧的像素、边缘和纹理趋于一致。大量公共数据集和监控视频数据的实验结果表明,该文方法能够有效提高视频SR结果的像素精度,并恢复出清晰的边缘和纹理,而且视觉感受愉快,感知指标有竞争力。     

双交叉注意力自编码器改进视频异常检测

针对视频中包含的异常事件数量稀少,信息密集的特征容易被遗漏等问题,本文提出一种双交叉注意力自编码器的视频异常事件检测方法.首先预处理视频集,提取视频帧中表观和运动特征,然后设计双交叉注意力模块融入自编码器中,使特征图在自编码器中能够更好地关联全局特征.其次将提取后的特征放入各自的自编码器中学习正常行为,使含有正常事件的视频帧能被模型重构,含有异常事件的视频帧则无法被重构.最后通过检测模型得到各个视频帧的重构误差从而进行异常事件判定.该方法可以以局部特征关联全局特征的方式有效提高视频异常事件检测的准确率,通过在多个公开数据集中进行实验验证,证明该方法优于其他同类方法.     

融合深度学习和视觉文本的视频描述方法

为解决当前视频描述任务中,生成描述视频的文本整体质量不高的问题,提出一种融合深度网络和视觉文本的视频描述模型.首先在编码阶段,将注意力机制引入3D残差模块,通过一维通道注意力与二维空间注意力增强视频特征映射,降低无关目标与噪声的影响;其次,解码阶段利用双层长短期记忆(long short-term memory,LSTM)深度网络的时序性特征,输出表述视频高层语义的文本描述;最后,为有效利用视觉文本信息丰富视频生成的语义描述,利用基于神经网络的主题模型提取出视频中的主题作为视觉文本融合进模型中.实验结果表明,本文方法在不同性能指标方面具有较好的准确性,能够更加准确地利用自然语言描述视频高层语义信息.     

基于像素流的视频彩色化

针对利用传统光流传递关键帧颜色信息的视频彩色化方法计算耗时问题,以及全局传递颜色的视频彩色化方法导致欠饱和度问题,提出基于像素流的视频彩色化方法.首先,将参考帧与目标帧转换到Lab颜色空间中,利用其亮度通道通过一个深度学习网络得到像素流,该像素流中的数值指示了目标帧的颜色在参考帧中的位置;然后,利用该像素流对参考帧颜色...     

基于记忆网络的视频着色方法

针对视频上色过程中存在的颜色跳变以及多模态问题,提出了一种基于记忆网络的视频上色方法,即在生成对抗网络的基础上引入记忆网络来保持视频帧之间的颜色一致性,统一整个视频上色的颜色传播。研究结果表明,该方法不仅可以有效缓解相邻帧的颜色跳变问题,而且可以在保持参考特征的基础上,生成稳定且真实的着色效果。     

一种融合多模态特征的视频暴力检测方法

暴力事件检测是视频内容智能分析的一个常见任务,在互联网视频内容审查、影视作品分析、安防视频监控等领域有重要应用.面向视频中暴力检测任务,提出了一个包含关系网络和注意力机制的方法来融合视频中的多模态特征,该方法首先使用深度学习提取视频中多个模态特征,如音频特征、光流特征、视频帧特征,接着组合不同的模态特征,利用关系网络来建模多模态之间的关系;然后基于深度神经网络设计了多头注意力模块,学习多个不同的注意力权重来聚焦视频的不同方面,以生成区分力强的视频特征.该方法可以融合视频中多个模态,提高了暴力检测准确率.在公开数据集上训练和验证的实验结果表明,提出的多模态特征融合方法,与仅使用单模态数据的方法和现有多模态融合的方法相比,具有明显的优势,检测准确率分别提升了4.89％和1.66％.     

基于影像定位的无人机侦察视频超分辨率重建方法

 为了改善无人机侦察视频质量,针对目前无人机摄像、照相数据特点,提出了一种基于前方交会的无人机航摄影像定位方法。首先,对所有无人机侦察视频帧和航片分别进行特征匹配,得到影像间关系;然后,提出基于前方交会与抗差估计的无人机航摄影像定位方法,来实现航摄影像的定位;最后,对侦察视频帧进行高频补偿与凸集投影迭代优化,得到重建后侦察视频。实验结果表明,基于前方交会与抗差估计的无人机航摄影像定位方法加强了无人机视频与航片的对应性,凸集投影迭代优化法增强了重建的边缘保持能力。该方法增强了重建图像的一致性与保真度,特别是对图像边缘细节部分等效果极为明显,且处理速度更快。     

基于影像定位的无人机侦察视频超分辨率重建方法

 为了改善无人机侦察视频质量，针对目前无人机摄像、照相数据特点，提出了一种基于前方交会的无人机航摄影像定位方法。首先，对所有无人机侦察视频帧和航片分别进行特征匹配，得到影像间关系；然后，提出基于前方交会与抗差估计的无人机航摄影像定位方法，来实现航摄影像的定位；最后，对侦察视频帧进行高频补偿与凸集投影迭代优化，得到重建后侦察视频。实验结果表明，基于前方交会与抗差估计的无人机航摄影像定位方法加强了无人机视频与航片的对应性，凸集投影迭代优化法增强了重建的边缘保持能力。该方法增强了重建图像的一致性与保真度，特别是对图像边缘细节部分等效果极为明显，且处理速度更快。     

基于光流法的运动目标检测与跟踪算法

选用Harris角点作为跟踪对象,将尺度空间引入角点检测,提取特征尺度上的Harris角点,并进行曲率非极大值抑制,滤除"伪角点",提高角点检测对尺度变化的抗扰能力.跟踪算法选用结合图像金字塔的光流法,迭代计算光流,并提出基于光流误差的跟踪算法,即用不同时间流的运动轨迹在同一帧图像的误差来衡量运动跟踪情况,避免跟踪点因被遮挡、消失或者纹理特征发生变化而导致跟踪失败.通过对不同视频图像进行检测的结果证明基于改进的角点提取和图像金字塔的光流法具有良好的跟踪效果,引入光流误差可以有效地滤除跟踪失败的特征点,准确估计运动目标的位置.     

基于注意力机制的多尺度仪表检测

为实现复杂场景下多尺度仪表检测,提出了一种基于注意力机制的视频多尺度仪表检测算法。首先,利用基于空间注意力机制的特征提取网络,建模特征的长距离依赖,增强特征的表达能力;其次,提出了一种自适应特征选择模块（Adaptive Feature Selection Module, AFSM）,对不同阶段的特征图进行权重调整,增强网络对多尺度目标的检测能力。在自建的仪表数据集上进行了实验。实验结果表明,相比较原来的Faster RCNN方法,所提出方法的检测精度提高了7.6%;与对比方法相比,检测精度也能达到95.4%。在对实际仪表监测视频的测试中,检测结果以及速度能够满足实际需要。所提方法通过改进特征提取网络和特征选择操作,增强了特征表达能力,有效降低了虚警,提升了网络对多尺度目标的检测性能。     

基于光流重构和深度姿态特征的行人跌倒检测方法

随着我国老龄化人群数量的增长,老年人实时行为轨迹的跟踪检测成为当前智慧社区研究的热点。本文针对现有行人跌倒检测算法在面临电动车流和行人影子的干扰而导致识别准确率不高的问题,提出了一种基于优化yolov5的路边行人跌倒检测方法。首先基于视频抽帧的方式将原始数据输入到yolov5网络进行监控行人视频数据的预处理,实现行人背景重构;然后提取光流和anchor框作为其运动特征;最后对此特征进行判定,进行信息融合的跌倒检测网络进行跌倒特征识别,并在不同帧序列和不同背景下进行对比试验。本文所提出的方法在行人跌倒数据集Multiple cameras fall和Le2i上进行了实验,结果表明本文的算法在基于电动车流和行人影子干扰场景下较传统方法在准确率和召回率上分别提升了9%和10%。     

基于单帧图像的超分辨率算法

随着稀疏编码与压缩传感理论的逐步发展,如何应用于图像的超分辨率成为研究热点之一.基于示例学习的算法,提出了一种新的超分辨率算法,其特点在于只基于低分辨率图像本身,没有额外的样本库,运用自然图像的自相似性与冗余性,学习低分辨率图像块与高分辨率图像块之间的函数关系.为了从图像中获取更加全面的信息,采用Guided滤波、一阶导数和二阶导数2种方法来提取特征.此外,提出了一种新的字典学习算法R-KSVD,并且改进了后项处理过程.实验结果显示,提出的算法具有较好的超分辨率效果和稳定性.     

基于显式运动建模的视频伪装目标检测

目前的视频伪装目标检测方法通常采用隐式运动建模或直接输入存在噪声的离线光流图来获取运动线索,这会影响模型性能。为了解决这一问题,提出一种新的基于显式运动建模的视频伪装目标检测框架,称为SMHNet。首先,该框架将显式运动建模与伪装目标检测联合在同一个框架中进行学习。然后利用特征双向更新模块实现两个分支的双向交互更新,相互补充、优化和纠错,输出光流估计结果和目标检测图。此外,为了解决缺少光流真值图这一问题,采用自监督策略对显式运动建模分支进行监督。在两个数据集上的对比实验结果表明,SMHNet有效地提高了视频场景中伪装目标检测的性能。     

基于光流块统计特征的视频异常行为检测算法

提出了一种基于光流块统计特征的视频异常行为检测算法.该算法首先对训练集视频序列的光流场进行分块及预处理,而后提取光流块的统计特征,所提取的块统计特征同时包括了光流块的幅度信息和相位信息,通过训练集得到的光流块统计特征训练出对应的正常行为的高斯混合模型(GMM).测试集通过同样的方式提取光流块统计特征,通过计算所提取统计特征以多大的概率属于GMM判定所检测光流块的异常程度.实验结果表明,该算法能够在一定程度上解决运动物体一致性和部分遮挡问题,并提高了异常行为检测的准确率.