一种基于深度学习的实时视频图像背景替换方法

针对视频会话业务的实时性需求,提出一种轻量级深度学习网络模型实现视频图像的实时背景替换功能.网络模型包含语义分割和背景替换两个模块.语义分割模块整体架构采用编解码结构,编码端使用编码器模块、空洞卷积金字塔池化模块、注意力模块以及增益模块提取特征;解码端使用解码器模块、调整模块以及编码器模块恢复图像,再传入背景替换模块完成背景替换.该网络模型在本文设定的数据集训练后分割精确度达到94.1%,分割速度达到42.5帧/s,在实时性和准确性上达到较好的平衡,具有很好的实用效果.     

基于边缘特征融合和跨连接的车道线语义分割神经网络

无人驾驶中的车道线检测任务需要同时确定车道线的位置、颜色和线型,而现有方法通常仅识别车道线的位置,不识别车道线的类型.为了端到端地解决这一问题,设计了一种语义分割神经网络,将一幅图像中不同车道线分割为不同区域,用每个区域的类别标签表示其对应的车道线类型.首先,在主流的编码器-解码器框架下,构建了一个结构较为简单的基础网络.考虑到边缘特征是车道线检测中的重点,为基础网络的编码器并联了一个边缘特征提取子网络,通过逐层融合边缘特征图和原始特征图增强车道线的特征.边缘特征提取子网络的结构与基础网络的编码器相同,其输入是对车道线图像进行Sobel滤波的结果.此外,编码器和解码器对称位置的卷积层输出的特征图尺寸相同,但具有不同的语义层级.为了更好地利用这一特性,建立从编码器到解码器对称位置的跨连接,在解码器逐层上采样的过程中融合编码器对应尺寸的特征图.在TSD-Lane车道线检测数据集上的实验表明,相比于基础网络,基于边缘特征融合和跨连接的神经网络的分割性能得到了较为显著的提高.该网络具有较好的车道线分割性能,能够在确定车道线位置的同时,区分黄线或白线、虚线或实线.在计算资源充足的前提下,该网络能够达到实时的检测速度.     

联合双编码器增强的生成对抗壁画多尺度重建

针对现有深度学习算法在修复破损壁画图像过程中,存在特征感知能力较弱和重建细节丢失等问题,提出了一种联合双编码器增强的生成对抗壁画多尺度重建深度学习模型．首先,设计由双分支联合编码器和多尺度解码器构成的生成网络,其中双分支联合编码器分为门控编码器分支和标准编码器分支：门控编码器分支利用门控卷积的动态特征选择机制并结合空洞卷积扩大感受野,提高壁画的语义特征感知能力;而标准编码器分支则利用标准卷积并结合密集连接加强特征传递,以获得更丰富的壁画细节信息．然后,采用多尺度解码器进行重构恢复,增强破损壁画纹理细节的重构能力．最后,通过谱归一化马尔科夫判别网络改善壁画修复结果的语义一致性和结构连续性．通过对真实敦煌壁画进行数字化修复的实验结果表明：所提出的算法能够有效完成破损壁画的修复,重构取得了更好地视觉感和协调性,在主客观评价方面均优于比较算法．     

融合FCN和LSTM的视频异常事件检测

针对传统视频异常检测模型的缺点,提出一种融合全卷积神经(FCN)网络和长短期记忆(LSTM)网络的网络结构.该网络结构可以进行像素级预测,并能精确定位异常区域.首先,利用卷积神经网络提取视频帧不同深度的图像特征;然后,把不同的图像特征分别输入记忆网络分析时间序列的语义信息,并通过残差结构融合图像特征和语义信息;同时,采...     

应用残差生成对抗网络的路况视频帧预测模型

在路况视频帧的预测领域中,针对当前大部分模型所存在的预测图像分辨率低、图像模糊和局部细节缺失等问题,提出了一种应用残差生成对抗网络的路况视频帧预测模型(RB-GAN)。该模型用于在给定一段路况视频流的情况下更好地预测未来的一帧路况图像,应用多个级联的残差模块初步提取输入视频流的图像特征;利用感知网络强化对视频流中物体运动特征的提取;通过使用双重判别器提高生成对抗网络生成的图像的质量;用Adam方法来优化网络权值的深度学习过程。基于生成对抗网络这种半监督的学习框架,训练后的模型可以预测出一段路况视频流下一时刻的同输入视频流具有时空一致性的帧图像。应用车辆检测领域常用的KITTI数据集对生成对抗网络模型进行训练和测试,实验结果表明:与主要依赖于像素均值的方法相比,RB-GAN模型预测图像的分辨率提高了2～4倍,达到256像素×512像素,在图像锐度标准上提高了1～2个数量级,同时图像也更加符合人眼视觉的主观感受,所预测得到的路况视频帧图像质量更高,更具有实用性价值,可以更好地为诸如检测算法等其他下游算法提供有效的特征信息。     

双交叉注意力自编码器改进视频异常检测

针对视频中包含的异常事件数量稀少,信息密集的特征容易被遗漏等问题,本文提出一种双交叉注意力自编码器的视频异常事件检测方法.首先预处理视频集,提取视频帧中表观和运动特征,然后设计双交叉注意力模块融入自编码器中,使特征图在自编码器中能够更好地关联全局特征.其次将提取后的特征放入各自的自编码器中学习正常行为,使含有正常事件的视频帧能被模型重构,含有异常事件的视频帧则无法被重构.最后通过检测模型得到各个视频帧的重构误差从而进行异常事件判定.该方法可以以局部特征关联全局特征的方式有效提高视频异常事件检测的准确率,通过在多个公开数据集中进行实验验证,证明该方法优于其他同类方法.     

基于级联卷积和Attention机制的情感分析

目前大多数情感分类方法由于只学习到文本的浅层特征且无法区分不同词的重要性,导致情感分类准确率低的问题,因此提出了一种基于级联卷积和注意力机制的情感分析模型.利用多个卷积层提取序列文本的局部特征,同时使用注意力机制从卷积层生成的特征图中进一步学习相关信息,获取不同词和特征的不同影响权重;然后将两者特征级联在一起,形成一个新的特征图,这个特征图又作为后面卷积层的输入进行特征提取,重复此过程获取文本的深层特征.并且使用全局平均池化代替了传统的全连接来减少网络的参数数量.实验部分通过多个评价指标对比了提出方法与其他模型的性能,证明提出的方法在多个方面具有良好的情感识别性能.     

基于多模注意力机制的密集型视频描述

为了解决密集型视频描述(dense video captioning, DVC)任务中视频特征利用不充分，视频定位分段不准确，语义描述效果不丰富的问题，采用多模注意力机制的密集型视频描述方法，提取视频中的视觉特征、音频特征和语音特征.通过多模注意力机制，在编码器中计算不同模态视频帧特征间的关联程度，在解码器中计算描述词序列特征与编码器输出的多模态视频帧特征间的关联程度，并将编码器、解码器输出特征分别作用于视频定位分段模型和语义描述模型获得视频分段和分段描述.提出的方法在ActivityNet Captions数据集上进行了理论分析和实验验证，其中F1-score达到60.09,METEOR指标达到8.78.该方法有效提高了视频定位分段和语义描述的准确性.     

基于深度学习的监控视频树叶遮挡检测

结合稀疏自编码器的自动提取数据特征能力和深度置信网络较好的分类性能,提出一种基于深度学习的监控视频树叶遮挡检测方法。首先从视频中随机选取一帧图像,通过栈式稀疏自编码器主动学习视频图像的特征信息,然后采用深度置信网络建立分类检测模型,最后引入学习速率自适应调整策略对整个神经网络进行微调。该方法不需要对视频连续取帧,具有较好的图像特征主动学习能力,克服了人工提取特征能力有限的缺陷。实验结果表明,在样本量充足的条件下,使用本文方法进行监控视频树叶遮挡检测可以达到88.97%的准确率。     

一种基于双流卷积神经网络跌倒识别方法

针对跌倒行为的视觉特征难以提取的问题,提出一种由两路卷积神经网络和模型融合部分组成的双流卷积神经网络(Two-Stream CNN)的跌倒识别方法.该方法的一路对视频帧的运动人加框标记后,送三维卷积神经网络(3D-CNN)处理来消除视频背景的干扰;另一路从相邻视频帧获取光流图后,送VGGNet-16卷积神经网络处理;最后将3D-CNN和VGGNet-16的Softmax输出识别概率加权融合作为Two-Stream CNN输出结果.实验结果表明:标记运动人并经3D-CNN处理有效地消除了视频背景的干扰;Two-Stream CNN跌倒识别率为96%,比3D-CNN提高了4%,比VGGNet-16网络提高了3%.     

HDTV视频编码器的动态图像组结构和码率分配策略

基于子图划分的高清晰度电视（ＨＤＴＶ）视频编码器,先将１ ９２０×１ １５２ 的ＨＤＴＶ画面划分成６ 个１ ９２０×１９２ 的水平条状子画面,由６ 个子编码器并行编码,最后将６ 路码流合成为ＨＤＴＶ码流．文中以场景切换检测为依据,进行动态图像组（ＧＯＰ）结构调整,以Ｉ帧场景复杂度为依据进行码率分配．实验表明,该策略能很好地保证子图重建质量和ＨＤＴＶ各子图之间主观重建质量的一致性,清除可能出现的子图划分效应．     

基于通道注意力机制的视频超分辨率方法

基于视频帧间信息特征,提出了基于通道注意力机制的循环残差注意力网络,将连续的低分辨率视频帧、前一时刻输出帧和隐藏态作为输入进行特征提取,在隐藏态中引入残差连接和注意力机制,增强网络特征提取能力,经过亚像素卷积层重建出高分辨率视频帧。然后将本视频超分辨率网络模型在Vid4、UDM10、SPMCS视频数据集进行了测试。实验结果表明,与其他基于深度学习的视频超分辨率方法相比,本方法能利用帧间特征信息较好地恢复高频特征信息,恢复的视频图像PSNR和SSIM值都比其他主流方法要高,同时取得了较好的主观视觉效果。     

基于特征稀疏化的粉尘图像深度预测

【目的】针对粉尘环境中单幅图像深度预测精度低的问题，提出了一种基于输入特征稀疏化的粉尘图像深度预测网络。【方法】使用粉尘图像的直接传输率与深度的关系设计预估计深度网络，利用图像颜色衰减先验原理进一步获取粉尘图像的稀疏深度特征。将该稀疏深度特征与粉尘图像一起作为深度预测网络的输入。深度预测网络以“编码器-解码器”为模型框架，编码器中使用残差网络(ResNet)对粉尘图像进行编码，设计融合通道注意力机制的稀疏卷积网络对稀疏深度特征进行编码。解码器中采用反卷积以及多尺度上采样的方法，以更好的重建稠密的深度信息。使用最小绝对值损失和结构相似性损失作为边缘保持损失函数。【结论】在NYU-Depth-v2数据集上的实验结果表明该方法能够从粉尘图像中有效预测深度信息，平均相对误差降低到0.054,均方根误差降低到0.610,在δ<1.25时准确率达到0.967.     

基于递归卷积神经网络的行人检测方法

为了提高视频中行人检测的准确度,提出了一种基于递归卷积神经网络的行人检测方法.该方法利用递归卷积神经网络融合视频中连续图像的上下文信息,以实现准确的行人检测.首先,利用卷积神经网络提取连续图像的多个特征图组;然后,根据先后次序,将多个特征图输入到递归卷积神经网络中,形成一张关于行人位置的掩码图;最后,通过在掩码图上预测...     

基于边缘感知和小样本学习的多尺度带钢表面缺陷分割方法

深度全卷积语义分割网络能够提供像素级带钢表面缺陷检测,对于带钢质量控制具有至关重要的作用。但是这类模型大多无法感知缺陷边缘,而且性能往往严重依赖大量精确标注的标签样本,严重影响其实际应用。为了解决以上困难,提出了一种基于边缘感知和小样本学习的多尺度带钢表面缺陷语义分割网络。该网络由两个级联的子网络组成。第一个子网络首先利用改进的一次性聚合模块和特征金字塔注意力模块构建编码器,提取多层级和多尺度特征并降低训练所需的数据量。然后将一系列全局注意力上采样模块作为解码器实现高级特征指导低级特征复原空间信息,并输出初步预测结果。第二个子网络利用一个浅层U-Net对第一个子网络获得的初步预测结果进行细化并增强边缘检测能力。东北大学热轧带钢表面缺陷数据集上的实验证明了该方法对夹杂、斑点和划伤等表面缺陷自动提取的可行性和有效性。     

基于轻量化网络和密集光流法的精子活力检测

基于便携式家用精子检测仪的研发需求,研究了轻量化卷积神经网络在精子活力检测方面的应用.利用Farneback光流算法提取出不同帧间距的精子视频的密集光流帧图像,并通过多通道图像叠加的方式将其与原始视频帧图像进行叠加.把叠加后的图像作为轻量化卷积神经网络ShuffleNet的输入图像,用于检测视频中精子的活力水平.实验结果表明：使用ShuffleNet能在基本不降低检测精度的前提下显著降低网络整体的计算量和模型所占用的内存,更适用于嵌入式和移动设备.此外,采用多通道叠加密集光流帧和原始帧图像作为输入图像,相较于单一的原始帧图像,有效提升了网络模型的性能.     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于背景重建的序列图像车辆目标检测方法

针对静态摄像条件下视频序列图像,提出一种基于背景重建的序列图像车辆目标检测方法.该法先选取一帧图像存入背景缓冲区,然后根据当前帧图像与前一帧图像、背景图像的差分信息对背景缓冲区的背景进行更新.通过运动区域检测、噪声去除、连通单元标记、目标提取、阴影检测等处理,能获取完整的车辆目标区域.实验结果表明,该方法快速、准确,具有较好的实用价值.     

基于视频帧重要区域相似性的镜头切换检测

视频帧的重要信息通常位于图像的中间部位,因此提出了基于视频帧重要区域相似性的视频镜头切换检测算法.在连续视频帧中,相邻帧的前一帧中间区域被分成大小相等的四部分,然后在后一帧中的中间区域寻找与前一帧四模板相似的区域.利用各区域灰度直方图的欧氏距离判定相似区域.如果不相似模板个数大于2,那么该相邻帧处发生了镜头切换.实验表明,此方法对于多数场景的镜头切换检测结果准确、全面.     

一种改进的卷积神经网络的室内深度估计方法

针对单幅图像的室内深度估计缺少显著局部或全局特征问题,提出了一种基于多种网络(全卷积网络分别与通道注意力网络、残差网络结合)构成的编码器解码器结构.该网络采用端到端的学习框架.首先使用全卷积网络与通道注意力网络结合的全卷积通道注意力网络模块作为编码器,通过信道信息获取全局感受野,提高特征图精度,并适当地将全连接层改为卷积层以达到减少网络参数的目的.然后将全卷积网络与残差网络结合构成的上采样模块作为解码器,利用ResNet的特点——跳层连接,将解码器网络加深,提高深度图的精度,将卷积网络与残差网络结合,实现端对端,并减少网络运行所用时间.最后,使用L1损失函数优化模型.在公开数据集NYUDepth v2的测试下,实验结果表明,和现有的其他单目深度估计方法相比,本文所提出的网络模型不仅精简了繁琐的精化粗图的过程,而且所预测的深度图精度更高,阈值精度的提升不少于0.5%,运行网络结构的平均用时21 ms,为实现实时性奠定了基础,具有一定的理论研究价值和实际应用价值.