一种新的结合卷积神经网络的隧道内停车检测方法

为了更准确地检测高速公路隧道内停车行为,将传统的图像处理技术与深度学习相结合.首先,通过基于混合高斯模型(Gaussian mixture model,GMM)的背景差分法提取出运动目标.接着通过meanshift算法跟踪这些运动目标,计算运动目标的速度以及在相邻视频帧中运动目标的相关性,通过与速度阈值和相似度阈值的比较得到静止目标.最后,结合卷积神经网络(convolutional neural network,CNN)分类模型识别静止目标是否为车辆.文中方法在高速公路隧道视频上进行测试,达到至少84％的准确率.另外,与没有结合卷积神经网络的传统图像处理方法相比,文中方法至少提高了63％的准确率.     

基于时空感知级联神经网络的视频前背景分离

针对在复杂情景下视频前背景分离技术中存在的前景泄露问题,设计开发了一个端对端的二级级联深度卷积神经网络,实现了对输入视频序列进行精确的前景和背景分离.所提网络由一级前景检测子网络和二级背景重建子网络串联而成.一级网络融合时间和空间信息,其输入包含2个部分:第1个部分是3张连续的彩色RGB视频帧,分别为上一帧、当前帧和下一帧;第2个部分是3张与彩色视频帧相对应的光流图.一级前景检测子网络通过结合2部分输入对视频序列中运动的前景进行精确检测,生成二值化的前景掩膜.该部分网络是一个编码器-解码器网络:编码器采用VGG16的前5个卷积块,用来提取两部分输入的特征图,并在经过每一个卷积层后对两类特征图进行特征融合;解码器由5个反卷积模块构成,通过学习特征空间到图像空间的映射,从而生成当前帧的二值化的前景掩膜.二级网络包含3个部分:编码器、传输层和解码器.二级网络能够利用当前帧和生成的前景掩膜对缺失的背景图像进行高质量的修复重建.实验结果表明,本文所提时空感知级联卷积神经网络在公共数据集上取得了较其他方法更好的结果,能够应对各种复杂场景,具有较强的通用性和泛化能力,且前景检测和背景重建结果显著超越多种现有方法.     

基于C3D和视觉元素的视频描述

随着深度学习技术的发展,利用卷积神经网络(CNN)提取视频帧特征,再用循环神经网络(RNN)生成句子的方法被广泛用于视频描述任务中.然而,这种直接转换方式忽略了很多视频内在信息,如视频序列的时序信息、运动信息及丰富的视觉元素信息等.为此,文中提出了一种基于自适应帧循环填充法的多模态视频描述(AFCF-MVC)模型;采用自适应特征提取法提取含有丰富时空信息和运动信息的视频C3D特征,使得C3D特征包含了整个视频序列所有帧的信息,并将其作为神经网络的输入;针对不同视频的标注句子长度不同问题,提出了自适应帧循环填充法,即根据标注句子的长度自适应地控制输入特征的个数,在保证句子输入完整的前提下为神经网络提供尽可能多的特征输入,并起到重复学习的作用;为了充分利用视频丰富的视觉元素信息,通过视觉检测器检测出视频帧的视觉元素信息,编码后作为额外的补充信息融合进AFCF-MVC模型中.在M-VAD和MPII-MD数据集上的实验结果显示,该模型既能准确地描述视频中的内容,也能在语法结构上模拟出人类语言的丰富性.     

基于显著性区域的红外行为识别

视频特征的提取是行为识别方法中一个关键步骤,当视频场景中存在无关行人或者背景干扰时,提取的特征往往会包含较多的干扰信息,这将严重影响分类器的分类效果,进而影响行为识别准确率。针对这类问题,提出了一种基于显著性区域的红外行为识别方法。该方法对视频序列提取光流运动历史图(optical flow motion history image, OF-MHI)特征,获取视频序列的运动信息,此步骤旨在消除图像背景及静止目标干扰。利用类别激活映射(class activation map, CAM)方法进一步消除运动目标干扰,获得兴趣目标显著性区域,进而获得显著性区域特征图。输入卷积神经网络(convolutional neural network, CNN)提取最终特征,并采用支持向量机(support vector machine, SVM)获得识别结果。与传统方法相比,实验结果表明,该方法有效地提升了识别准确率。     

基于多特征融合及Transformer的人体跌倒动作检测算法

为解决跌倒动作的检测和空间定位问题,本文以YOLOv3目标检测算法为基础,提出了一种全新的用于人跌倒动作识别的检测架构.本算法将视频拆分成一系列的图片序列,并在图片序列中指定关键帧.通过3D卷积神经网络提取视频序列中的时间维度特征,2D卷积神经网络提取关键帧中的空间维度特征,经通道融合机制在不同尺度的预测特征层进行通道...     

基于关键点的残差全连接网络动态手势识别方法

车载动态场景下,为了提高基于视频手势识别的准确率和鲁棒性,提出了一种基于关键点的残差全连接网络手势识别算法.对在不同车辆平台、不同运动条件下采集的不同光照强度的视频数据进行归一化等预处理后提取视频帧的关键点,以关键点个数为准则进行了关键帧选取以提高运算性能和降低算法复杂度,将从关键帧中所提取的关键点送入残差全连接网络实现连续手势的识别.在不同光线与车内环境下,所提算法对6类动态手势的平均识别准确率达到96.72%,相较3D卷积神经网络(C3D)、卷积神经网络(convolutional neural network,简称CNN)、长短时记忆网络(long short-term memory network,简称LSTM)和双流网络,其识别率分别提升了10.72%,6.40%,5.17%和4.50%.实验结果验证了所提算法在车载环境下连续手势识别的有效性.     

基于光流重构和深度姿态特征的行人跌倒检测方法

随着我国老龄化人群数量的增长,老年人实时行为轨迹的跟踪检测成为当前智慧社区研究的热点。本文针对现有行人跌倒检测算法在面临电动车流和行人影子的干扰而导致识别准确率不高的问题,提出了一种基于优化yolov5的路边行人跌倒检测方法。首先基于视频抽帧的方式将原始数据输入到yolov5网络进行监控行人视频数据的预处理,实现行人背景重构;然后提取光流和anchor框作为其运动特征;最后对此特征进行判定,进行信息融合的跌倒检测网络进行跌倒特征识别,并在不同帧序列和不同背景下进行对比试验。本文所提出的方法在行人跌倒数据集Multiple cameras fall和Le2i上进行了实验,结果表明本文的算法在基于电动车流和行人影子干扰场景下较传统方法在准确率和召回率上分别提升了9%和10%。     

基于时空特征融合的端到端无人车控制

基于深度学习的端到端车辆控制器多是由二维卷积神经网络(2D convolutional neural netuark,2D CNN)训练得到的,因未考虑时间维度上的帧间运动信息,使得控制器的可解释性与泛化能力较差,而三维卷积神经网络(3D CNN)可以从连续视频帧中学习时空特征。深度确定性策略梯度强化学习(depth deterministic policy gradient,DDPG)常用于连续动作的控制优化,但DDPG算法仍存在采样方式不合理而导致的样本利用率低的问题。基于此,采用3D CNN与改进DDPG算法相结合的方法对车辆方向盘转角和速度进行预测。通过实车实验实现了车辆在所设置轨道上的自主驾驶,为基于深度学习和强化学习方法解决自动驾驶中的端到端控制问题提供了科学方法。     

基于RNN的视频模型构建和动作识别策略研究

递归神经网络(RNN)和长短时记忆(LSTM)在处理顺序多媒体数据方面取得显著成就。因此,提出了一种双向长短时记忆的递归神经网络(DLSTM),该方法结合了卷积神经网络(CNN)和递归神经网络的动作识别新方法。首先,利用CNN提取视频的深度特征,构建视频特征模型,以减少冗余和复杂性。然后,利用递归神经网络学习帧特征之间的序列信息。该方法具有学习长序列的能力,能够在一定的时间间隔内通过分析特征来处理较长的视频。实验结果与现有的方法比较,该方法在动作识别方面有明显完善。     

基于Dropout卷积神经网络的行为识别

近年来,卷积神经网络(CNN)已经成为很多科学领域的研究热点之一.卷积神经网络作为一种深度模型可以直接作用于原始输入,不需要手动设计特征描述子.与传统神经网络相比识别效果有很大的提高.它已经建立了一类强大的模型来处理图像识别,并对其扩展到三维卷积神经网络(3D CNN)来处理视频识别问题.在此基础上,笔者对三维卷积神经网络做了如下改进:用Gabor小波核来初始化卷积操作,以达到模拟人类视觉系统对视觉刺激的响应;在网络训练的过程中加入Dropout技术,随机选择删除部分神经元,以此来提高网络的泛化能力,有效防止过拟合.提出的方法在KTH和UCF-YouTube数据集上进行验证,取得了很好地识别效果.     

基于轻量化网络和密集光流法的精子活力检测

基于便携式家用精子检测仪的研发需求,研究了轻量化卷积神经网络在精子活力检测方面的应用.利用Farneback光流算法提取出不同帧间距的精子视频的密集光流帧图像,并通过多通道图像叠加的方式将其与原始视频帧图像进行叠加.把叠加后的图像作为轻量化卷积神经网络ShuffleNet的输入图像,用于检测视频中精子的活力水平.实验结果表明：使用ShuffleNet能在基本不降低检测精度的前提下显著降低网络整体的计算量和模型所占用的内存,更适用于嵌入式和移动设备.此外,采用多通道叠加密集光流帧和原始帧图像作为输入图像,相较于单一的原始帧图像,有效提升了网络模型的性能.     

用于人体行为识别的Inflated VGGNet-16网络

针对目前人体行为识别算法中C3D网络结构较浅、特征提取能力差,以及无可用预训练模型、训练耗时长等问题,以更深的VGGNet-16网络为基础,通过添加批归一化层（batch normalization layer）以及使用Inflating方法将ImageNet预训练模型用于网络初始化,设计了一种新型的人体行为识别3D网络。通过在标准数据集UCF101与HMDB-51上的实验分析,将图片进行中心剪切后作为所设计网络的输入,从零训练时在UCF101数据集上比原始C3D网络的精度提高了9.2%,并且网络收敛速度更快,验证了所设计的Inflated VGGNet-16网络具有更强的特征提取与泛化能力。最后,将所设计网络加上10倍数据增强,在两个标准数据集上准确率分别达到了89.6%与61.7%,相比于较浅的C3D网络在UCF101数据集上提升了7.3%,超过了传统的改进密集轨迹法（iDT）以及经典的双流卷积神经网络（two-stream）,具有较高的行为识别准确率。     

拆分降尺度卷积神经网络入侵检测方法

针对卷积神经网络模型待训参数量过大、多层网络导致特征和梯度消失等问题,论文提出了一种基于拆分层和Inception-ResNet的卷积神经网络模型用于入侵检测。首先将网络流量数据转化为具有空间相关性的图像以适用于卷积神经网络的输入;然后使用Inception-ResNet卷积层增加网络深度,减少模型训练参数数量以及消除梯度消失问题,拆分层在降低图像尺度时基本保持图像原有分类特征;最后采用NSL-KDD数据集对改进模型进行训练和测试。测试结果表明,改进模型相对于Inception-ResNet模型具有更高的检测准确率和少数类样本召回率以及更好的训练时间性能。     

基于全卷积神经网络的多尺度人脸检测

如何快速而准确地定位到人脸,针对这个问题,提出了一种基于全卷积神经网络的多尺度人脸检测方法.首先用全卷积层替换VGG网络中的全连接层,然后用二分类代替分类层,最后进行该算法下的人脸检测,通过对待检测的图片进行多尺度变换并将其输入到全卷积神经网络中,得到相应的概率矩阵,人脸图框通过非极大值抑制法获取.试验结果表明,该算法的准确率较高,检测时间短,性能较好.     

基于卷积神经网络的壁面清洗机器人障碍物检测识别算法

结合机器人的工作原理以及卷积神经网络(CNN)在图像分类中的应用,提出了一种基于卷积神经网络的壁面障碍物检测识别算法.首先,以壁面障碍物准确识别为目标,构建壁面障碍物图像库;然后,通过对VGG-16网络简化后进行优化,得到适合壁面障碍物准确识别的卷积神经网络模型.在此基础上,设计该网络由输入层、4层卷积层、2层池化层、1层全连接层以及输出层组成,进一步利用3×3卷积核对训练样本进行卷积操作,并将所获取的特征图以2×2领域进行池化操作.重复上述操作后,通过学习获取并确定网络模型参数,得到最佳网络模型.实验结果表明,障碍物的识别准确率可达99.0%,具有良好的识别能力.     

多角度视频的驾驶人员行为识别

驾驶员在行驶过程中看手机,与乘车人员交谈等违规行为,为安全行驶造成了极大的隐患。为了解决此 类问题,提出了一种多角度行为识别方法,从3 个角度同步捕捉驾驶员行为的视频,构建多角度驾驶员行为的 视频和数据集,利用深度卷积神经网络,进行识别分类。实验结果表明,3D CNN 相对于2D CNN 的识别精度 更加准确,在对比输入剪辑的帧数实验中,发现堆叠的视频帧数会影响准确度,并在具有较大优势的R2plus1D 模型中( 将3D 卷积滤波器分解为单独的空间和时间分量) ,基于多角度驾驶人员行为识别精度达到87%。     

Multiple feature fusion in convolutional neural networks for action recognition

Action recognition is important for understanding the human behaviors in the video, and the video representation is the basis for action recognition. This paper provides a new video representation based on convolution neural networks (CNN). For capturing human motion information in one CNN, we take both the optical flow maps and gray images as input, and combine multiple convolutional features by max pooling across frames. In another CNN, we input single color frame to capture context information. Finally, we take the top full connected layer vectors as video representation and train the classifiers by linear support vector machine. The experimental results show that the representation which integrates the optical flow maps and gray images obtains more discriminative properties than those which depend on only one element. On the most challenging data sets HMDB51 and UCF101, this video representation obtains competitive performance.     

Defect Detection Algorithm of Patterned Fabrics Based on Convolutional Neural Network

The background pattern of patterned fabrics is complex, which has a great interference in the extraction of defect features. Traditional machine vision algorithms rely on artificially designed features, which are greatly affected by background patterns and are difficult to effectively extract flaw features. Therefore, a convolutional neural network(CNN) with automatic feature extraction is proposed. On the basis of the two-stage detection model Faster R-CNN, Resnet-50 is used as the backbone network, and the problem of flaws with extreme aspect ratio is solved by improving the initialization algorithm of the prior frame aspect ratio, and the improved multi-scale model is designed to improve detection of small defects. The cascade R-CNN is introduced to improve the accuracy of defect detection, and the online hard example mining(OHEM) algorithm is used to strengthen the learning of hard samples to reduce the interference of complex backgrounds on the defect detection of patterned fabrics, and construct the focal loss as a loss function to reduce the impact of sample imbalance. In order to verify the effectiveness of the improved algorithm, a defect detection comparison experiment was set up. The experimental results show that the accuracy of the defect detection algorithm of patterned fabrics in this paper can reach 95.7%, and it can accurately locate the defect location and meet the actual needs of the factory.