一种基于双流卷积神经网络跌倒识别方法

针对跌倒行为的视觉特征难以提取的问题,提出一种由两路卷积神经网络和模型融合部分组成的双流卷积神经网络(Two-Stream CNN)的跌倒识别方法.该方法的一路对视频帧的运动人加框标记后,送三维卷积神经网络(3D-CNN)处理来消除视频背景的干扰;另一路从相邻视频帧获取光流图后,送VGGNet-16卷积神经网络处理;最后将3D-CNN和VGGNet-16的Softmax输出识别概率加权融合作为Two-Stream CNN输出结果.实验结果表明:标记运动人并经3D-CNN处理有效地消除了视频背景的干扰;Two-Stream CNN跌倒识别率为96%,比3D-CNN提高了4%,比VGGNet-16网络提高了3%.     

基于改进双流算法的矿工行为识别方法研究

针对目前矿工行为数据集构建不全面、行为识别实时性较差、对相似行为的细粒性识别精度较低等问题,提出了一种端到端的自主学习行为特征并实现行为分类的识别方法.首先,对原始矿工行为视频进行特征提取,生成用来描述时间特征的光流图以及可以描述空间特征的三原色(RGB)图像,使用双流网络对提取的特征进行学习并得到行为分类结果;然后,...     

基于Kinect的双流时空卷积人体行为识别技术

针对原有双流时空卷积网络模型中网络深度不足,从而导致人体行为识别结果偏低的问题,针对该网络模型进行改进,且融入Kinect骨骼序列数据.对于输入数据,通过Kinect相机对人体动作转化为骨骼序列;改进双流卷积网络模型是在原有的模型框架下,用RestNet-50网络结构替代原VGG-16网络结构,再对数据进行一系列处理.在HMDB-51和UCF-101两个公开数据集上进行模型的训练和验证,其识别结果分别为70.8%和91.4%,通过对比结果表明,本文提出的改进双流卷积网络融合Kinect骨骼数据能够有效提升人体行为识别的正确率.     

基于迁移学习的危险行为识别方法研究

深度学习中卷积神经网络在行为识别领域有着良好的识别效果,但是由于深度学习需要较大数据集训练模型,而现今公开数据集中危险行为识别相关方向没有大量数据集。针对危险行为识别领域样本少、无法进行深度学习训练等问题,建立了危险行为识别数据集,并采用迁移学习方法对C3D网络模型进行迁移训练。结果表明,迁移学习后C3D网络模型对危险行为识别数据集平均识别率达到了83. 2%,可以有效识别危险行为动作。     

基于BP 网络的一种机型识别方法

目标识别是防空信息处理中的一个重要环节，而对空中目标类型的识别仍没有成熟的理论，在BP算法的基础上，提出了一种基于神经网络的目标识别方法，并就具体的主空袭飞机类型给出了识别模型，最后用MATLAB提供的神经网络工具箱进行仿真，仿真结果表明，此方法合理可行，这对提高防空信息处理的准确性具有重要意义。     

一种运用显著性检测的行为识别方法

针对传统稠密轨迹行为识别法不能很好地区分行为区域和背景的问题,提出一种运用显著性检测的行为识别方法。考虑到视频显著性在较小的时空范围内变化不大,将视频在时域分割为多个短子视频,并将子视频在空域划分成小块,再以块为基础运用一种两阶段显著性检测方法获取每个子视频的行为区域。在检测的第一阶段,将低秩矩阵恢复算法应用于子视频的运动信息计算其初始显著性,并据此将其内所有块划分为候选前景集合和绝对背景集合;在第二阶段,为了将真正的行为区域从候选前景集合中分离出来,利用绝对背景集合中块的运动信息构建字典,通过加权稀疏表示算法计算候选前景集合中每个块的细化显著性,再通过阈值化获取二值显著图用以指示行为区域;最后,将显著图融入稠密跟踪过程以获取行为区域轨迹用于行为识别。基准数据集上的实验结果表明,该方法能够较好地检测视频中的行为区域,获得的识别率高于传统稠密轨迹法2.5%~4.5%。     

基于贝叶斯网络和卷积神经网络的手绘草图识别方法

为实现笔画的分组和识别,现有的草图识别算法通常会采用限制用户的绘图习惯来达到目的.该文提出了利用贝叶斯网络和卷积神经网络(CNN)的草图识别方法解决此问题.首先,使用高斯低通滤波器处理输入草图,得到更平滑的图像.然后将连续输入的笔划分为两部分,分别使用贝叶斯网络和卷积神经网络对分割后的笔画进行识别,当笔画的可靠性大于阈值时,以贝叶斯网络的识别结果为准,反之采用CNN的识别结果.实验结果表明,该文算法在电路符号绘制过程中的识别率和绘制完成后的识别率均取得了较好的结果.该文算法具有良好的应用前景.     

一种双流卷积神经网络的黑烟车检测算法

针对目前人工监测机动车黑烟行为费时费力的问题,文章提出一种双流卷积神经网络的机动车黑烟检测方法.该方法首先使用Vibe背景模型提取运动前景目标,然后对前景图像使用霍夫直线检测,获取候选黑烟区域,减少了路面环境和机动车车身对黑烟检测的影响.双流卷积神经网络分为空间流卷积神经网络和时间流卷积神经网络,空间流提取黑烟图像的空...     

基于双流卷积网络的宫颈细胞细粒度分类

为了实现对宫颈细胞图像相近类别的准确自动分类,提出了一种双流卷积神经网络算法。算法以DenseNet121网络和Xception网络为基础并对其进行改进,以提高算法对宫颈细胞进行细粒度分类的识别准确率。首先,在DenseNet121中引入DropBlock模块进行网络正则化,用于提高模型的泛化能力;其次,在Xception中加入SE(squeeze-and-excitation)模块调整通道权重,以增强网络提取有效特征的能力;最后,将两个网络输出的特征图进行拼接构建双流网络,来获取宫颈细胞更全面的特征信息。实验结果表明,该网络在Herlev数据集以及SIPaKMeD数据集上各性能指标都表现良好,且都达到了99%的准确率,优于改进融合前的网络,提出的算法在宫颈细胞的细粒度分类中具有较高识别率。     

改进的双流多模态信息融合坐姿识别方法

不正确的坐姿通常会导致青少年近视、脊柱侧弯和退行性疾病。研究能够快速、准确识别不规律坐姿的智能监测技术,有助于保持正确的姿势并预防健康问题。为了解决RGB图像易受光照强度以及遮挡因素的干扰并造成的识别率不高等问题,通过采用双流RGB-D图像作为双输入,利用ResNet网络中的残差结构改进EfficientNet基线网络结构,提出了一种基于改进R-EfficientNet的双流RGB-D多模态信息融合的坐姿识别方法。试验结果表明,提出的R-EfficientNet融合方法模型对8种坐姿的识别均值平均精度(mean average precision, mAP)达到了98.5%。与CNN、Vgg16、ResNet18、EfficientNet、RGB-D不同的输入方法相比,所提方法获得了最高的识别率。该方法不仅可以用于坐姿客观监测,具有医学和社会效益,此外还为人体工学研究者们提供改进办公家具的方案。     

基于多视图和注意力推荐网络的三维物体识别方法

传统物体识别方法是从单一图像中通过人工提取图像特征,存在成本高、质量低等问题。针对上述问题,提出一种基于多视图和注意力推荐网络的三维物体识别方法,多视图很好地保留了物体在局部和全局上的特征;注意力模块可以有效地对视图上关键的特征聚焦,忽略无关或干扰特征。该方法利用一组多视图作为输入数据,通过卷积神经网络端到端提取物体特征,在卷积层加入注意力模块,实现视图关键区域的定位和剪裁,将处理后的视图送入另外一个卷积层,两个相同卷积操作提取的特征在池化层聚合,利用稀疏表示分类器对特征描述子进行分类识别。通过两个公开数据集的实验表明,所提算法对物体图像的识别准确度优于传统算法。     

基于双流多关系GCNs的骨架动作识别方法

为了更好地提取并融合人体骨架中的时序特征和空间特征,文章构建了融合时空域注意力模块的多流卷积神经网络(AE-MCN)：针对目前大多数方法在建模骨架序列相关性时因忽略了人体运动特性而没有对运动尺度进行适当建模的问题,引入了自适应选取运动尺度模块,从原尺度动作特征中自适应地提取关键时序特征;为了更好地对特征进行时间维度和空间维度上的建模,设计了融合时空域的注意力模块,通过对高维时空特征进行权重分配,进而帮助网络提取更有效的动作信息。最后,在3个常用的人体动作识别数据集(NTU60、JHMDB和UT-Kinect)上进行了对比实验,以验证AE-MCN网络的有效性。实验结果表明：与ST-GCN、SR-TSL等网络相比,AE-MCN网络都取得了更好的识别效果,证明AE-MCN网络可以对动作信息进行有效的提取与建模,从而获得较好的动作识别性能。     

一种基于端对端深度卷积神经网络的验证码识别方法

传统验证码识别方法对不同类型的验证码泛化能力和鲁棒性较差。为此,提出一种基于深度卷积神经网络的端对端验证码识别方法。首先,通过并行级联的卷积层构建简易Inception模块,替代Google-net的卷积层,在降低调整参数数量的同时,提高网络对于不同感受野尺度的适应性。同时,采用全局平均池化层替换原全连接层以防止过拟合,提高网络学习效率。其次,在训练过程中,直接利用深度网络的学习能力自动提取和识别验证码图像的字符特征信息,无须对验证码图像进行预分割,可以有效避免因字符分割引起的误差累积问题。通过对谷歌验证码、正方教务系统验证码和京东验证码的测试,结果表明本方法具有更好的泛化能力和鲁棒性,对三类验证码的识别率分别达到96.3%、98.9%和99%,比经典卷积神经网络分别提高3.14%、2.75%和1.14%。     

一种基于深度卷积神经网络的车辆颜色识别方法

车辆颜色是车辆中显著而稳定的特征之一,在智能交通系统中具有重要的作用。针对人工设计的特征提取方法难以有效表达复杂环境下车辆颜色特征的问题,本文在AlexNet网络结构基础上,通过调整网络结构、优化网络参数,形成了基于卷积神经网络的车辆颜色识别网络模型。该方法不需要预处理过程,能够自适应地学习车辆颜色特征表示。对常见的车辆颜色进行训练测试的实验结果表明,本文提出的方法应用到车辆颜色识别问题上具有较好的优势。     

基于改进 LeNet-5 网络的交通标志识别方法

针对传统LeNet-5卷积神经网络用于交通标志等多种类识别任务中,存在识别正确率低、网络容易过拟合以及梯度消失等问题进行改进。引入Inception卷积模块组来提取目标丰富的特征,同时增加网络的深度。引入BN (batch normalization)层对输入批量样本进行规范化处理;同时改用性能更好的Relu激活函数,并使用全局池化层代替全连接层,合理改变卷积核的大小和数目。研究结果表明,改进LeNet-5网络能够有效解决过拟合和梯度消失等问题,具有较好的鲁棒性;网络识别率达到98. 5%以上,相比CNN (convolutional neural network)+SVM (support vector machine)提高了约5%,比传统的LeNet-5网络提高了3%。可见,改进后的LeNet-5网络图像识别的准确率得到显著提高。     

基于多流融合网络的 3D骨架人体行为识别

当前大多基于卷积神经网络的3D骨架人体行为识别模型没有充分挖掘骨架序列所蕴含的几何特征,为了弥补这方面的不足,文章在AIF-CNN模型的基础上进行改进,提出多流融合网络模型(MS-CNN)。在此模型中,新增一种几何特征(kernel特征)作为输入,起到了丰富原始特征的作用;新增多运动特征,使模型学习到更加健壮的全局运动信息。最后,在NTU RGB+D 60数据集上进行消融实验,分别在NTU RGB+D 60数据集、NTU RGB+D 120数据集上,将MS-CNN模型与19、8个行为识别模型进行对比实验。消融实验结果表明：MS-CNN模型采用joint特征与kernel特征融合,其识别准确率比与core特征融合的高;随着多运动特征的增多,MS-CNN模型的识别准确率有所提高。对比实验结果表明：MS-CNN模型在2个评估策略下的识别准确率超过了大部分对比模型(包括基准AIF-CNN模型)。     

基于面部表情和双流网络的驾驶员疲劳检测

提出了一种基于面部表情的驾驶员疲劳检测方法,该方法结合了传统特征提取和双流卷积神经网络。首先,对采集的驾驶员图片进行预处理,使用Dlib进行人脸检测以及人脸特征点定位。然后,根据人脸特征点获取人脸表情感兴趣区域以及嘴部区域,并分别提取Gabor特征和局部二值模式(local binary patterns, LBP)特征。最后,利用设计的疲劳表情识别网络对获取的两种传统特征进行信息融合以及疲劳表情识别。结果表明,提出的方法具有较高准确率,能够适应驾驶室内不同光照条件的场景,具有较强的鲁棒性。     

基于多尺度3D卷积神经网络的行为识别方法

近年来卷积神经网络(convolutional neural network,CNN)在行为识别任务中取得了较大的进展.然而,现有的神经网络方法往往只注重高层语义信息的利用,对浅层特征信息挖掘利用不够.针对这一问题,提出一种基于3D卷积(convolution 3D,C3D)的多尺度3D卷积神经网络的行为识别方法.该方法受到特征金字塔结构的启发,在原C3D的基础上融合C3D的浅层特征信息,实现端到端的行为识别.同时该方法以现有的深度学习理论为基础,利用迁移学习的思想,将C3D和该方法中相同模块部分的参数迁移到本方法中,以降低模型的训练时间.通过在UCF101数据集上进行实验,实验结果表明,提出行为识别方法的分类精度达到84.56％,分类效果优于原C3D分类网络.