治安监控视频中暴力行为的识别与检测

为了充分提取治安监控视频中的时空特征和时序特征,并对暴力行为进行准确的识别与检测,提出一种基于三维卷积神经网络(3DCNN)和卷积长短期记忆网络(Conv LSTM)的暴力行为识别算法。首先,采用一种通用视频描述符—3DCNN结构,提取视频的短时特征,这些特征封装了视频中与目标和场景相关的背景信息,然后,构建Conv LSTM网络对3DCNN提取的短时特征在时间轴上进行建模,进而充分提取视频的高层时序特征。最后,利用Sigmoid函数分类行为动作。为了验证该算法的高效性,对所提出的方法在暴力行为数据集Hockey上进行验证,达到了98.96%的识别精度。测试结果表明,该融合模型在检测效果上优于目前人工提取特征的方法和深度学习的方法。     

基于改进的卷积神经网络的负面表情识别方法

为了解决传统的基于人工特征的负面表情识别方法在面部无遮挡、姿态非倾斜的人脸表情图像上表现良好,但是在复杂场景下的识别效果较差的问题,提出了一种基于改进的卷积神经网络的负面表情识别方法.首先利用卷积神经网络的无监督特征学习的特性,预训练两个不同拓扑结构的卷积神经网络,用以提取表情特征;然后融合这些特征,训练分类性能更强的支持向量机.改进后的卷积神经网络算法具有较好的鲁棒性和泛化能力,在训练数据库ICML-fer2013上取得了86.2%的识别率,在测试数据库CK+,GENKI和JAFFE上分别取得了81.6%,87.0%和80.8%的识别率.     

基于卷积神经网络的入侵检测算法

作为深度学习的一种有效算法,深度卷积网络已成功应用在处理图像、视频和音频等领域.通过建立一卷积神经网络模型并应用于网络入侵检测,选取的卷积核与数据进行卷积操作提取特征的局部相关性从而提高特征提取的准确度.采集到的网络数据通过多层"卷积层-下采样层"的处理对网络中正常行为和异常行为的特征进行深度刻画,最后通过多层感知机进行正确分类.KDD 99数据集上的实验表明,文中提出的卷积神经网络模型与经典BP神经网络、SVM算法等相比,有效提高了入侵检测识别的分类准确性.      

基于深度信念卷积神经网络的图像识别与分类

针对基于卷积神经网络的图像识别采用随机初始化网络权值的方法易收敛到局部最优值的问题,该文提出了一种结合无监督和有监督学习的网络权值预训练算法。融合零成分分析白化与深度信念网络预学习得到的特征,对卷积神经网络权值进行初始化;通过卷积、池化等操作,对训练样本进行特征提取并使用全连接网络对特征进行分类;计算分类损失函数并优化网络参数。在公开图像数据库中进行了大量实验,与公开最佳算法比较,该算法在MNIST中的识别错误率降低了0.1%,在Caltech101中的分类准确率提升了0.56%,验证了该算法优于现有算法。     

油井工况智能监测与风险防控技术研究

为了实现油井工况的自动评估与智能管理,达到防范风险的目标,基于深度学习技术建立了油井工况智能监测与风险防控方法.将实际油田数万条示功图数据整理为卷积神经网络模型的训练集,并基于该训练集,利用监督误差反向传播算法对基于卷积神经网络模型的示功图识别模型进行了训练和测试.结果表明,基于深度学习技术的示功图识别模型的准确度达到95%以上.研究成果应用于国内某油田,采油系统效率总体提升2.67%,工况合格率提升11%,防范风险成功率提高60%.研究成果为同类油田提供了一定的技术借鉴.     

基于卷积神经网络的室内场景识别

场景识别一直是图像处理领域的重要问题之一,对研究移动机器人定位、计算机视觉等方面具有重要意义.然而,室内场景的复杂性与无序性使室内场景识别研究面临许多挑战.传统的手工提取特征无法充分描述室内场景的信息,而卷积神经网络提取的特征能够包含丰富的场景语义和结构信息,且对于平移、比例缩放、倾斜等形式的变形具有高度不变性,因此提出了应用基于卷积神经网络的GoogLeNet网络模型来完成识别任务的方法.该网络模型在深度学习框架Caffe上对MIT_Indoor数据集的识别准确率为59.7%,高于使用传统手工提取特征的算法的准确率,对比结果说明了深度卷积神经网络在室内场景识别问题上的有效性.     

融合卷积神经网络与Adaboost算法的病害松树识别

针对无人机平台获取的高分辨率可见光松树图像,提出一种结合深度卷积神经网络和Adaboost算法的病害松树识别方法,解决传统机器学习方法识别病害松树精确度不高问题.首先利用卷积神经网络训练病害松树模型再利用训练模型将地物中的田地、裸土及黑影等复杂信息剔除掉,提取病害松树、健康松树及黑影区域的颜色和纹理特征,依据提取的特征在剔除地物干扰项后的决策层使用Adaboost分类器进行目标识别.实验结果表明,该方法相较传统的K-means聚类、支持向量机、Adaboost算法、BP神经网络、VGG(visual geometry group)算法等在识别精确度方面有显著提高.     

基于深度学习的网络攻击检测

针对现有的网络攻击检测方法检测精度不高的问题,提出一种基于并行卷积神经网络的在线网络安全攻击检测方法.该并行的深度卷积神经网络一共包含2个深度卷积神经网络用于提取特征:CNN1和CNN2,然后通过全连接层两个特征提取层,并通过软最大化操作将网络攻击的检测转换为攻击的分类模型.采用KDD Cup99作为仿真数据集,并采用训练数据来对深度模型进行训练,当模型的训练误差小于一定阈值时,采用测试数据进行测试.结果表明:将本文所提方法与文献[8]以及文献[9]所提的卷积神经网络进行比较,其结果表明了所提方法不仅具有较高的检测准确率而且具有较低的误报率上.     

基于胶囊网络的三维网格模型分类方法

多边形网格作为一种复杂的数据结构为三维物体提供了有效的形状近似表示,但由于网格数据的复杂性和不规则性,卷积神经网络很难直接应用到三维网格数据处理中.因此,提出一种基于胶囊网络的深度学习方法对三维网格数据进行有效分类.首先设计一种能够直接在网格表面进行计算的多项式卷积模板,提取三维网格模型的高阶参数特征.同时,为解决传统卷积神经网络大量池化层的引入导致的特征丢失问题,针对输入网格模型尺寸大小不统一问题,改进了胶囊网络姿态参数学习方法,通过共享姿态矩阵权值,减少模型参数量,进一步提高了三维网格模型的训练效率.实验在SHREC15数据集上与传统方法和最新的两种方法进行比较,相比于最新方法 MeshNet和MeshCNN,在原始测试集上的平均识别准确率提高了3.4和2.1个百分点,且融合特征后平均准确率达到93.8%.经实验验证,在训练时间较短的前提下,该方法也能取得相当的识别效果.本文所提出的三维网格分类方法,综合了图形学与深度学习方法的优点,有效提高了三维网格模型的分类效果.     

基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.     

基于二阶有效通道注意力网络的无约束人脸表情识别

现有基于卷积神经网络的无约束人脸表情识别方法侧重于网络结构的设计，对网络学习到的通道间深层特征相关性的研究较少，没有充分利用神经网络提取表达力较强的特征。为解决此问题，设计了一种基于二阶有效通道注意力网络（second-order efficient channel attention network，SECA-Net）的无约束人脸表情识别方法。该方法采用轻量级的网络提取表情图像的深层特征，使用二阶有效通道注意力模块统计深层特征的二阶信息并捕捉跨通道特征间的依赖关系来自适应地缩放通道特征，进而获得更具判别力的表情特征。SECA-Net利用Softmax损失和中心损失联合优化模型进行表情分类，该模块具有较少的参数量、较低的显存需求和计算量，并且没有使用额外的数据预训练模型。同时，所提出的模块还能提取到人脸表情微小变化的局部特征。在RAF-DB和FER-2013无约束人脸表情数据集上的实验结果表明，提出的方法是有效的。     

一种基于双流卷积神经网络跌倒识别方法

针对跌倒行为的视觉特征难以提取的问题,提出一种由两路卷积神经网络和模型融合部分组成的双流卷积神经网络(Two-Stream CNN)的跌倒识别方法.该方法的一路对视频帧的运动人加框标记后,送三维卷积神经网络(3D-CNN)处理来消除视频背景的干扰;另一路从相邻视频帧获取光流图后,送VGGNet-16卷积神经网络处理;最后将3D-CNN和VGGNet-16的Softmax输出识别概率加权融合作为Two-Stream CNN输出结果.实验结果表明:标记运动人并经3D-CNN处理有效地消除了视频背景的干扰;Two-Stream CNN跌倒识别率为96%,比3D-CNN提高了4%,比VGGNet-16网络提高了3%.     

基于语音与人脸参数化表示的跨模态稠密深度

为了提高跨模态人脸表示与合成的性能,针对语音与人脸图像2种模态数据,提出一种基于人脸参数化表示与稠密深度网络相结合的面部生成方法。针对输入语音模态,通过对信号进行频谱变换,将一维时域信号转换到二维频率域,可提取频域上稳健的特征描述;针对输出图像模态,利用主动外观模型对不同面部区域独立建模以降低区域间的相关性,并提取紧凑的人脸参数化特征;为了获得有效的跨模态学习性能,提出采用稠密连接的深度卷积神经网络学习语音、图像2种模态的回归预测,并通过预测的人脸参数进行面部重构,所采用的深度网络模型可以加强特征传播与特征复用,有利于增强面部细节的合成。在2组音视频数据集上验证了提出方法的有效性。     

选择性搜索和多深度学习模型融合的目标跟踪

提出一种基于深度学习的多模型(卷积神经网络和卷积深信度网络)融合目标跟踪算法.该算法在提取候选粒子方面,使用选择性搜索和粒子滤波的方法.CVPR2013跟踪评价指标(50个视频序列、30个跟踪算法)验证了:该算法在跟踪中能有效地缓解目标物体由于遮挡、光照变化和尺度变化等因素造成的跟踪丢失情况的发生.     

基于深度残差卷积神经网络的高光谱图像超分辨方法

卷积神经网络由于其强大的非线性表达能力在自然图像的处理问题中已经获得了非常大的成功。传统的稀疏表示方法利用精确配准的高分辨率多光谱图像,从而限制了实际应用。针对传统方法的不足,本文提出了一种基于深度残差卷积神经网络的单高光谱图像超分辨率方法,无需对应的多光谱图像。我们构建深度残差卷积神经网络挖掘低分辨率遥感图像和高分辨率遥感图像之间的非线性关系。构建的深度学习网络串联多个残差块,并去除一些不必要的模块,如批标准化层,每个残差块只包含两个卷积层,这样在保证模型效果的同时又加快模型的效率。此外,因为遥感图像训练数据缺乏,我们充分挖掘自然图像和高光谱图像之间的相似性,利用自然图像样本训练卷积神经网络,进一步利用迁移学习将训练好的网络模型引入到高分辨率遥感图像超分辨问题上,解决了训练样本缺乏问题。最后,基于实际的遥感数据超分辨实验结果表明,本文所提出的方法具有良好的性能,能得到较好的超分辨效果。     

Video Based Fire Detection Systems on Forest and Wildland Using Convolutional Neural Network

The devastating effects of wildland fire are an unsolved problem, resulting in human losses and the destruction of natural and economic resources. Convolutional neural network(CNN) is shown to perform very well in the area of object classification. This network has the ability to perform feature extraction and classification within the same architecture. In this paper, we propose a CNN for identifying fire in videos. A deep domain based method for video fire detection is proposed to extract a powerful feature representation of fire. Testing on real video sequences, the proposed approach achieves better classification performance as some of relevant conventional video based fire detection methods and indicates that using CNN to detect fire in videos is efficient. To balance the efficiency and accuracy, the model is fine-tuned considering the nature of the target problem and fire data. Experimental results on benchmark fire datasets reveal the effectiveness of the proposed framework and validate its suitability for fire detection in closed-circuit television surveillance systems compared to state-of-the-art methods.     

利用卷积神经网络的显著性区域预测方法

针对神经网络的显著性区域预测存在数据采集代价大、处理繁琐等问题,提出2种卷积神经网络,即从头开始训练的浅层卷积神经网络,以及前三层源自另一个网络的深层卷积神经网络。其中,浅层网络结构简单,可避免过拟合问题;深层网络可以充分利用最底层的模型参数,收敛更快,效果更好。所提卷积神经网络应用于回归问题,均没有直接训练特征图的线性模型,而是在迁移层上训练了一堆新的卷积层。从端到端的角度解决显著性预测,将学习过程演化为损失函数的最小化问题。测试和训练在SALICON,SUN和MIT300数据集上进行,实验结果验证了所提方法的有效性。其中,深层网络和浅层网络在SALICON和SUN数据上的结果相似,深层网络在MIT300上的结果更优,与其他方法相比,所提方法具有不错的表现,而且具有跨数据集的鲁棒性。     

基于唇重构与三维耦合CNN的多视角音唇一致性判别

针对传统音唇一致性判别方法主要对正面唇动视频进行处理,未考虑视频采集角度变化对结果的影响,且容易忽略唇动过程中的时空特性等不足,文中以唇部角度变化对一致性判别的影响为研究重心,结合三维卷积神经网络在非线性表示和时空维度特征提取上的优势,提出了基于正面唇重构与三维耦合卷积神经网络的多视角音唇一致性判别方法。该方法先通过在生成器中引入自映射损失来提高正面重建效果,并采用基于自映射监督循环一致性生成对抗网络（SMS-CycleGAN）的唇重构方法对多视角唇图进行角度分类及正面重构;然后设计两个异构三维卷积神经网络,分别用来描述音频和视频信号,并提取包含长时时空关联信息的三维卷积特征;最后引入对比损失函数作为音视频信号匹配的相关度鉴别度量,将音视频网络输出耦合到同一表示空间,并进行一致性判别。实验结果表明,文中方法能重建出更高质量的正面唇图,一致性判别性能优于多种不同类型的比较方法。     

基于卷积神经网络的无人机识别方法仿真研究

为了提高卷积神经网络(CNN)的泛化性和鲁棒性,改善无人机航行时识别目标图像的精度,提出了一种CNN与概率神经网络(PNN)相结合的混合模型。利用CNN提取多层图像表示,使用PNN提取特征对图像进行分类以替代CNN内部的BP神经网络,采用均方差和降梯度法训练模型,通过将预处理的图像传输到CNN-PNN模型,对图像纹理和轮廓进行分类识别,并将此模型的仿真结果与卷积神经网络模型、卷积神经网络-支持向量机模型的结果进行对比。仿真结果表明,与其他两种模型相比,CNN-PNN模型具有更好的精准度,识别率高达96.30%。因此,CNN-PNN模型能够快速有效地识别图像,准确度和实时性较高,在图像识别等方面具有很好的应用前景。     

一种基于多尺度融合卷积神经网络的人群计数方法

人群间的相互遮挡和多变的空间尺度是基于单幅图像人群计数算法面临的主要挑战.近年来,基于深度学习的人群计数算法在该问题上取得了显著的成效,然而越来越深的网络结构给模型的训练和应用带来了困难.为了解决上述问题,提出了一种基于多尺度融合卷积神经网络(multi-scale fusion convolution neural network,MSF-CNN)的人群计数方法.方法采用三列不同大小卷积核的卷积神经网络来提取不同空间尺度的图像特征,同时在网络结构中引入融合层将提取到的特征进行融合并求取密度图,最后对密度图积分求和得到人群数量.在ShanghaiTech数据集及UCF_CC_50数据集上的实验结果表明,该方法能够适应复杂的场景,有效减少人群间相互遮挡和空间尺度的变化对计数结果的影响,同时模型易于训练,明显优于现有人群计数方法.