结合语义分割和特征融合的行人检测方法

针对传统行人检测方法在复杂场景下存在遮挡行人和小尺寸行人检测效果差的问题,提出一种结合语义分割和特征融合的行人检测方法。该方法的网络结构以区域全卷积神经网络为基础框架,根据行人检测任务进行改进。使用深度残差网络提取出多尺度的特征映射图;通过全卷积语义分割网络,得到对应的语义分割图;利用特征融合模块构造出融合特征图;将融合特征图送入区域建议网络和检测网络,完成行人检测。在Caltech和ETH行人检测数据集上进行试验验证,结果表明,与传统行人检测方法相比,该方法的行人检测准确率得到提高,同时检测速度满足实时性要求。     

基于时空感知级联神经网络的视频前背景分离

针对在复杂情景下视频前背景分离技术中存在的前景泄露问题,设计开发了一个端对端的二级级联深度卷积神经网络,实现了对输入视频序列进行精确的前景和背景分离.所提网络由一级前景检测子网络和二级背景重建子网络串联而成.一级网络融合时间和空间信息,其输入包含2个部分:第1个部分是3张连续的彩色RGB视频帧,分别为上一帧、当前帧和下一帧;第2个部分是3张与彩色视频帧相对应的光流图.一级前景检测子网络通过结合2部分输入对视频序列中运动的前景进行精确检测,生成二值化的前景掩膜.该部分网络是一个编码器-解码器网络:编码器采用VGG16的前5个卷积块,用来提取两部分输入的特征图,并在经过每一个卷积层后对两类特征图进行特征融合;解码器由5个反卷积模块构成,通过学习特征空间到图像空间的映射,从而生成当前帧的二值化的前景掩膜.二级网络包含3个部分:编码器、传输层和解码器.二级网络能够利用当前帧和生成的前景掩膜对缺失的背景图像进行高质量的修复重建.实验结果表明,本文所提时空感知级联卷积神经网络在公共数据集上取得了较其他方法更好的结果,能够应对各种复杂场景,具有较强的通用性和泛化能力,且前景检测和背景重建结果显著超越多种现有方法.     

基于卷积神经网络和递归图的桥梁损伤智能识别

为改进目前传统损伤识别方法对桥梁局部小损伤识别能力较弱的不足,提出利用深度学习方法中的卷积神经网络对桥梁损伤进行统计模式识别.根据卷积神经网络对损伤特征向量的需求,将车桥耦合振动下的原始结构响应信号进行小波包滤波和重构,之后通过递归分析获取不同损伤工况的递归图,将其作为新型的损伤特征图像作为卷积神经网络的输入.在此基础上提出基于卷积神经网络和递归图的桥梁结构损伤识别计算流程和方法.对一座连续梁桥进行不同位置和程度的损伤模拟,提取小波包频带能量及递归图等损伤特征向量,并进行基于多种统计模式识别算法的损伤识别.结果表明:与其他特征向量相比,递归图蕴含更丰富的损伤信息;与支持向量机和BP神经网络等传统统计模式识别方法相比,卷积神经网络能够通过逐层智能学习实现更准确的特征自动提取和区分,从而实现损伤位置和损伤程度的更精准识别.     

结合关联特征和卷积神经网络的视频目标检测

针对视频目标检测领域中使用图像检测算法存在的速度与精度相互制约的问题,为充分利用目标在帧之间的运动信息,提出一种结合关联特征和卷积神经网络的视频检测方法.首先,当前视频帧使用图像检测算法提取特征,其次,利用两帧的关联特征预测当前帧的特征图,最后,使用关联特征中的运动信息来修正最终结果.本文的方法最终在ImageNet数据集上进行了实验,结果比当前方法获得了较好的精度提升,同时保持了较快的速度.     

基于卷积神经网络的监控视频人数统计算法

监控视频中人数统计是现代安防的重要任务之一,具有较高的研究意义和应用价值.虽然近年来取得较大的进展,但仍无法很好地解决监控场景人数统计精度、高清图像耗时问题.为此,作者提出一种基于卷积神经网络与岭回归联合的人数统计方法.通过卷积神经网络回归图像中人头中心点获得人群密度分布特征图,然后使用岭回归模型分析人群密度分布特征图得到该帧图像对应的人数.作者提出的算法通过在多组视频图像上进行了测试,并与经典算法做了比较.实验结果验证了作者方法的有效性.     

基于改进的卷积神经网络的钢号识别

为获取样本的多样性特征,提出了一种改进的卷积神经网络结构。该网络中引入多层递归神经网络,利用卷积神经网络提取输入图像的浅层特征,同时利用卷积神经网络和递归神经网络并行提取高层特征,最后将两种网络学习到的特征进行融合输入到分类器中分类。利用迁移学习理论解决小样本集数据训练不足的问题,并将这种卷积神经网络结构应用于石油物资管线钢号识别中。实验探究了递归神经网络个数与卷积核个数对网络性能的影响,实验结果表明,改进的网络结构与其它网络进行对比,错误率降低了 3% 。     

基于卷积-递归神经网络和费舍尔向量的RGB-D物体识别

综合利用彩色和深度信息,采用多数据模式的特征提取策略,提出一种基于卷积-递归神经网络和费舍尔向量的RGB-D 物体识别方法. 对于彩色图像和深度图像,分别利用卷积-递归神经网络和卷积-费舍尔向量-递归神经网络提取物体的纹理及形状特征. 为了更加全面的获取物体信息的特征表述,引入了灰度图像和表面法向量作为原始数据的补充,并利用卷积-递归神经网络提取特征. 最后,将4 种数据模式下提取到的特征融合起来,输入到softmax 分类器中实现RGB-D 物体识别. 在标准的RGB-D 数据库中对算法进行验证,所提算法可以有效提高物体识别率.     

基于RNN的视频模型构建和动作识别策略研究

递归神经网络(RNN)和长短时记忆(LSTM)在处理顺序多媒体数据方面取得显著成就。因此,提出了一种双向长短时记忆的递归神经网络(DLSTM),该方法结合了卷积神经网络(CNN)和递归神经网络的动作识别新方法。首先,利用CNN提取视频的深度特征,构建视频特征模型,以减少冗余和复杂性。然后,利用递归神经网络学习帧特征之间的序列信息。该方法具有学习长序列的能力,能够在一定的时间间隔内通过分析特征来处理较长的视频。实验结果与现有的方法比较,该方法在动作识别方面有明显完善。     

广义二维PCA和稀疏表示的红外行人目标检测

红外行人检测在夜间智能视频监控,车辆安全驾驶等领域有重要应用。为了解决红外图像特征降维后空间结构信息丢失的问题,提出一种基于广义二维主分量分析（principal component analysis,PCA）和稀疏表示的红外图像行人目标检测算法。该算法主要由2个阶段组成：第1阶段利用广义二维主分量分析方法提取图像的二维主特征分量,并由此构造行人目标的超完备特征字典;第2阶段采用滑动窗口的方法得到图像中局部子图,然后利用基追踪算法求解每个局部子图的稀疏表示系数向量,最后定义一个函数度量每个子图存在行人目标的可能性,并设置相邻标记框的最小距离得到整幅图像最终的检测结果。实验结果表明,该方法能够有效地检测红外图像中的行人目标,具有较好的检测效果。     

超像素梯度流与元胞机融合的视频显著图检测

使用静态空间特征通常无法得到准确的视频显著性目标对象,提出了超像素梯度流场与元胞自动机融合的视频图像显著性检测方法。首先,使用SLIC方法将视频帧分割成超像素,在超像素级上运用光流梯度和颜色梯度生成一个时空梯度函数,由时空梯度得到新的梯度流场值,将视频中运动信息充分利用起来;其次,在视频帧超像素图像上使用卷积神经网络得到其深度特征,通过元胞自动机使这些深度特征依自定义规则更新出粗略显著图,然后将梯度流场显著图与元胞自动机粗略显著图融合得到最终的显著图;最后,在ViSal数据集上、采用5种评估指标、与现有的4种方法进行对比实验,结果表明本文方法在动态视频图像显著性检测中有好的表现。     

基于膨胀卷积的多模态融合视线估计

基于表观的视线估计方法主要是在二维的三原色(red green blue,RGB)图像上进行,当头部在自由运动时视线估计精度较低,且目前基于卷积神经网络的表观视线估计都普遍使用池化来增大特征图中像素点的感受野,导致了特征图的信息损失,提出一种基于膨胀卷积神经网络的多模态融合视线估计模型.在该模型中,利用膨胀卷积设计了一种叫GENet(gaze estimation network)的网络提取眼睛的RGB和深度图像的特征图,并利用卷积神经网络的全连接层自动融合头部姿态和2种图像的特征图,从而进行视线估计.实验部分在公开数据集Eyediap上验证了设计的模型,并将设计的模型同其他视线估计模型进行比较.实验结果表明,提出的视线估计模型可以在自由的头部运动下准确地估计视线方向.     

多尺度卷积神经网络的图像超分辨率重建算法

为利用多尺度信息重建超分辨率图像,提出多尺度卷积神经网络的图像超分辨率重建算法。算法利用不同尺度的卷积核提取图像特征,为图像重建提供不同大小的邻域信息;用瓶颈层融合多尺度特征图,增强网络非线性表示能力,降低中间层输出的维数,提高图像的超分辨率重建性能。多个测试集上的实验结果表明,多尺度卷积神经网络算法优于现有的单幅图像超分辨率方法。     

基于局部卷积的视频图像像素补偿方法

为了修复高速运动目标视频图像的缺失像素，提出了一种基于局部卷积的视频图像像素补偿方法(局部卷积补偿方法).首先引入局部卷积方法，分割神经网络模型，重建视频图像帧；再激活源视频图像及对应像素空间；最后采用线性均值补偿方法补偿视频图像内插帧空洞，并判断视频图像匹配程度，完成视频图像像素补偿.对比实验结果表明，局部卷积补偿方法的平均梯度为11.239,明显高于遥感图像分类方法、单幅图像超分辨率重建方法和多尺度递归图像超分辨率重建方法的平均梯度，说明经过局部卷积补偿方法补偿后的视频图像具有较高的清晰度.     

基于卷积神经网络的人流量统计

在密集场景中,人流量统计往往因无法可靠地检测行人而使得统计精度不高.针对这一问题,在利用卷积神经网络技术基础上,采用基于头部检测的方法进行人流量统计.该方法采用级联的Adaboost检测器对人头目标进行初步筛选,再用迁移学习技术训练卷积神经网络,并用由卷积神经网络和支持向量机构成的人头分类器模型对初步筛选得到的人头目标进行精细识别,提高检测精度率,利用航迹关联对人头目标进行跟踪统计.实验结果表明,该方法能准确快速地定位到单个行人并具有较高的统计精度.     

一种特征融合的小目标车辆检测算法

针对目前基于深度卷积神经网络的目标检测中,高维特征会遗失小区域特征及目标位置信息,从而导致对小目标的识别率很低的问题,提出了一种利用特征层融合进行检测的算法。利用图像插值方法,将高维特征图与低维特征图转化为同样尺寸,通过设置一个网络自学习参数来对各特征图进行有效融合,使得最终进行检测的特征图同时具有丰富的语义信息与尽可能多的目标特征信息。构建了一个简单的卷积神经网络模型,对道路场景中的远距离车辆进行检测,在KITTI数据集上进行测试。测试结果表明:与主流的FasterRCNN和SSD检测框架相比,该模型的检测召回率分别提高了5. 9%和14. 6%。     

基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.     

一种基于深度卷积神经网络的道路损伤检测研究

基于传统道路损伤检测方法主要通过人工选取特征识别道路损伤,致使检测过程中抗干扰性较差,进而制约道路损伤识别精度的提高.针对这一问题,提出一种基于深度卷积神经网络的道路损伤检测方法.通过引入深度学习算法,利用迁移学习策略,构建稳健的非线性道路损伤识别模型;结合真彩色的道路图像,利用多层卷积神经网络抽取局部损伤区域的高级语义特征,实现复杂背景变化下的道路损伤智能检测.实验结果表明,提出的方法可准确识别道路损伤图像,相比常用方法能显著提高识别准确率.     

利用深度神经网络的无监督视频表示

在计算机视觉领域中,大多数的视频表示方法都是有监督的,需要大量带有标签的训练视频集,但标注大量视频数据会花费极大的人力和物力.为了解决这个问题,提出了一种基于深度神经网络的无监督视频表示方法.该方法利用改进的稠密轨迹(iDT)算法提取的视频块交替地训练深度卷积神经网络和特征聚类,得到可提取视频特征的深度卷积神经网络模型;通过视频的中层语义特征,实现了无监督视频表示.该模型在HMDB 51行为识别数据库和CCV事件检测数据库上分别进行了动作识别和事件检测的实验,获得了62.6%的识别率和43.6%的检测率,证明了本文方法的有效性.     

基于卷积神经网络的固定群体中目标人物分类

卷积神经网络作为深度学习的重要分支,在图像识别、图像分类等方面有广泛的应用,其中快速特征嵌入卷积神经网络框架(convolutional architecture for fast feature embedding,Caffe)是目前炙手可热的深度学习工具.针对固定群体中的目标人物,提出一种基于卷积神经网络的分类方法,该方法不依赖于人脸图像集,而是通过摄像头采集视频,并利用直方图的归一化互相关方法从视频中截取训练图片,再通过Caffe产生训练模型,并将个体目标图片在模型中进行匹配,达到在固定人物群体中对个体目标进行分类的目的.实验结果表明,利用前期的训练模型可对固定群体中的个体目标进行准确匹配.     

基于卷积神经网络的入侵检测算法

作为深度学习的一种有效算法,深度卷积网络已成功应用在处理图像、视频和音频等领域.通过建立一卷积神经网络模型并应用于网络入侵检测,选取的卷积核与数据进行卷积操作提取特征的局部相关性从而提高特征提取的准确度.采集到的网络数据通过多层"卷积层-下采样层"的处理对网络中正常行为和异常行为的特征进行深度刻画,最后通过多层感知机进行正确分类.KDD 99数据集上的实验表明,文中提出的卷积神经网络模型与经典BP神经网络、SVM算法等相比,有效提高了入侵检测识别的分类准确性.