基于时空感知级联神经网络的视频前背景分离

针对在复杂情景下视频前背景分离技术中存在的前景泄露问题,设计开发了一个端对端的二级级联深度卷积神经网络,实现了对输入视频序列进行精确的前景和背景分离.所提网络由一级前景检测子网络和二级背景重建子网络串联而成.一级网络融合时间和空间信息,其输入包含2个部分:第1个部分是3张连续的彩色RGB视频帧,分别为上一帧、当前帧和下一帧;第2个部分是3张与彩色视频帧相对应的光流图.一级前景检测子网络通过结合2部分输入对视频序列中运动的前景进行精确检测,生成二值化的前景掩膜.该部分网络是一个编码器-解码器网络:编码器采用VGG16的前5个卷积块,用来提取两部分输入的特征图,并在经过每一个卷积层后对两类特征图进行特征融合;解码器由5个反卷积模块构成,通过学习特征空间到图像空间的映射,从而生成当前帧的二值化的前景掩膜.二级网络包含3个部分:编码器、传输层和解码器.二级网络能够利用当前帧和生成的前景掩膜对缺失的背景图像进行高质量的修复重建.实验结果表明,本文所提时空感知级联卷积神经网络在公共数据集上取得了较其他方法更好的结果,能够应对各种复杂场景,具有较强的通用性和泛化能力,且前景检测和背景重建结果显著超越多种现有方法.     

基于轻量化卷积神经网络的苹果目标检测算法

针对当前苹果检测算法模型参数多、检测实时性差的问题,提出一种基于轻量化卷积神经网络的苹果目标检测算法.首先,用经典轻量化卷积神经网络ShuffleNet V2替换YOLO v5s的主干网络,实现模型的轻量化;然后,用stem模块取代主干网络的图像处理层进行初始特征提取并且嵌入SPPF结构,弥补轻量化带来的精度损失;最后,在边界框的回归损失函数中引入α幂化指标,进一步提高边界框的定位精度.试验结果表明,改进后算法模型的平均精度均值达到95.8%,网络参数量降低了85.6%,在GPU上的单张平均检测时间仅10 ms,满足苹果采摘任务对检测精度和实时性的要求.     

基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.     

一种基于双流卷积神经网络跌倒识别方法

针对跌倒行为的视觉特征难以提取的问题,提出一种由两路卷积神经网络和模型融合部分组成的双流卷积神经网络(Two-Stream CNN)的跌倒识别方法.该方法的一路对视频帧的运动人加框标记后,送三维卷积神经网络(3D-CNN)处理来消除视频背景的干扰;另一路从相邻视频帧获取光流图后,送VGGNet-16卷积神经网络处理;最后将3D-CNN和VGGNet-16的Softmax输出识别概率加权融合作为Two-Stream CNN输出结果.实验结果表明:标记运动人并经3D-CNN处理有效地消除了视频背景的干扰;Two-Stream CNN跌倒识别率为96%,比3D-CNN提高了4%,比VGGNet-16网络提高了3%.     

基于光流场的时间分段网络行为识别

针对在双流时间分段网络上进行行为识别在预处理阶段耗时长、精细度有待提高这一问题,在现有的时间分段网络的基础上,将深度学习求解光流场的算法引入到行为识别这一应用中.用原始RGB帧图像作为空间卷积网络的输入提取外观信息,深度学习算法从相邻帧提取的光流场特征图像作为时间卷积网络的输入提取运动信息,两者互为补充,最后将空间卷积网络和时间卷积网络的输出加权融合得到最终识别结果.实验结果表明:用深度学习求解光流场的算法可有效提高识别算法的运算速度,同时也取得了较好的识别效果.     

超像素梯度流与元胞机融合的视频显著图检测

使用静态空间特征通常无法得到准确的视频显著性目标对象,提出了超像素梯度流场与元胞自动机融合的视频图像显著性检测方法.首先,使用SLIC方法将视频帧分割成超像素,在超像素级上运用光流梯度和颜色梯度生成一个时空梯度函数,由时空梯度得到新的梯度流场值,将视频中运动信息充分利用起来;其次,在视频帧超像素图像上使用卷积神经网络得...     

一种基于双流网络的行为识别方法

针对视频行为识别任务,提出一种基于双流网络的行为识别方法.首先,该网络采用稀疏采样的策略,避免相邻帧的冗余信息对识别效果产生影响;其次,利用卷积神经网络预测光流图,提高光流图的获取效率,并降低计算量;最后,使用残差网络提取完成的视频信息,同时简化神经网络的训练过程.为验证双流行为识别网络的有效性,在两个经典数据集上进行对比实验,实验结果表明,该双流行为识别网络识别效果较好,可应用于智能视频监控、人机交互、公共安全等领域.     

拆分降尺度卷积神经网络入侵检测方法

针对卷积神经网络(convolutional neural network, CNN)模型待训参数量过大、多层网络导致特征和梯度消失等问题,提出一种基于拆分层和Inception-ResNet的卷积神经网络模型用于入侵检测。首先将网络流量数据转化为具有空间相关性的图像以适用于卷积神经网络的输入;然后使用Inception-ResNet卷积层增加网络深度,减少模型训练参数数量以及消除梯度消失问题,拆分层在降低图像尺度时基本保持图像原有分类特征;最后采用NSL-KDD数据集对改进模型进行训练和测试。测试结果表明：改进模型相对于Inception-ResNet模型具有更高的检测准确率和少数类样本召回率以及更好的训练时间性能。     

轻量化自适应特征选择目标检测网络

在小目标物体检测、多类别物体检测尤其是轻量化检测模型等关键技术研究方面仍面临较大的挑战,基于此,本文提出一种轻量化自适应特征选择目标检测网络.该网络以特征金字塔为基础,提取多尺度图像特征并从空间维度上对特征图进行滤波,从通道维度上自适应地选择特征图中更重要的通道,降低多通道下噪声和干扰对目标特征的稀释作用,减少特征图在传递过程中的信息丢失.除此之外,构建深度可分离卷积的分类网络,降低后续处理的计算量,加快检测速度,实现网络的轻量化处理.在PASCAL VOC 2007数据集上的检测平均精度为77.7%,检测速度为14.3帧/s.在MS COCO数据集上的测试结果表明,该网络在精度损失小于5%的情况下,检测速度远超FPN,比Mask R-CNN可以更好地兼顾检测速度和检测精度.     

融合FCN和LSTM的视频异常事件检测

针对传统视频异常检测模型的缺点,提出一种融合全卷积神经(FCN)网络和长短期记忆(LSTM)网络的网络结构.该网络结构可以进行像素级预测,并能精确定位异常区域.首先,利用卷积神经网络提取视频帧不同深度的图像特征;然后,把不同的图像特征分别输入记忆网络分析时间序列的语义信息,并通过残差结构融合图像特征和语义信息;同时,采用跳级结构集成多模态下的融合特征并进行上采样,最终获得与原视频帧大小相同的预测图.所提网络结构模型在加州大学圣地亚哥分校(UCSD)异常检测数据集的ped 2子集和明尼苏达大学(UMN)人群活动数据集上进行测试,均取得了较好的结果.在UCSD上的等错误率低至6.6%,曲线下面积达到了98.2%,F_1分数达到了94.96%;在UMN上的等错误率低至7.1%,曲线下面积达到了93.7%,F_1分数达到了94.46%.     

Multiple feature fusion in convolutional neural networks for action recognition

Action recognition is important for understanding the human behaviors in the video, and the video representation is the basis for action recognition. This paper provides a new video representation based on convolution neural networks (CNN). For capturing human motion information in one CNN, we take both the optical flow maps and gray images as input, and combine multiple convolutional features by max pooling across frames. In another CNN, we input single color frame to capture context information. Finally, we take the top full connected layer vectors as video representation and train the classifiers by linear support vector machine. The experimental results show that the representation which integrates the optical flow maps and gray images obtains more discriminative properties than those which depend on only one element. On the most challenging data sets HMDB51 and UCF101, this video representation obtains competitive performance.     

基于卷积神经网络和迁移学习的结构损伤识别

针对传统基于机器学习损伤识别方法手工提取特征适应性差、识别能力弱等问题,提出一种基于卷积神经网络和迁移学习的新颖、快速结构损伤识别方法.首先根据损伤特征向量特点,提出原始信号的分帧处理流程;其次考虑多传感器数据融合要求,建立多通道一维卷积神经网络结构损伤识别模型,给出模型的整体流程和网络参数;然后采集不同通道和不同噪声水平下,模拟不同位置程度损伤的15层框架数值模型加速度数据,进行损伤识别;最后将网络模型进行迁移学习,对7层框架模型试验进行损伤识别,并验证所提方法的可行性、准确性和计算复杂性.结果表明,该方法实现了特征自适应提取、损伤位置和损伤程度的精准识别,具有突出的计算效率.     

基于光流重构和深度姿态特征的行人跌倒检测方法

随着我国老龄化人群数量的增长,老年人实时行为轨迹的跟踪检测成为当前智慧社区研究的热点。本文针对现有行人跌倒检测算法在面临电动车流和行人影子的干扰而导致识别准确率不高的问题,提出了一种基于优化yolov5的路边行人跌倒检测方法。首先基于视频抽帧的方式将原始数据输入到yolov5网络进行监控行人视频数据的预处理,实现行人背景重构;然后提取光流和anchor框作为其运动特征;最后对此特征进行判定,进行信息融合的跌倒检测网络进行跌倒特征识别,并在不同帧序列和不同背景下进行对比试验。本文所提出的方法在行人跌倒数据集Multiple cameras fall和Le2i上进行了实验,结果表明本文的算法在基于电动车流和行人影子干扰场景下较传统方法在准确率和召回率上分别提升了9%和10%。     

基于多通道小波卷积神经网络的路面异常检测算法

为了保证路面质量和行人与驾驶员的安全,提出了一种利用传感器时序多变量信号数据进行路面异常检测的算法.针对行驶过程中需要结合多种传感器信号在不同尺度对路面特征进行分析的问题,提出结合小波卷积网络和多通道网络技术,实现路面异常检测.首先,在多级小波变换间加入卷积神经元网络,从多个尺度分析单个传感器信号的局部连续性;然后,构建多通道神经网络,将多个传感器信号分别作为不同通道的输入,计算多个信号相结合的特征向量;最后,使用多层感知机根据多通道小波网络的输出实现路面异常检测.实验结果表明,该检测算法相对于传统的时间序列分类方法,同时考虑了多尺度分析、信号局部连续性和多变量信号的结合,在分析多变量时序信号数据时,具有更低的误检率和漏检率,更高的F1值.     

基于卡尔曼滤波多目标追踪的家用精子活力检测算法研究与验证

针对传统精液分析方法存在的主观性差异、操作繁琐和不适合便携式家用检测等问题,研究并验证了一种基于卡尔曼滤波多目标追踪技术的精子活力检测系统算法. 首先,通过叠加平均法,获取静态精子数量,根据三帧差法获取运动精子质心位置;然后,使用卡尔曼多目标追踪方法绘制运动目标轨迹,再根据筛选条件获取运动精子数量;最后,综合静态与运动精子数量评价精子活力. 通过对实际采集的7组样本图像进行分析,研究结果表明：该系统所检测精子的活力值与人工检测的活力值相差较小,基本满足了家用精子活力检测的需求.     

利用深度神经网络的无监督视频表示

在计算机视觉领域中,大多数的视频表示方法都是有监督的,需要大量带有标签的训练视频集,但标注大量视频数据会花费极大的人力和物力.为了解决这个问题,提出了一种基于深度神经网络的无监督视频表示方法.该方法利用改进的稠密轨迹(iDT)算法提取的视频块交替地训练深度卷积神经网络和特征聚类,得到可提取视频特征的深度卷积神经网络模型;通过视频的中层语义特征,实现了无监督视频表示.该模型在HMDB 51行为识别数据库和CCV事件检测数据库上分别进行了动作识别和事件检测的实验,获得了62.6%的识别率和43.6%的检测率,证明了本文方法的有效性.     

基于像素流的视频彩色化

针对利用传统光流传递关键帧颜色信息的视频彩色化方法计算耗时问题,以及全局传递颜色的视频彩色化方法导致欠饱和度问题,提出基于像素流的视频彩色化方法.首先,将参考帧与目标帧转换到Lab颜色空间中,利用其亮度通道通过一个深度学习网络得到像素流,该像素流中的数值指示了目标帧的颜色在参考帧中的位置;然后,利用该像素流对参考帧颜色...     

一种基于光流双输入网络的微表情顶点帧检测方法

微表情顶点帧蕴含着丰富的微表情信息，为了准确地检测出微表情顶点帧，本文提出了一种基于光流特征的神经网络分类，并利用先验知识规则进行取舍的检测方法. 该方法针对固定滑窗大小内的图像进行光流信息提取，利用双输入特征提取网络对x, y方向的光流信息进行时空特征提取，并进行分类，经根据微表情先验知识所设计的取舍规则后处理后，改善了检测准确度. 实验结果表明，在数据集CASMEⅡ上测试，顶点定位率（apex spotting rate，ASR）指标达到了0.945，F₁-score指标达到了0.925.