一种基于MPEG-7颜色特征和块运动信息的关键帧提取方法

为了改进现有关键帧提取方法在相邻帧间相似性测度方面的不足,提出一种基于MPEG-7颜色布局特征匹配和块运动信息度量的关键帧选取方法。给出颜色布局特征的提取、相似度计算方法以及利用图像分块计算运动信息的方法,并结合距离累加算法提取视频镜头关键帧。实验结果表明,本方法比基于图像综合特征关键帧提取方法检索性能有明显提高,不易产生冗余和漏检,提取的关键帧能够充分代表镜头的内容。     

融合形状和运动特征的动作识别计算模型

针对视觉系统在动作识别过程中如何利用形状与运动信息的问题,提出了一种融合形状特征和运动特征的人体动作识别方法.该方法模拟视觉皮层的背侧和腹侧通路,建立了基于双通道理论的人体动作特征计算模型.计算模型分别利用2D Gabor滤波器和3D时空滤波器模拟腹侧和背侧通路中视觉皮层简单细胞,提取动作的时空信息,通过采样、局部遍历、模板学习一系列操作分别提取动作的时空特征,并采用线性融合方法获取描述动作的特征向量,构建了采用支持向量机(SVM)进行动作分类的动作识别系统.实验结果表明:该方法的识别性能优于同类型的识别方法,取得了较好的识别效果.     

基于Adaboost关键帧选择的多尺度人体动作识别方法

针对手工制作关键帧检测器和最初“特征包”方法的局限性,提出一种基于Adaboost关键帧选择和多尺度运动特征表示的人体动作识别方法.首先,从视频序列中提取兴趣点,使用生物启发特征结合光流的多尺度方法提取运动特征;然后,利用Adaboost学习方法从一个大的特征池中选取最具辨识度的几帧图像,并将排列前十的Adaboost帧作为相应的关键帧;最后,利用相关图表示关键帧,由支持向量机(support vector machine,SVM)完成人体动作分类.在KTH、多视图IXMAS和TUM数据库上的实验结果显示,该方法在3个数据库上的识别精度可分别高达95.5％,93.7％和91.5％,识别性能明显优于其他几种较新的方法,表明利用Adaboost学习算法可有效选取每个视频动作序列的关键帧,并有效解决了“特征包”方法的局限性问题.     

基于多特征融合及Transformer的人体跌倒动作检测算法

为解决跌倒动作的检测和空间定位问题,本文以YOLOv3目标检测算法为基础,提出了一种全新的用于人跌倒动作识别的检测架构.本算法将视频拆分成一系列的图片序列,并在图片序列中指定关键帧.通过3D卷积神经网络提取视频序列中的时间维度特征,2D卷积神经网络提取关键帧中的空间维度特征,经通道融合机制在不同尺度的预测特征层进行通道...     

遗传算法优化LVQ网络的监控视频关键帧内容识别

为解决监控视频检索中公安视频侦查关注目标的识别问题,提出一种基于遗传算法优化LVQ神经网络的关键帧内容识别方法。首先通过运动目标检测及二值图像的聚散熵,对监控视频进行子镜头划分,从而提取视频关键帧。其次归一化关键帧中的待识别目标,提取待识别目标的形状统计特征。再次构造LVQ网络并利用遗传算法对网络的初始权值进行优化,训练网络实现关键帧内容识别。最后列举出该方法的实验结果及性能分析。该方法在关键帧内容识别的准确性和鲁棒性上都有良好表现。     

基于时空特征的生猪动作识别

针对现代化养殖业无人化、智能化的需求,以目标检测网络YOLOv2为基础,提出了一种基于深度学习提取时空特征的生猪动作识别与定位的方法。对待检测视频关键帧中的生猪空间位置信息与视频流时序动作特征进行检测,采用通道注意力模块将这2种特征进行合理且平滑的特征融合,实现了一个端到端的动作识别网络,可以直接从视频序列中预测得到关键帧的包围框和动作分类概率。通过对某生猪养殖场群养栏监控视频进行训练和测试,研究了通道注意力模块和网络输入视频帧采样间隔对检测效果的影响,验证了三维卷积神经网络在生猪动作识别与定位中的有效性。     

利用小波分析进行基于形状的图像检索技术

目的 解决基于形状检索方法中形状描述符的不稳定、缺乏平移、旋转、尺度不变性等缺点。方法 通过对图像进行小波变换，获得多尺度下的不变矩，得到图像的特征描述符，通过特征描述符的欧氏距离来表示图像的相似度。结果 通过小波变换进行形状特征提取具有很好的图像检索效果。结论 新方法获得的描述符具有旋转、平移、尺度不变性等优点，能够很好地描述图像的形状和空间分布信息。     

一种基于属性贝叶斯网络的行为识别模型

针对传统行为识别方法仅利用底层特征识别的不足,提出了一种将动作属性与贝叶斯网络相结合的行为识别方法.首先,提取视频中的时空兴趣点及其3D-SIFT特征描述符,用词袋的方法建立时空词典对视频序列进行表示;然后,利用底层特征训练属性分类器,构造由底层特征到高层特征的映射,将底层特征样本经过属性分类器后得到行为—属性的样本信息,并采用MAP(最大后验概率)准则学习贝叶斯网络结构,从而建立一种基于属性贝叶斯网络的行为识别模型.实验结果表明该模型能有效地进行行为识别.     

柔性姿态估计和时空特征结合的乒乓球动作视频片段关键帧提取

为了解决传统方法在场景复杂的情况下,因无法保证时间与空间上的连续性,导致乒乓球动作识别错误,影响关键帧提取性能的问题,将柔性姿态估计和时空特征结合在一起,研究乒乓球动作视频片段关键帧提取问题。依据稠密光流对乒乓球动作视频片段进行分段。对单帧图像人体柔性姿态进行估计,通过可分离线性滤波器时空特征点检测方法对乒乓球动作视频图像序列特征点的检测,将时空特征点当成中心建立时空立方体,提取时空立方体的像素建立时空特征。为了保证时间与空间上的连续性,引入时空特征边,得到有时空特征的柔性姿态估计结果。通过直方图相交法求出乒乓球动作视频片段中姿态相似度,计算全部姿态的Hog间差异度,构成差异度矩阵。在当前帧姿态差异度超过阈值的情况下认为当前帧为关键帧。实验结果表明,所提方法针对不同场景的保真率与压缩率一直高于0. 7,处于较高水平;主观评价结果好,可提取合理关键帧。可见所提方法对复杂场景的关键帧提取性能优,主观与客观评价结果好。     

基于特征提取的健美操分解动作图像自适应识别方法

为了解决传统方法容易受运动速率、光照情况、遮挡、复杂背景等的影响,导致识别结果鲁棒性较差的问题,通过特征提取方法研究了健美操分解动作图像自适应识别问题。通过时间能量金字塔把视频序列划分成若干段,得到结果中动作并非全为健美操动作,含大量干扰信息,通过背景消减法对进行健美操运动的人体目标进行提取,进行进一步处理,得到人体轮廓的二值图像序列,求出轮廓外界矩形宽度和高度之比,依据宽高比获取关键帧,通过拉普拉斯法求解相邻差异帧与间的光流,降低背景杂波产生的影响。针对关键帧提取特征向量,通过相似性检测对待识别健美操分解动作图像和提取特征进行匹配,设定相似性阈值,将相似性高于阈值的图像作为识别结果。结果表明：所提方法对单人健美操视频数据库的识别准确率高,仅存在一定程度的混淆;所提方法对含不同场景的复杂数据库的识别准确性和其它方法相比最高。可见所提方法受外界环境干扰小,可保证高识别精度。     

基于目标检测及高密度轨迹的动作识别

为了实现准确的动作识别效果,我们通常需要提取能够充分代表运动特征的信息。近年来,基于高密度轨迹的动作识别方法因为能够提供丰富的时空信息而受到研究者们的广泛关注。但高密度轨迹类的动作识别算法通常都要面临背景冗余信息干扰的问题,为了解决这一问题,本文在高密度轨迹的动作识别方法基础上引入了目标检测算法,通过可变形块模型方法检测运动主体位置后计算其周围的高密度轨迹,有效地排除了背景冗余信息的干扰。而目标检测算法通常要面临丢帧问题,为了应对这一情况,本文采用了词袋模型和支持向量机进行动作特征表述和分类,词袋模型根据大量数据词频构建特征描述符的工作原理,使得目标检测偶有丢帧的情况并不影响动作识别的最终效果,结合高密度轨迹算法后有效地提高了传统高密度轨迹算法的效率,也获得了更为准确的识别效果。本文算法在KTH,UCF YouTube和UCF Sports数据集上较当前算法都取得了更高的动作识别准确率,尤其在复杂背景数据集UCF YouTube和UCF Sports上识别准确率分别可达89.2%和90.2%。     

基于光流约束自编码器的动作识别

为了改进特征学习在提取目标运动方向及运动幅度等方面的能力,提高动作识别精度,提出一种基于光流约束自编码器的动作特征学习算法.该算法是一种基于单层正则化自编码器的无监督特征学习算法,使用神经网络重构视频像素并将对应的运动光流作为正则化项.该神经网络在学习动作外观信息的同时能够编码物体的运动信息,生成联合编码动作特征.在多个标准动作数据集上的实验结果表明,光流约束自编码器能有效提取目标的运动部分,增加动作特征的判别能力,在相同的动作识别框架下该算法超越了经典的单层动作特征学习算法.     

基于关键帧轮廓特征提取的人体动作识别方法

为了在人体动作识别中获得更加准确的前景分割和防止关键信息的几何丢失,提出一种利用关键帧提取关键姿势特征的人体动作识别方法.由于背景建模和差分获得的前景不准确,利用基于纹理的灰度共生矩阵提取动作轮廓,并对原图像帧进行分割;然后计算人体Blob的能量,选取最大信息内容的帧作为关键帧,关键帧的获取使得特征提取对时间的变化具有一定鲁棒性;在特征分类识别阶段,为了提高分类的准确性,提出使用支持向量机-K最近邻(support vector machine-k nearest neighbor,SVM-KNN)混合分类器完成分类.在Weizmann,KTH,Ballet和TUM 4个公开数据集上实验验证了该方法的有效性.相比于局部特征方法、全局特征方法和关键点方法等,该方法获得了更高的识别率.此外,实验结果表明,该方法在KTH和Weizmann数据集上的早期识别效果优于Ballet数据集.     

基于3D梯度投影描述的微表情捕捉与识别

以3D梯度描述为依据,提出了一种基于3D梯度投影描述捕捉微表情关键帧的方法.首先,通过对视频流中面部特征区域的投影梯度方向直方图的直观描述来分析面部表情动作趋势,进而通过直方图的峰值区域捕捉微表情所在的关键帧;然后,运用多尺度多方向的Gabor滤波器组提取微表情特征区域的Gabor图谱,并引入局部二值模式进行特征降维;最后,通过基于梯度量级加权的最近邻算法进行微表情的识别与分类.实验结果表明:该方法摆脱了传统视频流表情分析系统对于动态图像序列进行逐帧检测识别的不足,较为有效地实现了图像序列中微表情关键帧的捕捉与识别,提高了系统的实时性与准确性,基本满足微表情对于系统强实时性的需求.     

基于上下文和稀疏表示的异常行为识别

提出了一种基于上下文和稀疏编码框架的无监督异常行为识别方法。首先对图像进行稠密采样,获得稠密轨迹,并提取轨迹中心周围图像块的形状特征、R–HOG、HOF特征作为特征描述符,加强了对运动信息的描述。其次,将人体行为区域和上下文区域分割开来建立2个独立字典。再将它们组成联合字典最大化字典信息,避免了单独识别人体异常行为而忽略上下文信息所导致的漏报。最后,利用稀疏重构的方法进行异常检测,分别计算测试样本中上下文区域和行为区域的重构误差,相对重构误差为负表示为正常行为,否则判断为异常行为。在KTH行为数据集上进行对比实验,实验结果表明本文算法在不同背景下均能有效识别异常行为。     

基于形状加权的三维模型特征提取算法

提出了一种基于形状加权的三维模型特征提取算法,同时考虑采样点与中心点间的距离,以及采样点所在三角面片面积大小,构建直方图获取特征描述符.该算法能够充分利用模型表面信息,提取步骤简单,时间消耗少.实验证明,利用本文算法得到的特征描述符进行检索,查全率和查准率都有明显提高.     

一种时序边界注意力循环暴力行为检测神经网络

暴力行为检测是行为识别的一个重要研究方向,在网络信息审查和智能安全领域具有广阔的应用前景.针对目前的时序模型在复杂背景下不能有效提取人体运动特征和常规循环神经网络无法联系输入上下文的问题,本文提出一种时序边界注意力循环神经网络TEAR-Net.首先,以本文提出的一种全新的运动特征提取模块MOE为基础,在保留输入视频段序列背景信息的前提下加强运动边界区域.运动边界对于动作识别的作用要远大于图像其他区域,因此运动边界加强能够有效提高动作特征的提取效率,从而提升后续网络的识别精度.其次,引入了一种全新的结合上下文语境和注意力机制的循环卷积门单元(CSA-ConvGRU),提取连续帧之间的流特征以及不同帧的独立特征,并关注关键帧,能够极大提升动作识别的效率,以少量参数和较低计算量的代价掌握视频流的全局信息,从而有效提高识别准确率.本文提出的模型在目前最新的公开数据集RWF-2000和RLVS上进行了多种实验.实验结果表明,本文提出的网络在模型规模和检测精度上均优于目前主流的暴力行为识别算法.     

基于MATLAB的交通信号灯识别方法

对交通灯的识别主要基于对交通灯的色彩及形状特征。基于信号灯的亮度对其进行分割、提取,并设置了一种自动最优选择阈值的方法。再由HIS彩色空间的H信息识别颜色。最后根据二值化的交通灯的横坐标和纵坐标方向的投影进行形状匹配识别。     

基于三维图像的羽毛球运动合理性判断方法研究与仿真

针对当前彩色视频中羽毛球动作合理性判断成本高,且二维信息不充分,造成羽毛球运动合理性判断效果不佳的问题,提出一种新的基于三维图像的羽毛球运动合理性判断方法。在时间维度上建立深度运动模型;通过该模型描述羽毛球运动的每个动作,获取每个动作的三维图像。在三维空间中,选用空间金字塔方向梯度直方图对羽毛球运动特征进行提取。在此基础上对正确羽毛球运动和待判断羽毛球运动特征的相似度进行计算,将得到的相似度结果和既定阈值进行比较,从而实现羽毛球运动合理性判断。实验结果表明,所提方法具有很高的判断精度,且适应能力较强。