基于运动块及关键帧的人体动作识别

为了进行动作识别,需要提取能够充分表征动作的运动、时间、空间及形状信息的特征.本文首先从动作的运动特性出发,采用基于图聚类的方法对人体的运动区域进行分割,并通过计算运动块的熵值选出由运动方向一致的运动点构成的运动块.通过建立混合高斯模型对运动块的时空三维位置及运动方向进行特征表示,得到运动描述符.同时,通过比较前后帧中运动块的变化提取关键帧,然后基于词袋框架进一步筛选关键帧,并采用梯度直方图对动作的形状信息进行特征表示,得到形状描述符.通过线性组合运动描述符及形状描述符,得到充分包含动作的运动、时间、空间及形状信息的联合描述符,并采用最近邻分类器进行动作识别.该算法在KTH和UCF运动数据集上较当前方法取得更好识别效果.     

基于时空兴趣点和主题模型的动作识别

提出了一种新的基于概率主题模型的人体动作识别方法.该方法利用局部的时空兴趣点特征,采用词袋(bag of words)的方法对跑、跳、挥手等几种常见的动作进行表示.利用概率主题模型,使视频的动作类别标记对应于概率模型中的隐含变量,通过对隐变量的推断,实现对整个视频的动作分类.该算法还可以将每个兴趣点划分为不同的动作类别...     

融合形状和运动特征的动作识别计算模型

针对视觉系统在动作识别过程中如何利用形状与运动信息的问题,提出了一种融合形状特征和运动特征的人体动作识别方法.该方法模拟视觉皮层的背侧和腹侧通路,建立了基于双通道理论的人体动作特征计算模型.计算模型分别利用2D Gabor滤波器和3D时空滤波器模拟腹侧和背侧通路中视觉皮层简单细胞,提取动作的时空信息,通过采样、局部遍历、模板学习一系列操作分别提取动作的时空特征,并采用线性融合方法获取描述动作的特征向量,构建了采用支持向量机(SVM)进行动作分类的动作识别系统.实验结果表明:该方法的识别性能优于同类型的识别方法,取得了较好的识别效果.     

基于关节点运动轨迹的人体动作识别

为了提高动作识别的准确率和实时性,提出一种基于关节点运动轨迹的动作识别方法.受心理物理学中关于人体运动实验的启发,使用人体骨架关节点的运动轨迹表示人体动作,它能够在时空维度上对动作进行完整表达.在此基础上,使用高斯混合模型对关节点运动轨迹进行聚类,进而通过Fisher向量进行特征量化.考虑到动作识别任务的实时性要求,提出基于核极限学习机的动作识别,以此提升动作识别任务的实时性和准确率.最后,在公开数据集UTD-MHAD和KARD上对提出的方法进行了验证,实验结果证明了该方法的有效性.     

基于多面体时空梯度描述子的人体动作识别

为检测出对噪声、镜头缩放更具鲁棒性的反映人体动作特征的时空兴趣点,首先提出了一种新的时空兴趣点检测器;然后以检测出的时空兴趣点为中心,建立基于多面体模型的时空梯度描述子来进一步刻画人体动作在时空上的视觉特征;再基于分层聚类树形结构、利用词袋方法对视频动作特征建立更大且更有效的码书;最后将特征描述子与高层次的人工定义的动作属性相结合,采用隐支持向量机结合坐标下降法求解最终识别模型的局部最优解.在几种典型数据库上的实验结果表明,文中方法具有较高的人体动作识别率.     

基于机器视觉的烹饪机器人锅具识别算法

全面介绍了基于机器视觉的烹饪机器人锅具识别算法,用于提取复杂背景中的锅具曲线.算法分为两个阶段:特征点确定、图像匹配.使用曲率作为特征点,给出了数字图像的离散特征点计算方法和加权Hausdorff距离识别锅具轮廓特征点.解决了图像因为旋转、位移、缩放造成图像形变以及由于锅具动作图像部分遮挡、动态模糊造成识别困难问题.实验表明该锅具识别算法能够高效地提取画面中的锅具轮廓,能较好地满足烹饪机器人示教系统的要求.     

基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

基于底层特征建模的行为识别算法优化

近年来基于时空兴趣点的视觉词袋(bag of video words,BOVW)模型被广泛用于行为识别算法研究;但是该模型忽略了每一种视觉单词的权重,另外没有考虑兴趣点时空分布信息,因而制约了其识别精度。提出了两种算法解决上述问题;其一,采用词频-逆向文件频率(term frequency-inverse document frequency,TF-IDF)方法对传统BOVW直方图进行优化处理,根据视觉单词在词袋与BOVW直方图的比例权衡其重要程度;其二,提出了基于三维共生矩阵的时空兴趣点互信息(spatialtemporal interest points mutual information,STIPsMI)算法,刻画不同视觉单词的时空兴趣点之间的时空关系。然后将STIPsMI描述符与优化后的BOVW直方图级联,作为视频序列最终的描述符。最后在两个主流的数据集KTH与UCF sports对该算法进行评估。实验结果表明,提出的时空特征描述符在行为识别准确率上优于BOVW模型与其他主流方法。     

基于机器学习的人体动作深度信息识别方法研究

为了实现人体动作的准确检测识别,提出基于机器学习的人体动作深度信息识别方法,构建人体动作的三维图像采集模型,建立人体动作三维重建图像的表面结构重构模型,结合模糊度特征提取方法对人体动作三维重建图像进行多尺度分解,采用三维空间结构重组的方法进行人体动作细节特征识别,建立人体动作图像的多维分割模型;采用机器学习算法进行人体动作的细节特征分类识别,建立人体动作深度信息的提取和分类模型,在机器算法下实现人体动作的深度信息检测和多维识别。仿真结果表明,采用该方法进行人体动作深度信息识别的准确度较高,特征分辨力较好,具有很好的人体动作信息检测和辨识能力。     

基于人体骨架序列的手扶电梯乘客异常行为识别

手扶电梯(简称扶梯)乘客异常行为识别研究具有重要意义.针对传统行为识别算法易受环境影响、不能实时并准确对多目标进行识别的问题,提出一种基于人体骨架序列的扶梯乘客异常行为识别算法.该算法首先通过结合可变形组件模型特征的支持向量机检测乘客人脸,并用改进的核相关滤波器对其进行跟踪,从而得到乘客在扶梯中的运动轨迹;接着利用卷积神经网络提取轨迹中乘客的人体骨架序列,并通过模板匹配从乘客人体骨架序列中检测异常行为骨架序列;最后利用动态时间规整将其与各类异常行为骨架序列匹配,基于k近邻方法识别异常行为.对10段扶梯视频的实验结果表明,文中所提的异常行为识别算法处理速度达到10帧/秒,识别准确率为93.2%,能够实时、准确地识别多种乘客异常行为.     

基于视觉词袋模型的图像信息处理算法研究

研究一种基于视觉词袋模型的图像筛选与搜索优化算法以提高机器人闭环检测质量和降低图像信息处理量.首先,通过SURF算子提取图像中的特征信息,构建对应的视觉词袋模型,并形成视觉词袋直方图;其次,基于视觉词袋直方图计算获得对应的图像混合显著度,进而筛选出信息量丰富且可区分度大的图像,并组成待搜索图像集合;然后,从视觉词袋直方图中提取图像中的显著主要特征类组成集合,并用其近似替代图像的特征分布情况,以降低图像特征信息处理量,加快图像搜索速度.最后,仿真实验证明本文提出的图像筛选和搜索方法的可行性和有效性.     

基于目标检测及高密度轨迹的动作识别

为了实现准确的动作识别效果,我们通常需要提取能够充分代表运动特征的信息。近年来,基于高密度轨迹的动作识别方法因为能够提供丰富的时空信息而受到研究者们的广泛关注。但高密度轨迹类的动作识别算法通常都要面临背景冗余信息干扰的问题,为了解决这一问题,本文在高密度轨迹的动作识别方法基础上引入了目标检测算法,通过可变形块模型方法检测运动主体位置后计算其周围的高密度轨迹,有效地排除了背景冗余信息的干扰。而目标检测算法通常要面临丢帧问题,为了应对这一情况,本文采用了词袋模型和支持向量机进行动作特征表述和分类,词袋模型根据大量数据词频构建特征描述符的工作原理,使得目标检测偶有丢帧的情况并不影响动作识别的最终效果,结合高密度轨迹算法后有效地提高了传统高密度轨迹算法的效率,也获得了更为准确的识别效果。本文算法在KTH,UCF YouTube和UCF Sports数据集上较当前算法都取得了更高的动作识别准确率,尤其在复杂背景数据集UCF YouTube和UCF Sports上识别准确率分别可达89.2%和90.2%。     

基于视觉词袋模型的人脸识别方法

近年来,基于视频的人脸识别吸引了很多人的关注,同时,视觉词袋模型已成功应用于图像检索和对象识别中.论文提出了一种基于视觉词袋模型的人脸识别方法,该方法首先在兴趣点提取尺度不变特征变换的图像描述,这些兴趣点由高斯差分检测,然后基于k均值生成视觉词汇,并使用视觉单词的索引以取代这些描述符.然而,在人脸图像中,由于面部姿势失真,面部表情和光照条件变化,采用尺度不变特征变换描述符后识别效果并不理想.因此,论文使用仿射尺度不变特征变换描述符作为人脸图像表示法.在Yale及ORL人脸数据库上的实验结果表明,在人脸识别中,本文方法可以获得较低的错误率.     

视频中人体行为分析

为实现机器视觉代替人眼观察、 认知世界以及减少背景和噪声对视频中人体特征提取的影响, 以提高识别效果, 在研究人体动作表征与识别的基础上, 充分考虑局部和全局特征的优缺点, 提出了基于局部时空兴趣点和全局累积边缘图像特征相结合的人体行为分析方法。首先, 从视频序列中提取局部时空兴趣点和全局累积边缘图像特征; 然后用加权字典向量法将两者有机地结合在一起; 最后利用最近距离法进行人体行为分析和识别。该方法可有效获得人体时空特征, 人体边缘轮廓
, 人的运动趋势和强烈程度。实验结果表明, 该方法快速, 相比其他算法识别率大致提高了2%~5%。     

基于特征优选和图像相似度的人体动作识别算法

有效提取特征有利于提高后续人体动作识别的准确率。针对人体动作识别时方向梯度直方图(histogram of oriented gradient,HOG)特征维数过高和相似动作不好区分的问题,提出一种基于特征优选和图像相似度的人体动作识别算法。实验对比三种降维方法主成分分析法(principal component analysis,PCA)、PCA+Pearson、PCA+Spearman处理后的动作识别率,证明PCA+Pearson相关系数的降维效果最佳。同时将全局特征八星模型与降维后的局部特征HOG特征组合在一起全面表征人体动作,并计算相邻两帧图像相似度,自适应分配一个判别周期内单帧支持向量机分类结果的统计权值,最后二次分类人体姿态识别结果。在标准数据集KTH上进行实验,该算法识别准确率为94. 5%,较其他方法有所提高,在视频人体动作识别领域有较好应用价值。     

基于时空信息和非负成分表示的动作识别

为充分利用时空分布信息及视觉单词间的关联信息,提出了一种新的时空非负成分表示方法(ST-NCR)用于动作识别.首先,基于视觉词袋(Bo VW)表示,利用混合高斯模型对每个视觉单词所包含的局部特征的时空位置分布进行建模,计算时空Fisher向量(STFV)来描述特征位置的时空分布;然后,利用非负矩阵分解从Bo VW表示中学习动作基元并对动作视频进行编码.为有效融合时空信息,采用基于图正则化的非负矩阵分解,并且将STFV作为图正则化项的一部分.在3个公共数据库上对该方法进行了测试,结果表明,相比于Bo VW表示和不带时空信息的非负成分表示方法,该方法能够提高动作识别率.     

基于动作主视图和LSTM网络模型的人体行为识别

人体行为识别是计算机视觉领域的研究热点。针对传统行为识别算法具有计算复杂度较高的问题,提出一种基于动作主视图的长短时记忆模型人体动作识别方法。将三维空间中的动作正投影到二维的平面中,降低动作空间的维度和计算复杂度,利用长短时记忆神经网络处理时序数据的能力,对人体动作进行识别。选用MSRAction 3D公开数据集验证文中算法,采用十次十折交叉验证法,该方法平均识别率达93.06%。实验结果表明,本方法在降低算法复杂度的同时,识别效果较现有的其他算法好。     

一种点线特征融合的双目同时定位与地图构建方法

基于特征点的视觉同时定位与构图方法依赖于图像质量以及可提取的特征点数量,且稀疏的特征点不能直观表达环境的结构信息。为此,提出一种将图像的点特征和线段特征融合的双目同时定位与构图方法。算法前端提取图像的点特征和线段特征,进行特征跟踪并完成相机位姿求解,从跟踪线程中分离出特征提取线程,进一步提升了前端线程的帧率。后端采用集束调整对局部地图进行优化,利用基于词袋模型的闭环检测以抑制系统的累积误差。最后结合点线特征共同构建环境地图。在公开数据集上进行了实验,与当前主流算法相比,提出的算法在保证定位精度的同时能够获得更丰富的环境地图,具备较好的鲁棒性与实时性。     

基于混沌不变量和关联向量机的人体行为识别

提出了一种基于混沌不变量特征和关联向量机（RVM）的人体行为识别方法.提取人体关节点运动产生的轨迹代表人体动作行为的非线性系统,利用 C-C方法估计时延并且得到由每条运动轨迹重构的相空间维数,并从重构的相空间提取代表人体行为的混沌不变量,利用RVM算法识别人体行为.在KTH,Weizmann及ballet 数据库中进行测试,实验结果表明,使用该方法平均正确率达92.1%.     

非刚性人体运动动作图像姿态轮廓提取算法

针对人体运动动作图像提取传统方法仅能获取局部最佳解, 提取的特征序列不连续, 导致轮廓提取效果差的问题, 提出一种非刚性人体运动动作图像姿态轮廓提取算法. 首先, 对人体运动动作图像序列中的尺度不变特征变换(SIFT)进行提取预处理, 获取人体特征提取图, 设计一种人体运动序列顺序概率图模型, 以保证特征序列提取的连续性; 其次, 构建人体肢体外观模型, 基于该外观模型采用序列影像高精度轮廓提取算法提取当前人体运动动作帧的轮廓线. 实验结果表明, 该算法能提取连续的特征序列, 提取的人体姿态轮廓精确度较高, 且具有较高的效率和鲁棒性.