基于多尺度时空特征的篮球场景中人体姿态估计

人体姿态估计是计算机视觉领域的研究热点之一,目标是从给定的图像或视频中识别人体的关节.由于篮球比赛视频中人体动作复杂多变,易产生运动模糊、遮挡等问题,导致现有的人体姿态算法对篮球动作姿态估计的准确率较低.针对这一问题,提出了一种基于多尺度时空关联特征的篮球动作姿态估计算法,构建基于Transformer的人体时序特征捕捉模块对序列层级的时空特征信息进行建模,以缓解运动模糊、遮挡等现象带来的负面影响.此外,针对人体外形复杂多变的问题,提出了基于可形变卷积的人体空间特征残差融合模块来获取更为充分的空间特征.与现有算法相比,该算法在自行构建的篮球场景人体运动数据集、姿态估计公开基准数据集PoseTrack2017和PoseTrack2018均取得较好的效果.     

基于特征优选和图像相似度的人体动作识别算法

有效提取特征有利于提高后续人体动作识别的准确率。针对人体动作识别时方向梯度直方图(histogram of oriented gradient,HOG)特征维数过高和相似动作不好区分的问题,提出一种基于特征优选和图像相似度的人体动作识别算法。实验对比三种降维方法主成分分析法(principal component analysis,PCA)、PCA+Pearson、PCA+Spearman处理后的动作识别率,证明PCA+Pearson相关系数的降维效果最佳。同时将全局特征八星模型与降维后的局部特征HOG特征组合在一起全面表征人体动作,并计算相邻两帧图像相似度,自适应分配一个判别周期内单帧支持向量机分类结果的统计权值,最后二次分类人体姿态识别结果。在标准数据集KTH上进行实验,该算法识别准确率为94. 5%,较其他方法有所提高,在视频人体动作识别领域有较好应用价值。     

基于人体骨架模型的远红外视频下老人摔倒检测

利用远红外光谱视频进行老人摔倒检测研究,提出一种基于人体骨架模型的远红外视频下老人摔倒检测算法;采用YOLOv4-Tiny算法获取远红外视频中人体目标位置,再利用COCO数据集训练的区域多人姿态估计网络模型,直接对自采集的远红外视频进行人体骨架提取,得到人体关节点序列,然后对人体骨架建立时空图卷积模型进行特征提取进而检...     

基于深度卷积神经网络和深度视频的人体行为识别

传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。以深度视频为研究对象,构建了3维卷积深度神经网络自动学习人体行为的时空特征,使用Softmax分类器进行人体行为的分类识别。实验结果表明,提出的方法能够有效提取人体行为的潜在特征,不但在MSR-Action3D数据集上能够获得与当前最好方法一致的识别效果,在UTKinect-Action3D数据集也能够获得与基准项目相当的识别效果。本方法的优势是不需要人工提取特征,特征提取和分类识别构成一个端到端的完整闭环系统,方法更加简单。同时,研究方法也验证了深度卷积神经网络模型具有良好的泛化性能,使用MSR-Action3D数据集训练的模型直接应用于UTKinect-Action3D数据集上行为的分类识别,同样获得了良好的识别效果。     

基于LMP-KCPA的人体动作识别方法

为解决人体动作识别中由于特征描述子的维数过高, 无法表征目标变化的本质运动变化信息的问题,给出了核主成分分析(KPCA: Kernel Principal Component Analysis)对局部运动模式描述子(LMP: Local Motion Pattern)降维方法。首先利用LMP 描述子对人体运动目标进行描述, 然后利用KPCA 算法对局部运动模式特征
描述子进行处理, 获取新的特征描述方式。通过MATLAB 仿真, 与Cuboids+SVM 和LMP+SR 两种算法对比结果表明, 基于LMP鄄KPCA 的人体动作识别, 特征描述子维数明显降低, 可以表征人体运动目标变化关键信息,识别率比Cuboids+SVM 算法提高1. 1%, 比LMP+SR 提高1%。     

改进SIFT算法在特征匹配中的应用

对尺度特征不变SIFT算法进行了研究。针对原算法中128维特征描述子在匹配过程中效率低的情况,提出64维特征描述子。该描述子增加了特征点邻域的统计范围,增强了特征点的特征信息,降低了特征描述子的维数;特征点匹配阶段,采用欧氏距离作为度量,采用基于BBF的Kd-树对特征点进行匹配,提高了匹配速率。实验表明,匹配速率提高了5%到15%,配准精度与原算法相近。     

神经心理量表理解力检测的人体姿态特征识别方法

神经心理测试可以对各认知域受损严重程度做出客观评价，是检测疾病进展、评估药物疗效的有效手段。其中理解力测试部分通过判断受试者是否根据指令要求作出相应动作实现，是老年人认知功能障碍评估的重要部分，有利于痴呆的早预防早干预。文章提出了一套神经心理测试中理解力检测的人体姿态估计视频分析方法，基于Openpose深度卷积网络提取人体关键点坐标，随后基于图像形态学处理技术和Faster R-CNN等技术提出了纸张、牙刷等目标物体关键点二维坐标提取方法，并以量表中动作要求建立人体姿态估计数学模型。通过实验对神经心理测试的6个动作进行识别，结果表明，所提姿态估计数学模型和交互动作识别方法能够有效检测人体姿态动作指令及人与纸张的交互指令。     

基于人体姿态动态特征的跌倒行为识别方法

意外跌倒严重威胁老年人健康安全，准确识别跌倒事件并及时予以报警可以有效降低跌倒者所受伤害. 本文提出了一种新的跌倒识别方法，基于OpenPose深度卷积网络自图像提取的人体姿态关键点获取人体倾斜姿态动态特征，使用基于线性核的支持向量机完成跌倒行为二分类，并以基于人体下降姿态动态特征的阈值判断排除混淆性较大的非跌倒行为，保证算法召回率. 本方法在人体动作数据集上测试取得了97.33%的准确率与94.80%的精确率，与现有基于图像的跌倒识别方法相比具有更优的性能，常见的单目RGB摄像机的特性使得本方法在普及性上优于需要Kinect相机的现有跌倒识别方法.     

基于跨域字典学习算法的人体行为识别

将一种跨域字典学习算法应用于人体行为识别中, 通过引入辅助域数据集, 与原始训练集（目标域）共同进行字典学习, 获得字典对, 进而得到动作类的稀疏编码, 有效扩充了训练集的类内多样性. 该算法为字典学习与训练分类相结合的学习框架, 可利用字典对学习过程中的重建误差进行分类. 实验在MATLAB仿真条件下进行, 将UCF YouTube数据集作为原始训练集, 将HMDB51数据集作为辅助域数据集, 选取两个数据集动作类别一致的7个动作, 根据提出的算法流程进行识别. 将该方法与其他两种人体行为识别算法进行对比. 结果表明, 该方法识别率显著提高, 证明了跨域字典学习算法在人体行为识别上的有效性.     

轻量化二维人体骨骼关键点检测算法综述

随着移动设备和嵌入式设备的发展,对二维人体骨骼关键点检测网络提出了更高的要求。设计轻量化神经网络是解决网络参数量大、计算量大的重要方法。首先,介绍了基于神经网络的二维人体骨骼关键点检测主流方法和轻量级神经网络;然后,对近几年基于神经网络的轻量化人体姿态估计方法进行了分类和总结,根据神经网络轻量化方式将二维骨骼关键点检测方法归成四类：轻量化特征提取网络、深度可分离卷积、Dense连接机制和Lightweight 瓶颈快,并分析了它们的优缺点和轻量化手段;最后,介绍了常用的评价指标,并对改进后的轻量化方法进行了实验数据对比,并结合当前研究所面临的挑战及未来的发展趋势进行了总结和展望。     

基于姿态角的双Kinect数据融合技术及应用

针对单个Kinect深度图像传感器在人机交互时的骨骼自遮挡所导致的识别精度问题,提出了基于姿态角的双Kinect数据融合技术。首先,通过两台Kinect采集人体关节的数据信息;并做坐标统一化处理;其次,提出了基于姿态角的骨骼数据融合算法模型,同时依据Kinect SDK构建标准姿势特征向量集合;随后,根据骨骼活动度分配对应骨骼贡献度大小,进而计算融合后的姿势特征向量集合与标准姿势特征向量集合的余弦和,实时反馈两者姿势的匹配度,实现人体姿势的识别。通过构建数据融合处理平台,并应用于人体姿势识别,验证了该方法在不影响识别速率的前提下,提高了人体姿势识别的精准度。     

Action Recognition from Videos with Complex Background via Transfer Learning

Classifier learning methods commonly assume that the training data and the testing data are drawn from the same underlying distribution. However,in many practical situations,this assumption is violated. One example is the practical action videos with complex background and the universal human action databases of Kungliga Tekniska Hgskolan (KTH). When training data are very scarce,supervised learning is difficult. However,it will cost lots of human and material resources to establish a labeled video set which includes a large amount of videos with complex backgrounds. In this paper,we propose an action recognition framework which uses transfer boosting learning algorithm. By using this algorithm,we can train an action recognition model fitting for most practical situations just relaying on the universal action video dataset and a tiny set of action videos with complex background. And the experiment results show that the performance is improved.     

基于Mean Shift的视频图像检测与跟踪

在复杂背景的视频图像中,实时、准确、连续、长距离的跟踪以人为对象的目标,是一件很困难的任务。人体对象在跟踪目标图像位置的变化时,一直随着姿态的变化而改变,因此这是一个非常典型的非刚体目标,对这类目标采用简单的模板匹配的方法进行目标跟踪,无法达到准确的跟踪。均值漂移（Mean Shift）是现今最受欢迎的对象跟踪方法之一,广泛的运用于人脸的跟踪,文章提出了一种基于均值漂移算法的复杂背景视频图像检测与跟踪算法。在运动目标跟踪中,提出了以直方图为模式特征,以均值漂移算法为核心算法的目标跟踪算法,通过实验表明该跟踪算法能对候选目标进行运动检测,完成实时跟踪,同时有效抑制了局部遮挡、背景混乱等,过滤了伪目标,保证了跟踪的可靠性。     

融合全局与局部特征的UWB雷达人体动作识别算法

为了消除雷达信号中杂波和噪声对人体动作识别的干扰,提高小样本数据下动作识别的精度,在去除杂波及噪声干扰的基础上,提出一种融合全局与局部特征的超宽带（ultra-wideband,UWB）雷达人体动作识别算法。用动目标指示（moving target indication,MTI）结合自适应中值滤波对雷达原始回波信号进行预处理,再对人体动作的雷达二维特征图像利用主成分分析（principal component analysis,PCA）提取主要分量作为全局特征表征,并用二维离散小波变换（2D discrete wavelet transform,2D-DWT）结合奇异值分解（singular value decomposition,SVD）获取特征图像在不同方向与尺度划分下动作的局部特征表征,并将全局与局部特征进行串联融合;根据融合特征,在网格搜索算法（grid search,GS）优化的支持向量机（support vector machines,SVM）模型中实现人体动作的识别分类。实验结果表明,该算法能有效获取雷达信号中的人体动作信息,平均识别准确率为95.63%,具有良好的识别性能。     

基于模糊积分融合的复杂场景下人体行为识别

利用局部特征描述符来表征视频中一系列关键点的方法已被广泛应用于识别复杂场景下的人体行为,但这些关键点之间隐含的结构化的位置关系目前并未得到有效表征.为此,文中首先采用尺度不变的关键点的检测子和3D-Harris检测子检测视频样本中的局部关键点,结合已有的局部特征描述符和形状描述符来表征关键点位置之间结构化的信息,然后利用bag-of-features模型来计算这些特征的分布,再通过模糊积分对这些局部特征进行有效融合,并给出具体的算法描述.在具有复杂场景的YouTube数据集下的实验表明,所提出的局部特征表征方法能够更有效地表征复杂场景中的人体行为,模糊积分融合方法可有效进行决策层融合.     

基于正态分布变换的多位姿手掌部三维静脉识别

研究基于三维点云匹配的多位姿手部静脉识别.考虑手部静脉点云的特点,结合双目视觉原理,建立了一种结合三维特征阵列和静脉点云的扩展数据库,提出了一种基于三维特征阵列的静脉点云粗配准算法.在双目静脉图像中提取稳定特征并重建为三维特征,根据三维特征匹配结果初步消除静脉点云位姿差异.并采用改进的正态分布变换算法完成静脉点云匹配.实验表明,本文算法能够有效提高多位姿下的静脉点云识别率,即使手部位姿变化范围较大时,系统的识别率仍超过90%.      

人体检测与异常行为识别联合算法

近年来,异常行为识别算法取得了一定的研究进展,但是针对复杂环境、人体遮挡、动作相似度高等多种挑战,识别算法的适应性、效率、准确性都有待进一步提高。为了解决以上问题,提出了基于特征增强的人体检测与异常行为识别联合算法,首先将视频序列分别送入人体检测网络和特征加强网络,再采用爱因斯坦求和法将特征加强网络输出的多头卷积注意力特征与人体检测网络输出的热力图特征融合,得到加强融合特征,然后利用检测网络输出的人体目标位置特征信息和ROI Align模块对加强融合特征进行人体ROI(region of interest)区域特征截取,得到人体ROI区域加强融合特征,最后将人体ROI区域加强融合特征送入Transformer时序建模网络模块进行人体行为特征时序建模和识别。所提算法充分利用检测网络中间过程产生的行为主体区域特征,弱化了复杂环境中背景的干扰,同时实现了检测网络的输出特征共享,避免了识别网络的二次特征提取过程,从而提高了网络运行效率,且利用Transformer网络的建模优势,能够充分挖掘人体行为空间特征、时序特征以及之间的跨域特征的优势。实验结果表明：所提算法在提高了网络效率的同时大幅度地...     

基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.