基于深度学习的二维人体姿态估计综述

人体姿态估计是近年来计算机视觉问题中的一个热门话题,它在改善人类生活方面具有巨大的益处和潜在的应用。近年来深度神经网络得到快速发展,相较于传统方法而言,采用深度学习的方法更能提取图像表征信息。综合分析近年来人体姿态估计的进展,根据检测人数分为单人和多人人体姿态估计。针对单人姿态估计,介绍了基于直接预测人体坐标点的坐标回归方法及基于预测人体关键点高斯分布的热图检测方法;针对多人姿态估计,采用解决多人到解决单人过程的自顶向下方法和直接处理多人关键点的自底向上方法。总结了各方法网络结构的特点和优缺点,并阐述当前面临的问题及未来发展趋势。     

基于三维卷积的人手姿态估计高分辨率网络

在体素化输入的三维卷积基础上,通过引入高分辨率保持模块,提出了一种基于三维卷积的高分辨率保持网络.该网络以体素化的深度图为输入,进行三维卷积.不同于先前大多数从低分辨率特征中恢复高分辨率特征的方法,构建的网络引入不同分辨率子网络并行的结构,在处理低分辨率特征图的同时保持高分辨率特征图,从高分辨率子网络卷积得出每个关节点在3D体素中的分布概率,最终计算出每个关节点的三维空间坐标.实验表明:该算法相较于先前的基于沙漏模型的三维卷积网络能更准确地进行关节点估计.     

基于HRNet的轻量化人体姿态估计网络

由于算力和内存的限制,目前的人体姿态估计网络难以广泛应用于移动设备、嵌入式平台.针对这个问题,本文以HRNet为基础框架,提出了一种轻量化的人体姿态估计网络X-HRNet,使用ResNeXt模块替换普通的Basic模块以减少网络的参数和计算复杂度.实验结果表明,所提出模型在COCO验证集上取得了78.2%的精度,比HRNet高1.9%,参数量下降了22.2M,计算量下降了27.3GFLOPs.与以往的轻量化人体姿态估计方法不同,所提出的X-HRNet是一种兼顾精度和轻量化的方法,在保持精度的同时有效减少了计算量和参数量,为嵌入式平台提出了一种新的轻量化人体姿态估计网络.     

基于注意力机制改进的多人姿态估计网络研究

为解决多人姿态估计中小尺度关节点定位准确率低的问题,采用自顶向下的方法,结合人体目标检测模型YOLOv4-tiny,提出一种基于堆叠沙漏网络改进的多人姿态估计网络.该网络包含人体目标检测器和人体姿态估计算法,通过在沙漏网络原始残差模块中融入坐标注意力机制进行特征增强,抑制无用特征的同时增强有用特征,从而提高对人体中小尺度关节点的识别准确率.实验结果表明,该模型在COCO数据集上获得了64.9%的平均准确率,在MPII数据集上正确关键点的比例达88.8%,验证了网络的有效性.     

基于LSA-HRnet网络的人体姿态估计方法在太极拳运动中的应用

由于专业运动知识的匮乏、动作评估准确度低等问题,导致人们对运动训练的积极性不高,运动水平提升慢以及身体出现不同程度的损伤等,针对以上问题,提出一种基于注意力机制的轻量级采样模块的HRnet(Lightweight Sampling Attention block HRnet,LSA-HRnet)人体姿态估计模型对运动过程中的动作进行分析和评估,提出的算法采用轻量级采样块网络和融合注意力机制实现模型的轻量化以及模型性能的提升.相比原始HRnet模型及其他的优秀人体姿态估计SCnet模型、轻量级Lite-HRnet,在自制太极拳的实验结果表明提出的模型能够有效的提高预测精度和降低参数量.基于提出方法能丰富混合现实技术在运动领域的发展的技术理论,改进现存运动问题、激发练习兴趣和提升体质健康.     

基于双流全卷积网络的驾驶员姿态估计方法

针对现有姿态估计方法在驾驶室复杂环境条件下发生的非目标误检测和检测精度低的问题,提出了一种基于双流全卷积网络的驾驶员姿态估计方法.该方法通过建立2条独立的FCN(fully convolutional network)分支,分别对关键点坐标及关键点间的连接信息进行预测,同时在2个分支中构建沙漏状的网络结构,增强了网络提取关键信息的能力.为了进一步提高模型的特征提取能力,将浅层与深层网络得到的特征图进行融合.为了验证所提方法的检测效果,采用COCO(common objects in context)数据集和DDS(driver′s driving situation)数据集进行验证.试验结果表明:该方法在COCO数据集和DDS数据集上的检测平均精度分别达到64.5%和78.4%,优于其他3种对比算法;该方法可以提高驾驶员人体姿态的检测精度,具有较好的鲁棒性.     

基于轻量化二维人体姿态估计的小样本动作识别算法

动作识别是近年来时序数据挖掘领域的研究热点,具有广泛的应用前景。但是现阶段基于深度学习的动作识别算法需要大量的标记训练数据集,存在泛化性差、实时性差、场景受限的问题。为解决这些问题,本研究设计一种基于轻量化二维人体姿态估计的小样本动作识别算法。该算法基于YOLOv5算法构建轻量化的人体检测器HYOLOv5。基于轻量化二维姿态估计模型Lite-HRNet设计人体姿态特征描述算子,有效地去除背景对人体动作特征的干扰。为有效度量时序人体姿态特征描述算子间的相似度,本研究提出基于动态时间规整的人体姿态特征距离度量,并在此基础上设计基于类别中心选择的动作模板匹配算法。该算法通过少量的动作视频构建动作特征模板库,利用动作模板匹配算法可实现多类动作视频的精准识别。为验证算法,本研究在COCO 2017的Humans数据集上对HYOLOv5进行测试,人体检测识别精度mAP@0.5∶0.95可达50.7%。基于10种动作视频数据进行测试,结果表明,本研究所提算法可有效地识别视频序列中的姿态,在每个动作仅包含4个训练数据的情况下,动作识别准确率均可达到91.8%。     

基于多尺度时空特征的篮球场景中人体姿态估计

人体姿态估计是计算机视觉领域的研究热点之一,目标是从给定的图像或视频中识别人体的关节.由于篮球比赛视频中人体动作复杂多变,易产生运动模糊、遮挡等问题,导致现有的人体姿态算法对篮球动作姿态估计的准确率较低.针对这一问题,提出了一种基于多尺度时空关联特征的篮球动作姿态估计算法,构建基于Transformer的人体时序特征捕捉模块对序列层级的时空特征信息进行建模,以缓解运动模糊、遮挡等现象带来的负面影响.此外,针对人体外形复杂多变的问题,提出了基于可形变卷积的人体空间特征残差融合模块来获取更为充分的空间特征.与现有算法相比,该算法在自行构建的篮球场景人体运动数据集、姿态估计公开基准数据集PoseTrack2017和PoseTrack2018均取得较好的效果.     

基于姿态估计和Transformer模型的遮挡行人重识别

行人重识别是利用人工智能解决边防检查、人员追踪等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在人员追踪等问题中,往往会出现行人刻意遮挡、复杂场景环境遮挡等因素,大大提高了行人重识别的难度。针对行人重识别遮挡问题,基于ResNet50网络,结合姿态估计（Pose estimation）和转换器（Transformer）模型,提出了一种改进的行人重识别网络PT-Net,以提高遮挡条件下的行人重识别能力。该方法首先利用现有的姿态估计方法对输入图像进行关键点检测,并将关键点信息与行人特征图像结合起来生成一个基于姿态的行人特征表示;然后利用Transformer模型对基于姿态的行人特征表示编码,用来实现特征对齐和特征融合。论文基于国际公开的数据集Occluded-Duke开展实验验证,结果表明,PT-Net方法相对于基线模型,其均值精度mAP和相似度排序Rank-1指标分别提高了1.3和1.5个百分点,验证了该方法的有效性和优越性。     

基于多视图融合的3D人体姿态估计

针对自然场景中遮挡、检测姿势不准确以及建立的交叉视图不匹配等问题,在VoxelPose模型的基础上提出了一种基于heatmap的多视图融合网络来估计3D人体姿态.首先,改进高分辨率网络,添加反卷积模块生成更高分辨率的heatmap.取两个髋关节之间的关键点为人体中心点,引入对极约束模型匹配融合不同视角下人体中心点的heatmap信息;然后,将所有视角的heatmap投影到共同的3D空间,再经过3D CNN网络以中心点构建特征体积来估计所有关键点的位置;最后,回归准确的3D人体姿态.在公开的数据集Shelf和Campus中,评估指标PCP3D（正确估计关节位置的百分比）分别达到97.1%和96.7%.在CMU-Panoptic数据集中,MPJPE（关节位置误差的平均值）为16.80 mm,实验结果优于VoxelPose.     

融合人体姿态估计和目标检测的学生课堂行为识别

在课堂教学中,人工智能技术可以帮助实现学生行为分析自动化,让教师能够高效且直观地掌握学生学习行为投入的情况,为后续优化教学设计与实施教学干预提供数据支持.构建了学生课堂行为数据集,为后续研究工作提供了数据基础;提出了一种行为检测方法及一套可行的高精度的行为识别模型,利用Open Pose算法提取的人体姿态全局特征,融合YOLO v3算法提取的交互物体局部特征,对学生行为进行了识别分析,提高了识别精度;改进了模型结构,压缩并优化了模型,降低了空间与时间的消耗.选取与学习投入状态紧密相关的4种行为:正坐、侧身、低头和举手进行识别,该检测与识别方法在验证集上的精度达到了95.45%,在课堂上玩手机和书写等常见行为的识别精度较原模型有很大的提高.     

基于姿态估计的多视角人脸检测

目前,对于多视角的人脸检测仍然是一个具有挑战性的难题.为了解决这个问题,提出了一种基于姿态估计的人脸检测的方法.在训练人脸分类器时,我们将视角范围划分成几个小区间,为每一个小区间利用Adaboost算法训练相应的分类器;在对图像进行检测时,对于任何给定的一幅图像,我们首先对其进行姿态的估计,并根据估计的结果选择相应的检测器对其进行检测.实验结果表明,提出的方法能很好地检测多视角人脸图像,在检测率和检测速度上都有很好的效果.     

基于改进YOLO-Pose轻量模型的多人姿态估计

YOLO-Pose作为人体姿态估计算法模型,在精度和速度上有着不错的表现,但其在复杂和有遮挡的场景下存在误检率较大的问题,并且模型的复杂度仍然有优化的空间. 针对这几个问题,通过选取Slim-neck模块和Res2Net模块,重新设计其特征融合层,减少其计算量和参数量,提高特征提取能力,在提升精度的同时,使模型轻量化;引入EIoU损失函数,加快边框检测的收敛速度,并提高定位的准确性. 在压缩的OC_Human数据集上进行测试,改进后的模型与YOLO-Pose相比,P值、mAP@0.5和mAP@.5：95分别提高了10.6,3.1和2.9个百分点. 此外,参数量和计算量也分别减少了16.7%和19.3%,在精度和轻量化方面均有所提升,为其应用在资源有限的边缘计算设备提供了可能性.     

基于改进姿态估计算法的嵌入式平台实时跌倒检测

为了实现视频中特殊人群跌倒检测的实时性和降低误检率。通过采用改进的姿态估计网络提取人体关节点的方法,研究了使用前后帧关节点的变化来对人体进行追踪和跌倒行为检测。为了在嵌入式平台上使姿态估计网络达到实时效果,采用带有注意力机制的轻量化结构搭建深度卷积网络来提取人体关节点坐标,并合成完整的骨架信息。结果表明：带有注意力机制的姿态估计算法在不同数据集上的准确度均有提升;同时在嵌入式平台上保持误检率较低的情况下达到实时跌倒检测。可见基于改进姿态估计算法并通过关节点判断的方法较好地实现了人体的跌倒检测。     

采用空间依赖的MTDPN扶梯危险行为的姿态估计

为实现自动扶梯场景下姿态估计的快速响应和准确估计,提出一种基于空间依赖的多任务解耦姿态网络(MTDPN)。首先,对姿态估计网络进行定位和分类任务分支的解耦,使每个任务分支能够自适应地调整特征关注方向;其次,提出一种空间依赖卷积,通道联合层和空间联合层作为中间层,以逐点卷积和逐深度卷积取代传统卷积,从而降低MTDPN的参数量和浮点计算量,使每张图片的检测时间仅为73.3 ms。在扶梯危险行为关键点数据集和COCO关键点数据集上对MTDPN进行评估。结果表明：与原始网络YOLOPOSE相比,MTDPN在扶梯危险行为关键点数据集和COCO关键点数据集上的准确性指标均有所提高。     

基于CPM及亲和度向量的服装关键点检测方法

服装关键点检测是时尚大数据分析和应用的关键技术之一,受到工业界和学术界的共同关注.对多类别、姿态复杂、遮挡等服装关键点检测难点进行了研究,使用目标检测方法对服装分类并消除背景干扰,提出基于亲和度向量的卷积姿态机实现服装关键点检测,利用关键点间空间约束以提高检测的准确度,实现了一个两阶段的服装关键点检测框架.实验表明,该...     

基于视觉的无人机姿态角估计

通过提取视频图像上跑道的线性特征以及利用消失点的定义来估计无人机(UAV)的三个姿态角.先对相机的三个姿态角进行估计:利用跑道底线估计出滚动角,用消失点在图像上的位置来估计偏航角,结合消失点的定义给出俯仰角的估计,同时对偏航角和俯仰角的估计进行修正,随后给出无人机的姿态角估计.仿真试验证明了所提方法的有效性,滚动角的估计误差在0.8°之内,偏航角和俯仰角的误差在0.2°之内.     

神经心理量表理解力检测的人体姿态特征识别方法

神经心理测试可以对各认知域受损严重程度做出客观评价,是检测疾病进展、评估药物疗效的有效手段。其中理解力测试部分通过判断受试者是否根据指令要求作出相应动作实现,是老年人认知功能障碍评估的重要部分,有利于痴呆的早预防早干预。文章提出了一套神经心理测试中理解力检测的人体姿态估计视频分析方法,基于Openpose深度卷积网络提取人体关键点坐标,随后基于图像形态学处理技术和Faster R-CNN等技术提出了纸张、牙刷等目标物体关键点二维坐标提取方法,并以量表中动作要求建立人体姿态估计数学模型。通过实验对神经心理测试的6个动作进行识别,结果表明,所提姿态估计数学模型和交互动作识别方法能够有效检测人体姿态动作指令及人与纸张的交互指令。     

利用卷积曲面模型的人体运动姿势估计

基于通过单目图像进行人体运动姿势估计,是计算机视觉中非常困难的问题,提出了一种利用单目图像进行人体运动姿势估计的框架.首先建立了一种新颖的多项式密度卷积曲面人体模型,该模型由连接体线骨架与某种卷积核卷积而成,整个曲面是一张连续曲面,调节多项式和半径参数可以让人体任意变形;给出了正交投影下卷积曲面和曲线对应的概念和相关定理,为二维的图像轮廓和三维人体模型之间建立对应关系;根据正交投影下卷积曲面与曲线对应定理,用卷积曲线去逼近人体的图像轮廓曲线,从而估计和恢复出三维人体运动姿态.实验证明,该方法在没有遮挡的情况下,可以很好地恢复人的三维运动.     

基于级联卷积神经网络的服饰关键点定位算法

随着深度学习的发展,使用深度卷积神经网络进行关键点定位受到了广泛关注.虽然在人体姿态、人脸识别等多个方面的关键点定位技术已经获得了长足的发展,但是应用于服饰的关键点定位由于其图像背景以及姿态等的多变性依然面临很大的挑战.服饰关键点定位技术在电商以及时尚搭配等方面有很大应用价值,本文将关键点定位应用于时尚领域,提出一种基于级联卷积神经网络的服饰关键点定位算法.该算法的目的是通过级联的两级卷积神经网络,实现对服饰关键点的初步定位以及对困难关键点的定位调整.算法的第1级以深度残差网络作为特征提取网络,在特征金字塔结构中引入空洞卷积,解决高层特征图感受野大但是空间分辨率低的问题,从而保留更多图像底层细节信息,实现对关键点的初步定位;第2级将第1级网络得到的定位结果作为关键点之间的结构先验,结合沙漏网络提取多尺度特征,对困难关键点进行精细调整,进一步提高定位精度.实验选用2018Fashion AI服饰关键点定位数据集进行训练和测试,将该数据集中对服饰关键点定位的平均归一化误差结果降低到3.56%,充分验证了算法的有效性.与几种常见关键点定位算法进行对比,本文算法在服饰关键点定位任务中取得最好效...