采用空间依赖的MTDPN扶梯危险行为的姿态估计

为实现自动扶梯场景下姿态估计的快速响应和准确估计，提出一种基于空间依赖的多任务解耦姿态网络(MTDPN)。首先，对姿态估计网络进行定位和分类任务分支的解耦，使每个任务分支能够自适应地调整特征关注方向；其次，提出一种空间依赖卷积，通道联合层和空间联合层作为中间层，以逐点卷积和逐深度卷积取代传统卷积，从而降低MTDPN的参数量和浮点计算量，使每张图片的检测时间仅为73.3 ms。在扶梯危险行为关键点数据集和COCO关键点数据集上对MTDPN进行评估。结果表明：与原始网络YOLOPOSE相比，MTDPN在扶梯危险行为关键点数据集和COCO关键点数据集上的准确性指标均有所提高。     

基于改进Faster R-CNN的手部位姿估计方法

基于视觉的手部位姿估计技术应用于诸多领域,具备着广泛的国际应用市场前景和巨大发展潜力。然而,手部自身存在检测目标过小、手指高自由度以及手部自遮挡等问题。通过对目前存在的难点分析,将手部位姿估计任务分为手部检测和手部关键点检测,提出基于改进的Faster R-CNN的手部位姿估计方法。首先提出基于改进的Faster R-CNN手部检测网络,将传统Faster R-CNN网络中的对ROI(regional of interest)的最大值池化,更改为ROI Align,并增加损失函数用于区分左右手。在此基础上增加了头网络分支用以训练输出MANO(hand model with articulated and non-rigid deformations)手部模型的姿态参数和形状参数,得到手部关键点三维坐标,最终得到手部的三维位姿估计结果。实验表明,手部检测结果中存在的自遮挡和尺度问题得到了解决,并且检测结果的准确性有所提高,本文手部检测算法准确率为85%,比传统Faster R-CNN算法提升13%。手部关键点提取算法在MSRA、ICVL、NYU三个数据集分别取得关键点坐标的均方误差值(k...     

基于物体6D姿态估计算法的增强现实博物馆展示系统

针对文化遗产资源缺少生动逼真、沉浸感的展示的问题,基于增强现实技术,融合人工智能,提出了一种基于物体6D姿态估计算法的增强现实博物馆展示系统,用于文化遗产三维可视化展示。物体的6D姿态估计是指检测图像中出现的物体,并且估计其相对观察者的3D位置和方向。在增强现实领域中,6D姿态估计用于测量真实环境中物体的姿态,并将虚拟物体以正确的姿态添加到它们上面。针对增强现实系统中场景和对象融合精度低、速度慢的问题,研究了一种端到端的物体6D姿态估计网络,实现从RGB图像中进行物体目标检测以及姿态估计,提出的方法使用并联网络结构提取高分辨率特征,可以保留更多的空间信息,提升预测物体关键点的精度,使用一个姿态推理网络方式替代传统的数学计算方法,从关键点中得到物体的姿态,实现端到端姿态估计,提升检测速度。在该方法的基础上,研究了结合云计算、5G通信等多项技术的增强现实分布式框架,实现移动端的增强现实应用。实验结果表明,文中提出的物体6D姿态估计方法的准确率达到92.6%,运行速度达到30帧/s,满足增强现实应用的需求,可用于增强现实博物馆展示系统,为其提供生动的互动内容,突破文化遗产实物的时空局限性,为观众带来身临其境的参观体验。     

基于深度学习的二维人体姿态估计综述

人体姿态估计是近年来计算机视觉问题中的一个热门话题,它在改善人类生活方面具有巨大的益处和潜在的应用。近年来深度神经网络得到快速发展,相较于传统方法而言,采用深度学习的方法更能提取图像表征信息。综合分析近年来人体姿态估计的进展,根据检测人数分为单人和多人人体姿态估计。针对单人姿态估计,介绍了基于直接预测人体坐标点的坐标回归方法及基于预测人体关键点高斯分布的热图检测方法;针对多人姿态估计,采用解决多人到解决单人过程的自顶向下方法和直接处理多人关键点的自底向上方法。总结了各方法网络结构的特点和优缺点,并阐述当前面临的问题及未来发展趋势。     

神经心理量表理解力检测的人体姿态特征识别方法

神经心理测试可以对各认知域受损严重程度做出客观评价，是检测疾病进展、评估药物疗效的有效手段。其中理解力测试部分通过判断受试者是否根据指令要求作出相应动作实现，是老年人认知功能障碍评估的重要部分，有利于痴呆的早预防早干预。文章提出了一套神经心理测试中理解力检测的人体姿态估计视频分析方法，基于Openpose深度卷积网络提取人体关键点坐标，随后基于图像形态学处理技术和Faster R-CNN等技术提出了纸张、牙刷等目标物体关键点二维坐标提取方法，并以量表中动作要求建立人体姿态估计数学模型。通过实验对神经心理测试的6个动作进行识别，结果表明，所提姿态估计数学模型和交互动作识别方法能够有效检测人体姿态动作指令及人与纸张的交互指令。     

基于注意力机制改进的多人姿态估计网络研究

为解决多人姿态估计中小尺度关节点定位准确率低的问题,采用自顶向下的方法,结合人体目标检测模型YOLOv4-tiny,提出一种基于堆叠沙漏网络改进的多人姿态估计网络.该网络包含人体目标检测器和人体姿态估计算法,通过在沙漏网络原始残差模块中融入坐标注意力机制进行特征增强,抑制无用特征的同时增强有用特征,从而提高对人体中小尺度关节点的识别准确率.实验结果表明,该模型在COCO数据集上获得了64.9%的平均准确率,在MPII数据集上正确关键点的比例达88.8%,验证了网络的有效性.     

基于自适应感受野的教室人体姿态实时检测

人体姿态信息对教学管理和教学评估具有重要作用,通过算法快速且准确地获取人体姿态信息具有重要的研究意义。近年来,尽管基于人体关键点的姿态估计方法被广泛研究,但由于教室监控场景图像普遍存在遮挡严重、目标尺度变化大、图像成像质量差等问题,难以直接运用现有方法。提出一种基于自适应感受野的教室人体姿态实时检测方法。在单发多边框检测器(single shot multibox detector, SSD)网络中,构建自适应感受野卷积模块,通过上下两个支路提取不同感受野的特征;在反向传播过程中,自动学习上下支路的特征融合参数,自适应调整网络的感受野;提高网络在教室场景中人体姿态的检测性能。实验结果表明,提出的方法可以实现实时检测,且优于现有的教室人体姿态检测方法和其他单阶段目标检测方法。     

轻量化二维人体骨骼关键点检测算法综述

随着移动设备和嵌入式设备的发展,对二维人体骨骼关键点检测网络提出了更高的要求。设计轻量化神经网络是解决网络参数量大、计算量大的重要方法。首先,介绍了基于神经网络的二维人体骨骼关键点检测主流方法和轻量级神经网络;然后,对近几年基于神经网络的轻量化人体姿态估计方法进行了分类和总结,根据神经网络轻量化方式将二维骨骼关键点检测方法归成四类：轻量化特征提取网络、深度可分离卷积、Dense连接机制和Lightweight 瓶颈快,并分析了它们的优缺点和轻量化手段;最后,介绍了常用的评价指标,并对改进后的轻量化方法进行了实验数据对比,并结合当前研究所面临的挑战及未来的发展趋势进行了总结和展望。     

结合二阶注意力机制的多尺度人体姿态估计

为解决人体姿态估计任务中存在的不同视角下人体实例尺度变化、遮挡问题导致的人体关键点定位不准确问题,提出融入二阶注意力机制的多尺度人体姿态估计网络模型（GOS-HRNet）。首先,在特征提取阶段为了获得高质量的特征图,通过在多分辨率网络结构中使用Octave卷积,保留更多的图像空间特征信息以提高关键点定位准确率;然后,为有效的利用图像上下文信息,融入二阶注意力模块Gsop使网络能更好的学习各分辨率表征的空间信息;最后,为了应对尺度变换对关键点定位的影响采用尺度增强训练方法,提高模型对尺度变化的鲁棒性。本文提出模型在MS COCO 2017数据集上进行实验,结果表明：提出的GOS-HRNet模型平均检测精度比HRNet模型提升了2.2%,能够更加准确的利用上下文信息、丰富空间特征信息以提高对关键点定位的准确性。     

基于改进姿态估计算法的嵌入式平台实时跌倒检测

为了实现视频中特殊人群跌倒检测的实时性和降低误检率。通过采用改进的姿态估计网络提取人体关节点的方法,研究了使用前后帧关节点的变化来对人体进行追踪和跌倒行为检测。为了在嵌入式平台上使姿态估计网络达到实时效果,采用带有注意力机制的轻量化结构搭建深度卷积网络来提取人体关节点坐标,并合成完整的骨架信息。结果表明：带有注意力机制的姿态估计算法在不同数据集上的准确度均有提升;同时在嵌入式平台上保持误检率较低的情况下达到实时跌倒检测。可见基于改进姿态估计算法并通过关节点判断的方法较好地实现了人体的跌倒检测。