基于AlphaPose的行人重识别姿态评价方法

行人重识别旨在不同时间、不同摄像头拍摄范围中检索特定目标行人,在实际应用场景中,可能会存在行人被严重遮挡的图像,不仅不利于行人检测,还会消耗大量的时间.行人姿态检测可以通过定位行人关键点位置判断行人是否存在遮挡,因此,本研究提出在重识别检测之前,对行人姿态进行分析,提出一种基于AlphaPose的重识别行人姿态评价方法.首先,利用AlphaPose进行姿态检测,得到行人各个关键点的置信度;然后,利用各个关键点的置信度得到各个行人的姿态评分;最后,根据姿态评分结果筛选出多个测试集进行验证分析.利用torchreid框架在数据集DukeMTMC-reID及Market1501进行实验,实验结果表明,与初始测试集相比,筛选后的测试集检测效率明显提高,且mAP和rank-n值也有所提高.     

神经心理量表理解力检测的人体姿态特征识别方法

神经心理测试可以对各认知域受损严重程度做出客观评价，是检测疾病进展、评估药物疗效的有效手段。其中理解力测试部分通过判断受试者是否根据指令要求作出相应动作实现，是老年人认知功能障碍评估的重要部分，有利于痴呆的早预防早干预。文章提出了一套神经心理测试中理解力检测的人体姿态估计视频分析方法，基于Openpose深度卷积网络提取人体关键点坐标，随后基于图像形态学处理技术和Faster R-CNN等技术提出了纸张、牙刷等目标物体关键点二维坐标提取方法，并以量表中动作要求建立人体姿态估计数学模型。通过实验对神经心理测试的6个动作进行识别，结果表明，所提姿态估计数学模型和交互动作识别方法能够有效检测人体姿态动作指令及人与纸张的交互指令。     

基于自适应感受野的教室人体姿态实时检测

人体姿态信息对教学管理和教学评估具有重要作用,通过算法快速且准确地获取人体姿态信息具有重要的研究意义。近年来,尽管基于人体关键点的姿态估计方法被广泛研究,但由于教室监控场景图像普遍存在遮挡严重、目标尺度变化大、图像成像质量差等问题,难以直接运用现有方法。提出一种基于自适应感受野的教室人体姿态实时检测方法。在单发多边框检测器(single shot multibox detector, SSD)网络中,构建自适应感受野卷积模块,通过上下两个支路提取不同感受野的特征;在反向传播过程中,自动学习上下支路的特征融合参数,自适应调整网络的感受野;提高网络在教室场景中人体姿态的检测性能。实验结果表明,提出的方法可以实现实时检测,且优于现有的教室人体姿态检测方法和其他单阶段目标检测方法。     

轻量化二维人体骨骼关键点检测算法综述

随着移动设备和嵌入式设备的发展,对二维人体骨骼关键点检测网络提出了更高的要求。设计轻量化神经网络是解决网络参数量大、计算量大的重要方法。首先,介绍了基于神经网络的二维人体骨骼关键点检测中常用的数据集、主流方法和轻量级神经网络;然后,对近几年基于神经网络的轻量化人体姿态估计方法进行了分类和总结,根据神经网络轻量化方式将二维骨骼关键点检测方法归成四类：轻量化特征提取网络、深度可分离卷积、Dense连接机制和Lightweight瓶颈结构,并分析了它们的优缺点和轻量化手段;最后,介绍了常用的评价指标,并对改进后的轻量化方法进行了实验数据对比,结合当前研究所面临的问题及未来的发展趋势进行了总结。     

基于深度学习的二维人体姿态估计综述

人体姿态估计是近年来计算机视觉问题中的一个热门话题,它在改善人类生活方面具有巨大的益处和潜在的应用。近年来深度神经网络得到快速发展,相较于传统方法而言,采用深度学习的方法更能提取图像表征信息。综合分析近年来人体姿态估计的进展,根据检测人数分为单人和多人人体姿态估计。针对单人姿态估计,介绍了基于直接预测人体坐标点的坐标回归方法及基于预测人体关键点高斯分布的热图检测方法;针对多人姿态估计,采用解决多人到解决单人过程的自顶向下方法和直接处理多人关键点的自底向上方法。总结了各方法网络结构的特点和优缺点,并阐述当前面临的问题及未来发展趋势。     

多特征因素的疲劳驾驶检测方法

疲劳驾驶是导致交通事故的主要原因之一,为了降低交通事故对人们生命财产的危害,本文采用分层梯度方向直方图(pyramid histogram of oriented gradients,PHOG)算法进行人脸识别和关键点检测,提出一种多特征疲劳特征因素的疲劳驾驶检测方法,结合OpenCV对人面部的眼、嘴以及头部空间姿态坐...     

采用空间依赖的MTDPN扶梯危险行为的姿态估计

为实现自动扶梯场景下姿态估计的快速响应和准确估计，提出一种基于空间依赖的多任务解耦姿态网络(MTDPN)。首先，对姿态估计网络进行定位和分类任务分支的解耦，使每个任务分支能够自适应地调整特征关注方向；其次，提出一种空间依赖卷积，通道联合层和空间联合层作为中间层，以逐点卷积和逐深度卷积取代传统卷积，从而降低MTDPN的参数量和浮点计算量，使每张图片的检测时间仅为73.3 ms。在扶梯危险行为关键点数据集和COCO关键点数据集上对MTDPN进行评估。结果表明：与原始网络YOLOPOSE相比，MTDPN在扶梯危险行为关键点数据集和COCO关键点数据集上的准确性指标均有所提高。     

基于姿态估计和Transformer模型的遮挡行人重识别

行人重识别是利用人工智能解决边防检查、人员追踪等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在人员追踪等问题中,往往会出现行人刻意遮挡、复杂场景环境遮挡等因素,大大提高了行人重识别的难度。针对行人重识别遮挡问题,基于ResNet50网络,结合姿态估计（Pose estimation）和转换器（Transformer）模型,提出了一种改进的行人重识别网络PT-Net,以提高遮挡条件下的行人重识别能力。该方法首先利用现有的姿态估计方法对输入图像进行关键点检测,并将关键点信息与行人特征图像结合起来生成一个基于姿态的行人特征表示;然后利用Transformer模型对基于姿态的行人特征表示编码,用来实现特征对齐和特征融合。论文基于国际公开的数据集Occluded-Duke开展实验验证,结果表明,PT-Net方法相对于基线模型,其均值精度mAP和相似度排序Rank-1指标分别提高了1.3和1.5个百分点,验证了该方法的有效性和优越性。     

基于注意力机制改进的多人姿态估计网络研究

为解决多人姿态估计中小尺度关节点定位准确率低的问题,采用自顶向下的方法,结合人体目标检测模型YOLOv4-tiny,提出一种基于堆叠沙漏网络改进的多人姿态估计网络.该网络包含人体目标检测器和人体姿态估计算法,通过在沙漏网络原始残差模块中融入坐标注意力机制进行特征增强,抑制无用特征的同时增强有用特征,从而提高对人体中小尺度关节点的识别准确率.实验结果表明,该模型在COCO数据集上获得了64.9%的平均准确率,在MPII数据集上正确关键点的比例达88.8%,验证了网络的有效性.     

一种改进的行人导航算法研究

目前大多行人导航系统的研究都以手持手机、绑在腰间等单一姿态为前提,并未考虑行人使用手机过程中同时存在接电话、放在上衣口袋等多种姿态的情况.分析了行人使用手机的4种常见姿态,基于行人航迹推算(pedestrian dead reckoning,PDR)算法设计了一种改进的行人导航算法.利用神经网络(back propagation,BP)模型对手机姿态进行智能识别,设计了一种新的步态检测算法来对多姿态下的步态进行有效检测,并将行人行走过程分为单一姿态与姿态切换过程,对2个过程的航向进行了修正.软件测试结果表明,多姿态下实现系统定位精度在20‰以内,达标率在85％以上,应用于导航系统能够提供准确、可靠、持续的位置信息.     

基于级联卷积神经网络的服饰关键点定位算法

随着深度学习的发展,使用深度卷积神经网络进行关键点定位受到了广泛关注.虽然在人体姿态、人脸识别等多个方面的关键点定位技术已经获得了长足的发展,但是应用于服饰的关键点定位由于其图像背景以及姿态等的多变性依然面临很大的挑战.服饰关键点定位技术在电商以及时尚搭配等方面有很大应用价值,本文将关键点定位应用于时尚领域,提出一种基于级联卷积神经网络的服饰关键点定位算法.该算法的目的是通过级联的两级卷积神经网络,实现对服饰关键点的初步定位以及对困难关键点的定位调整.算法的第1级以深度残差网络作为特征提取网络,在特征金字塔结构中引入空洞卷积,解决高层特征图感受野大但是空间分辨率低的问题,从而保留更多图像底层细节信息,实现对关键点的初步定位;第2级将第1级网络得到的定位结果作为关键点之间的结构先验,结合沙漏网络提取多尺度特征,对困难关键点进行精细调整,进一步提高定位精度.实验选用2018Fashion AI服饰关键点定位数据集进行训练和测试,将该数据集中对服饰关键点定位的平均归一化误差结果降低到3.56%,充分验证了算法的有效性.与几种常见关键点定位算法进行对比,本文算法在服饰关键点定位任务中取得最好效果,尤其是提高了对困难关键点的定位精度.     

基于改进Faster R-CNN的手部位姿估计方法

基于视觉的手部位姿估计技术应用于诸多领域,具备着广泛的国际应用市场前景和巨大发展潜力。然而,手部自身存在检测目标过小、手指高自由度以及手部自遮挡等问题。通过对目前存在的难点分析,将手部位姿估计任务分为手部检测和手部关键点检测,提出基于改进的Faster R-CNN的手部位姿估计方法。首先提出基于改进的Faster R-CNN手部检测网络,将传统Faster R-CNN网络中的对ROI(regional of interest)的最大值池化,更改为ROI Align,并增加损失函数用于区分左右手。在此基础上增加了头网络分支用以训练输出MANO(hand model with articulated and non-rigid deformations)手部模型的姿态参数和形状参数,得到手部关键点三维坐标,最终得到手部的三维位姿估计结果。实验表明,手部检测结果中存在的自遮挡和尺度问题得到了解决,并且检测结果的准确性有所提高,本文手部检测算法准确率为85%,比传统Faster R-CNN算法提升13%。手部关键点提取算法在MSRA、ICVL、NYU三个数据集分别取得关键点坐标的均方误差值(k...     

基于双流全卷积网络的驾驶员姿态估计方法

针对现有姿态估计方法在驾驶室复杂环境条件下发生的非目标误检测和检测精度低的问题,提出了一种基于双流全卷积网络的驾驶员姿态估计方法.该方法通过建立2条独立的FCN(fully convolutional network)分支,分别对关键点坐标及关键点间的连接信息进行预测,同时在2个分支中构建沙漏状的网络结构,增强了网络提取关键信息的能力.为了进一步提高模型的特征提取能力,将浅层与深层网络得到的特征图进行融合.为了验证所提方法的检测效果,采用COCO(common objects in context)数据集和DDS(driver′s driving situation)数据集进行验证.试验结果表明:该方法在COCO数据集和DDS数据集上的检测平均精度分别达到64.5%和78.4%,优于其他3种对比算法;该方法可以提高驾驶员人体姿态的检测精度,具有较好的鲁棒性.     

基于随机森林的人脸关键点精确定位方法

为了解决干扰情况(光照变化、表情变化和姿态变化等)下的人脸关键点精确定位问题,提出一种新的基于随机森林分类器的人脸关键点定位算法。针对目前研究工作尚未解决的人脸表情、光照以及姿态变化等难点,该文有两点主要贡献:1)引入了随机森林分类器和点对比较特征进行关键点定位,这种基于大量样本统计学习的方法能够有效解决人脸关键点定位中光照、表情和姿态变化这些难点;2)结合关键点的位置约束关系,进一步降低定位误差。实验结果表明:该算法可以有效地克服人脸光照、表情和姿态变化等因素干扰,能够对眼角和嘴角6个关键点进行全自动精确定位。     

基于物体6D姿态估计算法的增强现实博物馆展示系统

针对文化遗产资源缺少生动逼真、沉浸感的展示的问题,基于增强现实技术,融合人工智能,提出了一种基于物体6D姿态估计算法的增强现实博物馆展示系统,用于文化遗产三维可视化展示。物体的6D姿态估计是指检测图像中出现的物体,并且估计其相对观察者的3D位置和方向。在增强现实领域中,6D姿态估计用于测量真实环境中物体的姿态,并将虚拟物体以正确的姿态添加到它们上面。针对增强现实系统中场景和对象融合精度低、速度慢的问题,研究了一种端到端的物体6D姿态估计网络,实现从RGB图像中进行物体目标检测以及姿态估计,提出的方法使用并联网络结构提取高分辨率特征,可以保留更多的空间信息,提升预测物体关键点的精度,使用一个姿态推理网络方式替代传统的数学计算方法,从关键点中得到物体的姿态,实现端到端姿态估计,提升检测速度。在该方法的基础上,研究了结合云计算、5G通信等多项技术的增强现实分布式框架,实现移动端的增强现实应用。实验结果表明,文中提出的物体6D姿态估计方法的准确率达到92.6%,运行速度达到30帧/s,满足增强现实应用的需求,可用于增强现实博物馆展示系统,为其提供生动的互动内容,突破文化遗产实物的时空局限性,为观众带来身临其境的参观体验。     

基于数据融合的小型两轮自平衡机器人姿态检测方法

针对小型两轮自平衡机器人姿态检测所用低成本加速度计(MMA7361)数据不够准确及陀螺仪(ENC03)信号的漂移问题,分别采用互补滤波器、kalamn滤波器和自适应kalman滤波器进行数据融合处理方法研究,通过对比实验确定采用自适应kalman滤波器实现加速度计和陀螺仪检测数据的融合,从而确定小型两轮自平衡机器人的姿态,进而实现其运动平衡控制.物理实验结果表明基于自适应kalman滤波器的加速度计和陀螺仪检测数据融合姿态检测方法不仅适用于小型两轮自平衡机器人的运动平衡控制,而且其参数较先前普遍采用的kalamn滤波器更易调整,姿态检测结果更加可靠.     

基于声源定位的头部姿态检测系统研究与实现

研究了声源定位技术在鼾声检测上的应用,主要研究鼾声的声学特性、声源定位技术原理,并利用声源定位技术对人体打鼾时头部姿态进行识别.采用广义互相关函数法对多路声音采集系统采集到的鼾声信号进行延迟估计计算,根据得到的相对时延信息进行声音定位,结合定位信息和朝向信息推断出当前受试者打鼾时头部姿态.采用数据采集卡进行高速信号采集,使用虚拟仪器Labview进行信号处理和算法实现,实验中受试者以不同头部姿态在该系统监测下模拟打鼾,通过该系统检测头部姿态,综合判断正确率达到80%.     

MPU9250传感器的姿态检测与数据融合

设计了基于MPU9250多轴姿态传感器和MSP430F149单片机的姿态检测系统。利用传感器内部的陀螺仪、加速度计和电子罗盘,可以对3个轴的角速度、加速度、磁感应强度进行测量,进而解算成角度姿态。利用优化的卡尔曼滤波算法对解算的姿态角度进行了融合处理,融合后的数据有效地抑制了噪声,提高了角度姿态检测的准确性。设计的姿态检测系统每秒钟可以完成100次姿态检测与计算,具有体积小、响应快等特点,并应用于自平衡小车的姿态检测。     

基于YOLOv3模型的人脸检测与头部姿态估计融合算法

针对头部姿态估计中的人脸检测框尺寸难于学习问题和将人脸检测、头部姿态估计分为两阶段的模型中流程复杂、耦合程度高、误差累积严重的问题,本文提出一种基于YOLOv3模型的人脸检测与头部姿态估计融合算法。通过K-means聚类方法对训练集中人脸区域的尺寸进行聚类,得出9组聚类结果,以模拟真实情况下人脸区域的尺寸和比例;通过拓展YOLOv3模型,实现人脸检测和头部姿态估计同时进行,并在3个不同层次的特征图上进行人脸检测和头部姿态估计,实现对特征图的多尺度检测,充分利用了特征图中的信息;采用端到端模式进行训练,简化头部姿态估计任务的处理流程。在CAS-PEAL-R1姿态子集上取得99.23%的预测准确率,在Pointing′04数据集上pitch和yaw方向分别取得了3.79°和4.24°的平均绝对误差。结果表明,本模型在满足实时性要求的前提下,能够出色完成人脸区域检测与头部姿态估计任务,充分证实本文方法的可靠性与实用性。     

基于骨骼关键点检测的士兵训练动作分类研究

人体骨骼关键点检测作为计算机视觉中的研究热点,产生了很多与之相关的运动辅助训练系统,并用于士兵体能训练的智能化。作为士兵体能辅助训练系统设计的基础工作,提出一种基于人体骨骼关键点的士兵体能训练行为分类方法。首先利用OpenPose模型对士兵体能训练运动视频进行骨骼关键点检测,然后针对体能训练运动的特点人工设计特征信息,最后利用改进的多分类SVM进行体能训练行为分类。实验结果表明,基于人体骨骼关键点检测的士兵体能训练动作分类方法能够快速有效地实现对视频的分类,准确率达到了92.9%。