基于卷积神经网络的单幅图像室内物体姿态估计

单幅图像的目标检测和物体姿态估计一直是计算机视觉领域中非常重要的研究内容.利用卷积神经网络对单幅室内场景图像进行研究分析,提出了一种基于卷积神经网络的单幅图像室内物体姿态估计算法.该算法采用直接分类预测的方法来实现物体的姿态估计.通过改进Faster-RCNN网络结构,利用室内场景数据集SUNRGB-D训练网络,实现端到端单幅室内图像目标检测和姿态估计.实验结果表明,该算法目标检测平均准确度为70%,姿态估计结果中平移估计准确度为28%,旋转角度估计准确度为30%.     

手部姿态估计方法综述

手部姿态估计是计算机视觉领域的一项基础研究，在虚拟现实、增强现实、自动驾驶、虚拟手术等应用中发挥着重要的作用。实现手部姿态估计将使得计算机具备自动理解图像或者视频序列中蕴含信息的能力，有利于实现更自然的人机交互。随着计算理论与深度学习的发展，手部姿态估计领域已衍生出众多研究成果。文章首先介绍手部姿态估计的相关基础概念，然后按照手部姿态估计的应用场景，将现有方法分为徒手交互场景下的手部姿态估计方法和手物交互场景下的手部姿态估计方法，并分别介绍了这两类方法近几年的发展情况，归纳了未来的研究方向，最后作出总结。     

基于改进的随机森林的人体部件识别

姿态估计是自然人机交互最为重要的环节,人体部件识别是姿态估计的重要步骤。本文介绍了一种基于特征预筛选的改进的随机森林的方法来识别人体各个部件。与传统的随机森林构造不同,在该方法中,对于特征空间十分庞大的实例给出了特征预筛选方法,使得每个分裂节点的特征子集更为高效。该方法既保证了树与树之间的独立,又保证了每棵树的分类性能。在树与树之间的组合中,根据人体部件构造,引入了和分层树的组合模型方式,提高了差异较小类的分类性能,进而提高了森林的准确性。     

基于YOLOv3模型的人脸检测与头部姿态估计融合算法

针对头部姿态估计中的人脸检测框尺寸难于学习问题和将人脸检测、头部姿态估计分为两阶段的模型中流程复杂、耦合程度高、误差累积严重的问题,本文提出一种基于YOLOv3模型的人脸检测与头部姿态估计融合算法。通过K-means聚类方法对训练集中人脸区域的尺寸进行聚类,得出9组聚类结果,以模拟真实情况下人脸区域的尺寸和比例;通过拓展YOLOv3模型,实现人脸检测和头部姿态估计同时进行,并在3个不同层次的特征图上进行人脸检测和头部姿态估计,实现对特征图的多尺度检测,充分利用了特征图中的信息;采用端到端模式进行训练,简化头部姿态估计任务的处理流程。在CAS-PEAL-R1姿态子集上取得99.23%的预测准确率,在Pointing′04数据集上pitch和yaw方向分别取得了3.79°和4.24°的平均绝对误差。结果表明,本模型在满足实时性要求的前提下,能够出色完成人脸区域检测与头部姿态估计任务,充分证实本文方法的可靠性与实用性。     

基于二阶梯度朝向直方图特征的头部姿态估计

定义和提取与头部姿态紧密相关的特征是基于图像表观的头部姿态估计方法的关键步骤。该文提出将二阶梯度朝向直方图特征作为头部姿态图像表示,用于单帧图像的头部姿态估计。首先将图像划分成网格形式,对每个图像单元计算梯度朝向直方图,将相邻若干个图像单元组成图像块,对块内所有直方图元素之间进行成对组合得到成对关系向量,所有图像块的成对关系向量串联起来作为最终图像表示。该图像表示包含高阶的梯度朝向分布统计信息,有很强的姿态描述能力。实验结果表明:该方法比原始的梯度朝向直方图和GaFour等先进方法有更高的分类准确率。     

基于SSD模型的人脸检测与头部姿态估计融合算法

针对头部姿态估计常用的人脸检测、姿态估计两步串联框架中流程复杂、耦合性高、整体鲁棒性低的问题,提出了一种基于改进SSD模型的人脸检测与头部姿态估计融合算法.通过拓展SSD模型,设计了人脸检测与姿态估计融合网络模型,在多层次卷积特征图上检测人脸,并估计头部姿态;采用端到端训练模式进行模型训练,简化了头部姿态估计任务的处理流程.在Pointing′04和300W-LP数据集上进行了试验.结果表明,本模型能够在满足实时性要求的前提下有效地完成检测任务与估计任务,在两个数据集中的pitch预测平均绝对误差分别达到了4.80°和6.48°,这充分证明了所提出算法的实用性和鲁棒性.     

基于相对视线矢量测量的多航天器编队相对姿态求解方法

航天器相对姿态求解是编队控制和保持的前提条件,针对远距离编队相对姿态求解问题,提出了一种基于相对视线矢量测量的多航天器编队相对姿态确定方案.考虑编队由3个航天器组成,每个航天器装备视觉传感器,可以测量到相对其余两个航天器的相对视线矢量,基于视觉传感器测量模型,推导了确定性姿态求解方法,并进行了数学仿真研究.仿真结果表明,多航天器编队相对姿态求解方法可以有效估计出航天器间的相对姿态,估计精度较高,能够满足航天器编队控制需求,解决了远距离编队情况下视觉传感器应用的局限性.      

一种弹体滚转姿态估计的新方法

针对制导弹药滚转姿态测量的需求,提出了一种无陀螺姿态测量的方法. 采用两个MEMS加速度计进行弹上姿态传感器的配置,建立了基于截断正态概率密度模型的系统状态方程,利用速度估计自适应方法实现了对过程噪声方差阵的自适应调整,采用强跟踪滤波器(STF)直接进行滚转状态估计. 由于STF滤波器具有对模型参数失配的鲁棒性以及对突变状态的强跟踪能力,改善了算法的估计精度. 仿真实验研究表明:该方法结构简单、测量精度高、收敛速度快,具有很高的工程应用价值.      

基于深度图像预旋转的手势估计改进方法

基于深度图像的手势估计比人体姿势估计更加困难,部分原因在于算法不能很好地识别同一个手势经旋转后的不同外观样式.提出了一种基于卷积神经网络(Convolutional Neural Network, CNN)推测预旋转角度的手势姿态估计改进方法:先利用自动算法标注的最佳旋转角度来训练CNN;在手势识别之前,用训练好的CNN模型回归计算出应预旋转的角度,然后再对手部深度图像进行旋转;最后采用随机决策森林(Random Decision Forest, RDF)方法对手部像素进行分类,聚类产生出手部关节位置.实验证明该方法可以减少预测的手部关节位置与准确位置之间的误差,手势姿态估计的正确率平均上升了约4.69%.     

基于三维重建的人脸姿态估计

人脸姿态估计是计算机视觉及人脸识别领域的一项关键研究内容.将三维模型应用于估计人脸图像姿态参数,提出了基于三维重建的人脸姿态估计算法.根据人脸正面图片上的特征点计算出形状参数,实现三维人脸重建.基于三维人脸模型,由姿态图片上提取的特征点信息推知等姿态下模型上对应特征点的信息,针对照模型正面姿态,运用线性回归估计姿态参数.实验表明,重建的三维人脸具有较好的真实感,在较大的姿态变化范围内,该方法也能够取得较好的估计精确并具有鲁棒性.     

基于视觉的目标姿态估计算法

驾驶员头部姿态在一定程度上反映驾驶员的意图。为了避免由驾驶员主观因素造成交通事故,基于计算机视觉的动态头部姿态估计算法,首先检测视频中的正面人脸,以此为基准,利用SIFT算法对视频序列中人脸特征进行匹配与跟踪,计算不同视角下的头部姿态角度,再通过记录不同姿态角度保持的时间来判别驾驶员的行为意识,从而给驾驶员警示,进而避免交通事故。实验表明,该系统可以精确估算驾驶员头部姿态,提高驾驶安全性。     

基于膨胀卷积的多模态融合视线估计

基于表观的视线估计方法主要是在二维的三原色(red green blue,RGB)图像上进行,当头部在自由运动时视线估计精度较低,且目前基于卷积神经网络的表观视线估计都普遍使用池化来增大特征图中像素点的感受野,导致了特征图的信息损失,提出一种基于膨胀卷积神经网络的多模态融合视线估计模型.在该模型中,利用膨胀卷积设计了一种叫GENet(gaze estimation network)的网络提取眼睛的RGB和深度图像的特征图,并利用卷积神经网络的全连接层自动融合头部姿态和2种图像的特征图,从而进行视线估计.实验部分在公开数据集Eyediap上验证了设计的模型,并将设计的模型同其他视线估计模型进行比较.实验结果表明,提出的视线估计模型可以在自由的头部运动下准确地估计视线方向.     

基于改进Faster R-CNN的手部位姿估计方法

基于视觉的手部位姿估计技术应用于诸多领域，具备着广泛的国际应用市场前景和巨大发展潜力。然而，手部自身存在检测目标过小、手指高自由度以及手部自遮挡等问题。通过对目前存在的难点分析，将手部位姿估计任务分为手部检测和手部关键点检测，提出基于改进的Faster R-CNN的手部位姿估计方法。首先提出基于改进的Faster R-CNN手部检测网络，将传统Faster R-CNN网络中的对ROI(regional of interest)的最大值池化，更改为ROI Align,并增加损失函数用于区分左右手。在此基础上增加了头网络分支用以训练输出MANO(hand model with articulated and non-rigid deformations)手部模型的姿态参数和形状参数，得到手部关键点三维坐标，最终得到手部的三维位姿估计结果。实验表明，手部检测结果中存在的自遮挡和尺度问题得到了解决，并且检测结果的准确性有所提高，本文手部检测算法准确率为85%,比传统Faster R-CNN算法提升13%。手部关键点提取算法在MSRA、ICVL、NYU三个数据集分别取得关键点坐标的均方误差值(k...     

基于深度学习的平面位姿估计算法

为了在未知物体三维模型的情况下使用深度学习进行平面位姿估计，采用编码器-解码器网络，从单个RGB图像中检测平面实例分割及法线信息，并利用这些信息进行位姿解算，获得每个平面的实时位姿。实验结果显示,平面召回率为0.625，平面法线召回率为0.414，实时性为18.5 f/s，验证了算法的可行性。     

基于改进姿态估计算法的嵌入式平台实时跌倒检测

为了实现视频中特殊人群跌倒检测的实时性和降低误检率。通过采用改进的姿态估计网络提取人体关节点的方法,研究了使用前后帧关节点的变化来对人体进行追踪和跌倒行为检测。为了在嵌入式平台上使姿态估计网络达到实时效果,采用带有注意力机制的轻量化结构搭建深度卷积网络来提取人体关节点坐标,并合成完整的骨架信息。结果表明：带有注意力机制的姿态估计算法在不同数据集上的准确度均有提升;同时在嵌入式平台上保持误检率较低的情况下达到实时跌倒检测。可见基于改进姿态估计算法并通过关节点判断的方法较好地实现了人体的跌倒检测。     

基于多掩膜技术的无监督深度与光流估计方法

针对自动驾驶领域现有方法在处理动态、遮挡等复杂实际场景时存在的估计不准确问题,提出了一种以多掩膜技术为基础的无监督深度与光流估计方法,通过无监督学习从单目视频序列中提取目标深度、相机运动位姿和光流信息。根据不同外点类型设计了多种特定掩膜,以有效抑制外点对光照一致性损失函数的干扰,并在位姿估计和光流估计任务中起到剔除外点的作用。引入预训练的光流估计网络,协助深度和位姿估计网络更好地利用三维场景的几何约束,从而增强联合训练性能。最后,借助训练得到的深度和位姿信息,以及计算得到的掩膜,对光流估计网络进行了优化训练。在KITTI数据集上的实验结果表明,该策略能够显著提升模型的性能,并优于其他同类型方法。     

高精度鲁棒的座舱头部姿态跟踪器研究

针对复杂座舱环境设计了一个由inside-out(IO)光学跟踪器和outside-in(OI)光学跟踪器组成的新型座舱头部跟踪器.提出一种新颖的混合跟踪算法,利用扩展卡尔曼滤波器和融合滤波器融合座舱跟踪器中IO跟踪器和OI跟踪器的姿态信息,建立了实验装置验证提出的姿态融合算法.初步实验结果显示,与单一IO或OI跟踪器相比,该混合跟踪算法能够使座舱头部跟踪器获得更精确、更稳定、更鲁棒的位置方向信息.验证了所设计的座舱头部姿态跟踪器的结构合理性和所提出的混合跟踪算法的有效性.     

回转体形状恢复与位姿估计方法

机器人抓取场景中经常包含许多具有回转结构的物体,然而由于这些物体不存在已知的三维模型,无法快速高效地确定回转体形状和位姿。针对这个问题,在现有的基于单视图回转体建模方法的基础上,将位姿估计和重建过程结合,提出回转体形状恢复与位姿估计的方法。首先利用训练好的整体嵌套的边缘检测(holistically-nested edge detection,HED)网络模型得到图像中回转体的边缘轮廓并进行细化处理,再与传统边缘检测方法相融合,提取回转体轮廓信息;其次,根据回转体成像特殊几何约束,依据单张回转体照片建立比例模型;最后,利用同一回转体不同角度的两张图像估计其尺度与位姿。通过实验表明,该方法能够通过两张同一回转体的照片,估计回转体的真实尺度与空间位姿,同时不需要点云信息,是一种鲁棒性较好的回转体形状恢复与位姿估计方法。