基于卷积神经网络的单幅图像室内物体姿态估计

单幅图像的目标检测和物体姿态估计一直是计算机视觉领域中非常重要的研究内容.利用卷积神经网络对单幅室内场景图像进行研究分析,提出了一种基于卷积神经网络的单幅图像室内物体姿态估计算法.该算法采用直接分类预测的方法来实现物体的姿态估计.通过改进Faster-RCNN网络结构,利用室内场景数据集SUNRGB-D训练网络,实现端到端单幅室内图像目标检测和姿态估计.实验结果表明,该算法目标检测平均准确度为70%,姿态估计结果中平移估计准确度为28%,旋转角度估计准确度为30%.     

基于移动终端的增强现实地下管线可视化技术

对移动终端基于增强现实的地下管线可视化技术进行了研究.首先使用移动端传感器和摄像头获取位置、姿态及影像信息,然后结合空间数据库中的数据对管线的虚拟位置进行计算,对三维场景进行渲染并与现实实景进行融合,实现了地下管线的动态实时可视化展示.最终开发了基于Android移动端的郑州大学地下管线增强现实系统.     

基于移动端平台古生物博物馆增强现实系统的设计与应用

数字化、智能化博物馆对于创新展览模式、提高参观体验、加深文化渗入有着重要意义。针对传统博物馆中呈现内容和交互形式过于单一的问题,同时为探究增强现实博物馆的建设,设计了一个基于Android移动端的增强现实系统,实现了现实环境与虚拟场景的无缝对接。首先从理论角度研究分析了增强现实技术的三维注册、虚实结合和实时交互3个要点,随后结合馆藏展品特点和人机交互的需求,通过Unity3D开发工具以Vuforia SDK为辅助进行系统设计,在构建系统框架的基础上实现了3D场景显示和内容交互,经实验测试,对系统进行相应的改进,然后以辽宁古生物博物馆为应用对象形成了面向参观与推广的安卓端移动增强现实系统,在实际应用中形式多样、效果逼真、交互感强,取得了良好的效果。     

神经心理量表理解力检测的人体姿态特征识别方法

神经心理测试可以对各认知域受损严重程度做出客观评价，是检测疾病进展、评估药物疗效的有效手段。其中理解力测试部分通过判断受试者是否根据指令要求作出相应动作实现，是老年人认知功能障碍评估的重要部分，有利于痴呆的早预防早干预。文章提出了一套神经心理测试中理解力检测的人体姿态估计视频分析方法，基于Openpose深度卷积网络提取人体关键点坐标，随后基于图像形态学处理技术和Faster R-CNN等技术提出了纸张、牙刷等目标物体关键点二维坐标提取方法，并以量表中动作要求建立人体姿态估计数学模型。通过实验对神经心理测试的6个动作进行识别，结果表明，所提姿态估计数学模型和交互动作识别方法能够有效检测人体姿态动作指令及人与纸张的交互指令。     

增强现实系统的动态注册

增强现实是虚拟现实的一个重要分支,有着广泛的前景与应用价值,增强现实系统中最关键的技术是三维注册,为实现虚拟物体与真实物体间的完美结合,三维注册精度至关重要,由于系统延时造成虚拟物体在真实物体附近游移,严重地影响系统的整体注册精度,针对该问题采用扩展卡尔曼滤波方法跟踪标志点,估计头部运动方位,对增强现实系统进行动态注册,以减少系统延时,提高三维注册精度,该算法实时性强,能够较好地解决增强现实系统延时造成的注册误差。     

增强现实中虚拟物体的投影注册算法研究

研究增强现实的关键技术之一的虚拟物体注册技术,使增强现实系统中的增强信息更具有真实感,结合三色基准注册技术,借助三维空间中的坐标系变换和立体投影变换算法,建立增强现实系统中虚拟物体投影注册模型,提出并推导增强现实系统的虚拟物体立体视觉投影注册算法,该算法能够很好地实现已知几何描述的虚拟物体从其自身坐标系到增强现实系统坐标系的转换,并能够生成具有视差的左右眼立体图像,本算法结合视点的三然基准算法完整地实现了用于增强现实的三维注册。     

基于增强现实和神经网络的校园展示应用设计

当前的校园展示多采用虚拟现实开发,该技术让用户完全沉浸入虚拟世界,但忽略了现实世界的信息。增强现实技术能够在真实世界的基础上叠加虚拟信息,进一步增强人们的感知体验。基于Unity3D+ARCore+Tensor Flow设计了带平面检测、多图像和物体识别功能的增强现实应用,详细描述了虚拟对象、触屏交互、平面检测、图片和物体识别的实现过程和注意问题,说明了在脚本和UI设计中的性能优化方法。测试表明多标识物识别提升了应用的实用性,物体识别功能丰富了应用内涵,增加了校园展示的设计方法,拓展了增强现实技术的应用范围。     

图像和惯性传感器相结合的摄像机定位和物体三维位置估计

为解决无人驾驶中车辆定位与周围场景中物体三维位置估计,采用卷积神经网络(CNN)检测图像中的物体,用扩展卡尔曼滤波(EKF)方法融合惯性传感器测量得到的加速度和角速度,同时估计摄像机位置和物理世界中物体三维位置.图像结合惯性传感器(IMU)信息,克服了单目摄像机估计得到的摄像机位置和物体三维位置的尺度不确定性;结合卷积神经网络检测物体提高特征点匹配准确度,实现对物体在三维世界中的位置通用的估计.在实验部分用Matlab分别模拟仿真场景和现实场景的数据库KITTI,有效估计摄像机运动和场景中物体三维位置估计.     

体感交互的裸眼3D展示系统设计与实现

介绍了柱状透镜式裸眼3D显示技术的原理以及多视点裸眼3D的实现方案,设计了8视点图像合成算法,针对体感交互设计了动作识别链,在Unity3D引擎实现了体感交互与裸眼3D展示技术融合应用案例。结果表明,结合体感交互的裸眼3D展示系统增强了交互沉浸感,显著增强系统吸引力,可广泛用于广告宣传、产品展示、公司文化宣传等领域。     

基于多视图融合的3D人体姿态估计

针对自然场景中遮挡、检测姿势不准确以及建立的交叉视图不匹配等问题,在VoxelPose模型的基础上提出了一种基于heatmap的多视图融合网络来估计3D人体姿态.首先,改进高分辨率网络,添加反卷积模块生成更高分辨率的heatmap.取两个髋关节之间的关键点为人体中心点,引入对极约束模型匹配融合不同视角下人体中心点的heatmap信息;然后,将所有视角的heatmap投影到共同的3D空间,再经过3D CNN网络以中心点构建特征体积来估计所有关键点的位置;最后,回归准确的3D人体姿态.在公开的数据集Shelf和Campus中,评估指标PCP3D（正确估计关节位置的百分比）分别达到97.1%和96.7%.在CMU-Panoptic数据集中,MPJPE（关节位置误差的平均值）为16.80 mm,实验结果优于VoxelPose.     

基于双流全卷积网络的驾驶员姿态估计方法

针对现有姿态估计方法在驾驶室复杂环境条件下发生的非目标误检测和检测精度低的问题,提出了一种基于双流全卷积网络的驾驶员姿态估计方法.该方法通过建立2条独立的FCN(fully convolutional network)分支,分别对关键点坐标及关键点间的连接信息进行预测,同时在2个分支中构建沙漏状的网络结构,增强了网络提取关键信息的能力.为了进一步提高模型的特征提取能力,将浅层与深层网络得到的特征图进行融合.为了验证所提方法的检测效果,采用COCO(common objects in context)数据集和DDS(driver′s driving situation)数据集进行验证.试验结果表明:该方法在COCO数据集和DDS数据集上的检测平均精度分别达到64.5%和78.4%,优于其他3种对比算法;该方法可以提高驾驶员人体姿态的检测精度,具有较好的鲁棒性.     

基于增强现实技术的BJD展示

在对增强现实中跟踪注册等关键技术研究分析的基础上,实现了BJD（Ball JointDoll,球关节娃娃）的数字展示,通过检测与识别预先在场景中设置的标记,跟踪摄像机的姿态,BJD空间模型注册到标记上,实现了虚拟BJD与真实场景的融合。     

结合二阶注意力机制的多尺度人体姿态估计

为解决人体姿态估计任务中存在的不同视角下人体实例尺度变化、遮挡问题导致的人体关键点定位不准确问题,提出融入二阶注意力机制的多尺度人体姿态估计网络模型GOS-HRNet。首先,在特征提取阶段为了获得高质量的特征图,通过在多分辨率网络结构中使用Octave卷积,保留更多的图像空间特征信息以提高关键点定位准确率;然后,为有效的利用图像上下文信息,融入二阶注意力模块使网络能更好地学习各分辨率表征的空间信息;最后,为了应对尺度变换对关键点定位的影响采用尺度增强训练方法,提高模型对尺度变化的鲁棒性。所提模型在MS COCO 2017数据集上进行实验,结果表明：所提出的GOS-HRNet模型平均检测精度比HRNet模型提升了2.2%,能够更加准确地利用上下文信息、丰富空间特征信息以提高对关键点定位的准确性。     

基于Openpose和Yolo的手持物体分析算法

针对当前模式识别领域少有专门针对手持物体识别的研究,提出了可实时全局分析人体手持物体状态及手持物体类别的分析算法.以人体姿态估计网络Openpose和物体检测网络Yolo为基础对图像进行初步处理,利用C++A PI将二者获取到的人体关节点坐标和目标物体坐标进行信息融合,然后针对不同尺寸的物体进行分类并分别设计了判定法则...     

基于SSD模型的人脸检测与头部姿态估计融合算法

针对头部姿态估计常用的人脸检测、姿态估计两步串联框架中流程复杂、耦合性高、整体鲁棒性低的问题,提出了一种基于改进SSD模型的人脸检测与头部姿态估计融合算法.通过拓展SSD模型,设计了人脸检测与姿态估计融合网络模型,在多层次卷积特征图上检测人脸,并估计头部姿态;采用端到端训练模式进行模型训练,简化了头部姿态估计任务的处理流程.在Pointing′04和300W-LP数据集上进行了试验.结果表明,本模型能够在满足实时性要求的前提下有效地完成检测任务与估计任务,在两个数据集中的pitch预测平均绝对误差分别达到了4.80°和6.48°,这充分证明了所提出算法的实用性和鲁棒性.     

基于多尺度特征融合的快速单目图像深度估计

文章针对目前采用深度学习估计单目图像深度中存在推理时间长、物体边缘细节不清晰的问题,设计一种基于多尺度特征融合的快速单目图像深度估计网络.将GhostNet运用到单目图像深度估计网络的编码网络中,提高网络的编码速度;采用反卷积和双线性插值设计解码网络,并通过跨层连接将编码网络的特征与解码网络的特征融合增强深度图中物体的...     

基于姿态估计和Transformer模型的遮挡行人重识别

行人重识别是利用人工智能解决边防检查、人员追踪等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在人员追踪等问题中,往往会出现行人刻意遮挡、复杂场景环境遮挡等因素,大大提高了行人重识别的难度。针对行人重识别遮挡问题,基于ResNet50网络,结合姿态估计（Pose estimation）和转换器（Transformer）模型,提出了一种改进的行人重识别网络PT-Net,以提高遮挡条件下的行人重识别能力。该方法首先利用现有的姿态估计方法对输入图像进行关键点检测,并将关键点信息与行人特征图像结合起来生成一个基于姿态的行人特征表示;然后利用Transformer模型对基于姿态的行人特征表示编码,用来实现特征对齐和特征融合。论文基于国际公开的数据集Occluded-Duke开展实验验证,结果表明,PT-Net方法相对于基线模型,其均值精度mAP和相似度排序Rank-1指标分别提高了1.3和1.5个百分点,验证了该方法的有效性和优越性。     

基于YOLOv3模型的人脸检测与头部姿态估计融合算法

针对头部姿态估计中的人脸检测框尺寸难于学习问题和将人脸检测、头部姿态估计分为两阶段的模型中流程复杂、耦合程度高、误差累积严重的问题,本文提出一种基于YOLOv3模型的人脸检测与头部姿态估计融合算法。通过K-means聚类方法对训练集中人脸区域的尺寸进行聚类,得出9组聚类结果,以模拟真实情况下人脸区域的尺寸和比例;通过拓展YOLOv3模型,实现人脸检测和头部姿态估计同时进行,并在3个不同层次的特征图上进行人脸检测和头部姿态估计,实现对特征图的多尺度检测,充分利用了特征图中的信息;采用端到端模式进行训练,简化头部姿态估计任务的处理流程。在CAS-PEAL-R1姿态子集上取得99.23%的预测准确率,在Pointing′04数据集上pitch和yaw方向分别取得了3.79°和4.24°的平均绝对误差。结果表明,本模型在满足实时性要求的前提下,能够出色完成人脸区域检测与头部姿态估计任务,充分证实本文方法的可靠性与实用性。     

基于自适应感受野的教室人体姿态实时检测

人体姿态信息对教学管理和教学评估具有重要作用,通过算法快速且准确地获取人体姿态信息具有重要的研究意义。近年来,尽管基于人体关键点的姿态估计方法被广泛研究,但由于教室监控场景图像普遍存在遮挡严重、目标尺度变化大、图像成像质量差等问题,难以直接运用现有方法。提出一种基于自适应感受野的教室人体姿态实时检测方法。在单发多边框检测器(single shot multibox detector, SSD)网络中,构建自适应感受野卷积模块,通过上下两个支路提取不同感受野的特征;在反向传播过程中,自动学习上下支路的特征融合参数,自适应调整网络的感受野;提高网络在教室场景中人体姿态的检测性能。实验结果表明,提出的方法可以实现实时检测,且优于现有的教室人体姿态检测方法和其他单阶段目标检测方法。     

强化边缘的单目图像深度估计

为解决目前单目图像深度估计过程中物体边界处深度跳变不明显导致的遮挡难以判别、边界处深度估计准确度较低的问题,提出了一种强化边缘的单目图像深度估计方法．采用深度估计网络输出最初预测的深度图,同时采用深度补偿网络输出应补偿深度的预测值,通过融合两组网络的输出实现对最初预测的深度图中物体边界轮廓处深度值的补偿．此外,通过设计点约束损失函数,并引入多尺度特征融合损失函数进一步提升边界处的深度估计精度．在NYU Depth v2数据集和iBims数据集上的测试实验表明本文方法能有效提升深度图中物体轮廓的清晰度,使得物体遮挡判别更加容易,可进一步提升单目图像深度估计的效果．