基于注意力机制改进的多人姿态估计网络研究

为解决多人姿态估计中小尺度关节点定位准确率低的问题,采用自顶向下的方法,结合人体目标检测模型YOLOv4-tiny,提出一种基于堆叠沙漏网络改进的多人姿态估计网络.该网络包含人体目标检测器和人体姿态估计算法,通过在沙漏网络原始残差模块中融入坐标注意力机制进行特征增强,抑制无用特征的同时增强有用特征,从而提高对人体中小尺度关节点的识别准确率.实验结果表明,该模型在COCO数据集上获得了64.9%的平均准确率,在MPII数据集上正确关键点的比例达88.8%,验证了网络的有效性.     

基于自适应感受野的教室人体姿态实时检测

人体姿态信息对教学管理和教学评估具有重要作用,通过算法快速且准确地获取人体姿态信息具有重要的研究意义。近年来,尽管基于人体关键点的姿态估计方法被广泛研究,但由于教室监控场景图像普遍存在遮挡严重、目标尺度变化大、图像成像质量差等问题,难以直接运用现有方法。提出一种基于自适应感受野的教室人体姿态实时检测方法。在单发多边框检测器(single shot multibox detector, SSD)网络中,构建自适应感受野卷积模块,通过上下两个支路提取不同感受野的特征;在反向传播过程中,自动学习上下支路的特征融合参数,自适应调整网络的感受野;提高网络在教室场景中人体姿态的检测性能。实验结果表明,提出的方法可以实现实时检测,且优于现有的教室人体姿态检测方法和其他单阶段目标检测方法。     

基于多视图融合的3D人体姿态估计

针对自然场景中遮挡、检测姿势不准确以及建立的交叉视图不匹配等问题,在VoxelPose模型的基础上提出了一种基于heatmap的多视图融合网络来估计3D人体姿态.首先,改进高分辨率网络,添加反卷积模块生成更高分辨率的heatmap.取两个髋关节之间的关键点为人体中心点,引入对极约束模型匹配融合不同视角下人体中心点的heatmap信息;然后,将所有视角的heatmap投影到共同的3D空间,再经过3D CNN网络以中心点构建特征体积来估计所有关键点的位置;最后,回归准确的3D人体姿态.在公开的数据集Shelf和Campus中,评估指标PCP3D（正确估计关节位置的百分比）分别达到97.1%和96.7%.在CMU-Panoptic数据集中,MPJPE（关节位置误差的平均值）为16.80 mm,实验结果优于VoxelPose.     

一种基于颜色直方图的人体部位外观模型

为提高单幅静态图像中人体姿态估计的准确度,提出了一种仅利用单幅静态图像建立的基于颜色直方图的人体部位外观模型。模型的建立主要包括三个步骤,即:①计算人体部位减小后状态空间中的每个状态所对应图像区域的HOG特征与基于HOG特征的部位外观模型的似然度;②利用似然度较高的状态学习定位概率;③根据学习得到的定位概率建立基于颜色直方图的部位外观模型。仿真实验表明当将所提人体部位外观模型用于单幅静态图像的人体姿态估计时可以得到更好的估计效果。     

基于级联卷积神经网络的服饰关键点定位算法

随着深度学习的发展,使用深度卷积神经网络进行关键点定位受到了广泛关注.虽然在人体姿态、人脸识别等多个方面的关键点定位技术已经获得了长足的发展,但是应用于服饰的关键点定位由于其图像背景以及姿态等的多变性依然面临很大的挑战.服饰关键点定位技术在电商以及时尚搭配等方面有很大应用价值,本文将关键点定位应用于时尚领域,提出一种基于级联卷积神经网络的服饰关键点定位算法.该算法的目的是通过级联的两级卷积神经网络,实现对服饰关键点的初步定位以及对困难关键点的定位调整.算法的第1级以深度残差网络作为特征提取网络,在特征金字塔结构中引入空洞卷积,解决高层特征图感受野大但是空间分辨率低的问题,从而保留更多图像底层细节信息,实现对关键点的初步定位;第2级将第1级网络得到的定位结果作为关键点之间的结构先验,结合沙漏网络提取多尺度特征,对困难关键点进行精细调整,进一步提高定位精度.实验选用2018Fashion AI服饰关键点定位数据集进行训练和测试,将该数据集中对服饰关键点定位的平均归一化误差结果降低到3.56%,充分验证了算法的有效性.与几种常见关键点定位算法进行对比,本文算法在服饰关键点定位任务中取得最好效果,尤其是提高了对困难关键点的定位精度.     

基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法.首先使用改进的骨干网络R-ResNet50提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制DANet,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势...     

融合全局和局部特征的光场图像空间超分辨率算法

光场相机传感器有限的空间分辨率阻碍了光场图像处理相关研究的进展.提出一种融合全局和局部特征的光场图像空间超分辨率算法,提高了对光场子视点全局关系建模的能力.由于光场相机捕捉的图像亮度较低,严重影响了超分辨率图像的质量,提出一个改进的4D零参考深度曲线估计网络（4D Zero-DCE-Net）,充分利用光场全部子视点信息来提高光场图像的亮度.为了解决光场图像空间分辨率低的问题,提出一个基于生成对抗网络的光场图像空间超分辨率网络模型.生成器包含三个部分：第一部分是Transformer和4D卷积以并行方式结合的网络结构,能以较浅的网络层捕捉图像的全局和局部细节信息;第二部分是一个交互融合注意力模块IFAM(Interactive Fusion Attention Module),能有效地融合上述两个分支得到的全局自注意力和局部细节信息;第三部分是一个重建模块PS-PA(Pixel Shuffle-Pixel Attention),能提高整个光场的空间分辨率.最后,利用相对判别器来指导生成器的训练.实验结果表明,提出的算法和其他算法相比,峰值信号比（PSNR）至少提升了1 dB.     

基于多尺度特征图像分割的车道线提取方法

识别与检测车道线作为自动驾驶感知周围环境的一环，为自主车辆在众多复杂场景中提供交通数据信息参考.为了提取车道线本身含有的交通语义信息，按照实际含义分为不同类别，提出一种多尺度分辨率特征的图像分割方法提取车道线，生成低分辨特征，同时保持高分辨尺度子网.针对卷积神经网络无法充分探索空间信息的局限，引入全自注意力网络结构改进下采样解码部分，将特征图通过嵌入向量映射完成线性采样，再经由全自注意力网络结构提取空间上下文语义信息，最后对图像进行降采样完成最终的下采样过程.利用滑窗多头注意力机制，解决嵌入向量映射层因划分造成边界上下文语义信息的不连续问题.针对改进的模型采用交并比损失函数进行优化，能够在保持精度的情况下正确识别相应类别，交并比和F1系数分别达到49.36%和63.02%.经实际测试，在遮挡、阴影等复杂场景下的车道线识别也能更加准确，具有更好的鲁棒性.     

基于高分辨率网络的人体姿态估计

针对高分辨率网络中存在不同分支特征交叉融合导致参数量大、运算复杂度高等问题,提出了一种基于高分辨率检测网络（HRNet）的人体姿态估计优化网络模型.引入空洞空间卷积池化金字塔替代多分辨率分支网络交叉融合过程,同时引入注意力机制,提高网络输出特征图质量,从而保证改进后网络检测的准确度.在环境配置和网络输入图像分辨率一致的情况下,所提出的模型在COCO数据集上实验结果较HRNet相比参数量下降38.6%,运算复杂度下降35.2%.实验结果表明：改进后网络在检测精度略微下降的情况下,能有效降低参数量、运算复杂度.     

多尺度残差注意网络的真实图像复原方法

为了提高基于深度学习网络方法在真实图像上的复原效果,提出了一种基于多尺度残差注意网络的复原方法。将退化图像输入到该模型中,利用浅层特征网络提取原始低质量图像的浅层特征;利用残差注意网络模块提取深层特征信息和通道相关性,使用局部连接和短跳跃连接进行残差学习;将浅层特征、通道相关性以及上下文深层特征信息输入到重构网络,利用具有不同感受野的特征进行图像复原。实验结果表明,相较于其他对比方法,该方法在图像去噪、图像增强和超分辨率等多个任务中获得最优的结果,能够在不引入伪影的情况下生成纹理细节丰富的清晰图像。     

基于改进姿态估计算法的嵌入式平台实时跌倒检测

为了实现视频中特殊人群跌倒检测的实时性和降低误检率。通过采用改进的姿态估计网络提取人体关节点的方法,研究了使用前后帧关节点的变化来对人体进行追踪和跌倒行为检测。为了在嵌入式平台上使姿态估计网络达到实时效果,采用带有注意力机制的轻量化结构搭建深度卷积网络来提取人体关节点坐标,并合成完整的骨架信息。结果表明：带有注意力机制的姿态估计算法在不同数据集上的准确度均有提升;同时在嵌入式平台上保持误检率较低的情况下达到实时跌倒检测。可见基于改进姿态估计算法并通过关节点判断的方法较好地实现了人体的跌倒检测。     

基于三维重建的人脸姿态估计

人脸姿态估计是计算机视觉及人脸识别领域的一项关键研究内容.将三维模型应用于估计人脸图像姿态参数,提出了基于三维重建的人脸姿态估计算法.根据人脸正面图片上的特征点计算出形状参数,实现三维人脸重建.基于三维人脸模型,由姿态图片上提取的特征点信息推知等姿态下模型上对应特征点的信息,针对照模型正面姿态,运用线性回归估计姿态参数.实验表明,重建的三维人脸具有较好的真实感,在较大的姿态变化范围内,该方法也能够取得较好的估计精确并具有鲁棒性.     

动态环境下改进ICP算法的RGB-D SLAM研究

针对传统的ICP(Iterative Closest Points)算法,无法满足室内动态环境下SLAM(Simultaneous Localization and Mapping)算法的准确性要求,提出了一种融合特征点结构相似性判断的ICP改进算法;通过在特征点集中引入三角形结构约束,实现两组点集中的动态匹配点与误匹配点的剔除,进而提高ORB特征点匹配的准确性;与传统的SLAM算法相比,改进后的算法对相机位姿的估计更加准确;通过在Linux系统下的仿真实验,结合特征点三角几何约束的ICP算法能够有效解决动态对象对相机位姿估计的影响,提高RGB-D SLAM在动态场景下的定位精度。     

基于注意力机制和离散高斯混合模型的端到端图像压缩方法

图像压缩是图像处理领域重要的基础支撑技术之一。近年来,深度学习被用于解决图像压缩任务。潜在表示特征的冗余和概率估计的不准确往往会限制压缩性能的进一步提高。为了改善这类问题,提出一种基于注意力机制和离散高斯混合模型的端到端图像压缩方法。将全局上下文注意力模块嵌入到编码器,旨在构造紧凑的潜在表示特征。同时,将潜在表示特征建模为参数化的离散高斯混合模型,用于提高码率估计的准确度。实验结果表明,提出的算法无论在峰值信噪比(peak signal noise rate,PSNR)还是多尺度结构相似度(multi-scale structural similarity,MS-SSIM)指标上都高于传统方法。在视觉感知上,提出的图像压缩算法能产生更令人满意的压缩图像。     

基于尺度制约规则耦合距离约束的图像匹配算法

为了提高图像的匹配精度及其鲁棒性,本文提出了基于尺度制约规则耦合距离约束的图像匹配算法.首先,采用箱式滤波器对高斯函数二阶偏导进行逼近,对特征点进行检测;同时,利用特征点对应的空间尺度来建立尺度制约规则,剔除伪特征点.然后,以特征点为中心,形成圆形区域,计算其Haar小波响应,获取特征点的主方向以及特征向量,形成特征描述子.随后,利用特征点的尺度相似性以及角度相似性来建立空间相似法则,完成特征点的匹配.最后,利用特征点欧氏度量的结果,建立距离约束模型,对匹配特征点之间的距离进行约束,剔除错误的匹配特征点.实验结果显示,与当前图像匹配算法相比,本文算法匹配的图像具有更好的匹配准确度及匹配精度.     

基于U-Net多尺度和多维度特征融合的皮肤病变分割方法

针对皮肤病变区域尺度不同和形状不规则, 传统U-Net网络方法缺乏从不同尺度分析目标的鲁棒性, 并在提取图像高层语义特征时丢失部分空间上下文信息而影响后续分割精度等问题, 提出一种基于U-Net多尺度和多维度特征融合的医学图像分割方法. 首先, 用空洞卷积融合不同尺度的空间上下文信息; 其次, 用通道上下文信息融合模块提取特征图各通道间的权重信息; 最后, 将特征图中的多尺度和多维度信息进行融合, 以保留更多的空间上下文信息. 实验结果表明, 该方法在皮肤病变数据集上对皮肤病变区域进行分割的分割效果较好.     

基于多尺度特征提取的单目图像深度估计

在目前基于深度学习的单目图像深度估计方法中,由于网络提取特征不够充分、边缘信息丢失从而导致深度图整体精度不足。因此提出了一种基于多尺度特征提取的单目图像深度估计方法。该方法首先使用Res2Net101作为编码器,通过在单个残差块中进行通道分组,使用阶梯型卷积方式来提取更细粒度的多尺度特征,加强特征提取能力;其次使用高通滤波器提取图像中的物体边缘来保留边缘信息;最后引入结构相似性损失函数,使得网络在训练过程中更加关注图像局部区域,提高网络的特征提取能力。在NYU Depth V2室内场景深度数据集上对本文方法进行验证,实验结果表明所提方法是有效的,提升了深度图的整体精度,其均方根误差(RMSE)达到0.508,并且在阈值为1.25时的准确率达到0.875。     

基于姿态估计和Transformer模型的遮挡行人重识别

行人重识别是利用人工智能解决边防检查、人员追踪等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在人员追踪等问题中,往往会出现行人刻意遮挡、复杂场景环境遮挡等因素,大大提高了行人重识别的难度。针对行人重识别遮挡问题,基于ResNet50网络,结合姿态估计（Pose estimation）和转换器（Transformer）模型,提出了一种改进的行人重识别网络PT-Net,以提高遮挡条件下的行人重识别能力。该方法首先利用现有的姿态估计方法对输入图像进行关键点检测,并将关键点信息与行人特征图像结合起来生成一个基于姿态的行人特征表示;然后利用Transformer模型对基于姿态的行人特征表示编码,用来实现特征对齐和特征融合。论文基于国际公开的数据集Occluded-Duke开展实验验证,结果表明,PT-Net方法相对于基线模型,其均值精度mAP和相似度排序Rank-1指标分别提高了1.3和1.5个百分点,验证了该方法的有效性和优越性。     

基于深度残差网络的医学超声图像多尺度边缘检测算法

为提高医学超声图像在临床诊断的效果, 需先对图像进行优化检测和识别, 提出一种基于深度残差网络的医学超声图像多尺度边缘检测算法. 首先, 通过对原始医学超声图像进行自动标注, 构建医学超声图像灰度分布矩阵, 利用分布矩阵完成医学超声图像的多尺度分割; 其次, 构建医学超声图像多尺度边缘的轮廓模型, 提取多尺度图像边缘特征; 再次, 构建深度残差网络结构, 采用深度残差学习算法进行超声图像的底层图像信息融合; 最后, 对融合后的边缘图像数据进行多尺度边缘检测. 实验结果表明, 该算法的图像分割精度高, 特征提取准确率达80%以上, 图像边界中间断区检测效果较好, 边缘点查全性较高, 算法检测耗时短、收敛性强.