结合二阶注意力机制的多尺度人体姿态估计

为解决人体姿态估计任务中存在的不同视角下人体实例尺度变化、遮挡问题导致的人体关键点定位不准确问题,提出融入二阶注意力机制的多尺度人体姿态估计网络模型（GOS-HRNet）。首先,在特征提取阶段为了获得高质量的特征图,通过在多分辨率网络结构中使用Octave卷积,保留更多的图像空间特征信息以提高关键点定位准确率;然后,为有效的利用图像上下文信息,融入二阶注意力模块Gsop使网络能更好的学习各分辨率表征的空间信息;最后,为了应对尺度变换对关键点定位的影响采用尺度增强训练方法,提高模型对尺度变化的鲁棒性。本文提出模型在MS COCO 2017数据集上进行实验,结果表明：提出的GOS-HRNet模型平均检测精度比HRNet模型提升了2.2%,能够更加准确的利用上下文信息、丰富空间特征信息以提高对关键点定位的准确性。     

基于高分辨率网络的人体姿态估计

针对高分辨率网络中存在不同分支特征交叉融合导致参数量大、运算复杂度高等问题,提出了一种基于高分辨率检测网络（HRNet）的人体姿态估计优化网络模型.引入空洞空间卷积池化金字塔替代多分辨率分支网络交叉融合过程,同时引入注意力机制,提高网络输出特征图质量,从而保证改进后网络检测的准确度.在环境配置和网络输入图像分辨率一致的情况下,所提出的模型在COCO数据集上实验结果较HRNet相比参数量下降38.6%,运算复杂度下降35.2%.实验结果表明：改进后网络在检测精度略微下降的情况下,能有效降低参数量、运算复杂度.     

基于注意力机制改进的多人姿态估计网络研究

为解决多人姿态估计中小尺度关节点定位准确率低的问题,采用自顶向下的方法,结合人体目标检测模型YOLOv4-tiny,提出一种基于堆叠沙漏网络改进的多人姿态估计网络.该网络包含人体目标检测器和人体姿态估计算法,通过在沙漏网络原始残差模块中融入坐标注意力机制进行特征增强,抑制无用特征的同时增强有用特征,从而提高对人体中小尺度关节点的识别准确率.实验结果表明,该模型在COCO数据集上获得了64.9%的平均准确率,在MPII数据集上正确关键点的比例达88.8%,验证了网络的有效性.     

基于双流全卷积网络的驾驶员姿态估计方法

针对现有姿态估计方法在驾驶室复杂环境条件下发生的非目标误检测和检测精度低的问题,提出了一种基于双流全卷积网络的驾驶员姿态估计方法.该方法通过建立2条独立的FCN(fully convolutional network)分支,分别对关键点坐标及关键点间的连接信息进行预测,同时在2个分支中构建沙漏状的网络结构,增强了网络提...     

基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

SIS：一种新的多尺度卷积算子（英文）

具有泛化能力的视觉特征对于计算机视觉任务来说是至关重要的。基于深度神经网络的方法采用逐层叠加特征的形式获取多尺度特征图，导致计算开销显著增加。为解决这一问题，通过在标准卷积算子中部署渐进式多尺度架构，提出一种轻量和高效的尺度嵌套卷积算子(scale-in-scale,SIS)。具体来说，设计了一种变换—分离—对抗机制来优化常规的通道计算，减轻了计算成本，同时在单一卷积层内扩大了感受野。同时，引入权重共享与特征拆分交互运算，并结合特征递归和融合机制，使所提出SIS算子能够与其他卷积算子结合，例如经典的Res Net和Res2Net架构。我们将SIS算子部署到第29层、50层和101层的Res Net和Res2Net变体中，并在CIFAR、PASCAL VOC和COCO2017等公开基准数据集上评估这些修改后的模型。实验结果表明，所提出的方法在图像分类、关键点估计、语义分割和物体检测等计算机视觉任务上的性能均优于同时期最先进的方法。     

面向扶梯不安全行为的改进型深度学习检测算法

以YOLOv5s网络模型为基础,引入注意力机制CBAM模块,基于Ghost卷积模块重构网络模型的卷积操作,提出一种面向扶梯不安全行为的改进型深度学习检测算法.然后,在自主收集的扶梯不安全行为数据集上对其进行训练评估.结果表明,所提算法在检测精度有所提高的同时,大幅减少了检测所需的参数量和计算量.     

基于模糊空谱特征的高光谱图像分类

难以兼得高空间分辨率和光谱分辨率的高光谱遥感数据常存在“同物异谱”和“同谱异物”现象，这种光谱异质问题给分类过程带来了一定的不确定性，且现有深度分类网络存在空间信息利用不足和拟合退化问题.提出一种联合空间和模糊光谱特征的双分支高光谱遥感图像分类方法，通过在光谱分支中设计非对称卷积模糊模块增强卷积层的光谱表征能力，解决分类数据中的光谱异质问题，进而对地物特征进行精确的分类描述.采用门控循环单元模型分组获取相邻光谱序列信息，缓解因网络深度增加带来的拟合退化问题，在空间分支中利用波段间的相关性引入卷积长短时记忆模块，充分捕捉空间上下文信息.在三个公开的高光谱数据集上的实验结果表明，双分支结构的模糊分类网络能充分利用光谱和空间包含的细粒度信息，更具判别力的空谱特征有效地克服了光谱异质问题，比流行的深度学习方法取得了更好的分类结果 .     

基于SSD模型的人脸检测与头部姿态估计融合算法

针对头部姿态估计常用的人脸检测、姿态估计两步串联框架中流程复杂、耦合性高、整体鲁棒性低的问题,提出了一种基于改进SSD模型的人脸检测与头部姿态估计融合算法.通过拓展SSD模型,设计了人脸检测与姿态估计融合网络模型,在多层次卷积特征图上检测人脸,并估计头部姿态;采用端到端训练模式进行模型训练,简化了头部姿态估计任务的处理流程.在Pointing′04和300W-LP数据集上进行了试验.结果表明,本模型能够在满足实时性要求的前提下有效地完成检测任务与估计任务,在两个数据集中的pitch预测平均绝对误差分别达到了4.80°和6.48°,这充分证明了所提出算法的实用性和鲁棒性.     

基于人体骨架模型的远红外视频下老人摔倒检测

利用远红外光谱视频进行老人摔倒检测研究,提出一种基于人体骨架模型的远红外视频下老人摔倒检测算法;采用YOLOv4-Tiny算法获取远红外视频中人体目标位置,再利用COCO数据集训练的区域多人姿态估计网络模型,直接对自采集的远红外视频进行人体骨架提取,得到人体关节点序列,然后对人体骨架建立时空图卷积模型进行特征提取进而检...     

基于HRNet的轻量化人体姿态估计网络

由于算力和内存的限制，目前的人体姿态估计网络难以广泛应用于移动设备、嵌入式平台.针对这个问题，本文以HRNet为基础框架，提出了一种轻量化的人体姿态估计网络X-HRNet，使用ResNeXt模块替换普通的Basic模块以减少网络的参数和计算复杂度.实验结果表明，所提出模型在COCO验证集上取得了78.2%的精度，比HRNet高1.9%，参数量下降了22.2M，计算量下降了27.3GFLOPs.与以往的轻量化人体姿态估计方法不同，所提出的X-HRNet是一种兼顾精度和轻量化的方法，在保持精度的同时有效减少了计算量和参数量，为嵌入式平台提出了一种新的轻量化人体姿态估计网络.     

基于多视图融合的3D人体姿态估计

针对自然场景中遮挡、检测姿势不准确以及建立的交叉视图不匹配等问题,在VoxelPose模型的基础上提出了一种基于heatmap的多视图融合网络来估计3D人体姿态.首先,改进高分辨率网络,添加反卷积模块生成更高分辨率的heatmap.取两个髋关节之间的关键点为人体中心点,引入对极约束模型匹配融合不同视角下人体中心点的heatmap信息;然后,将所有视角的heatmap投影到共同的3D空间,再经过3D CNN网络以中心点构建特征体积来估计所有关键点的位置;最后,回归准确的3D人体姿态.在公开的数据集Shelf和Campus中,评估指标PCP3D（正确估计关节位置的百分比）分别达到97.1%和96.7%.在CMU-Panoptic数据集中,MPJPE（关节位置误差的平均值）为16.80 mm,实验结果优于VoxelPose.     

基于级联卷积神经网络的服饰关键点定位算法

随着深度学习的发展,使用深度卷积神经网络进行关键点定位受到了广泛关注.虽然在人体姿态、人脸识别等多个方面的关键点定位技术已经获得了长足的发展,但是应用于服饰的关键点定位由于其图像背景以及姿态等的多变性依然面临很大的挑战.服饰关键点定位技术在电商以及时尚搭配等方面有很大应用价值,本文将关键点定位应用于时尚领域,提出一种基于级联卷积神经网络的服饰关键点定位算法.该算法的目的是通过级联的两级卷积神经网络,实现对服饰关键点的初步定位以及对困难关键点的定位调整.算法的第1级以深度残差网络作为特征提取网络,在特征金字塔结构中引入空洞卷积,解决高层特征图感受野大但是空间分辨率低的问题,从而保留更多图像底层细节信息,实现对关键点的初步定位;第2级将第1级网络得到的定位结果作为关键点之间的结构先验,结合沙漏网络提取多尺度特征,对困难关键点进行精细调整,进一步提高定位精度.实验选用2018Fashion AI服饰关键点定位数据集进行训练和测试,将该数据集中对服饰关键点定位的平均归一化误差结果降低到3.56%,充分验证了算法的有效性.与几种常见关键点定位算法进行对比,本文算法在服饰关键点定位任务中取得最好效果,尤其是提高了对困难关键点的定位精度.     

基于改进姿态估计算法的嵌入式平台实时跌倒检测

为了实现视频中特殊人群跌倒检测的实时性和降低误检率。通过采用改进的姿态估计网络提取人体关节点的方法,研究了使用前后帧关节点的变化来对人体进行追踪和跌倒行为检测。为了在嵌入式平台上使姿态估计网络达到实时效果,采用带有注意力机制的轻量化结构搭建深度卷积网络来提取人体关节点坐标,并合成完整的骨架信息。结果表明：带有注意力机制的姿态估计算法在不同数据集上的准确度均有提升;同时在嵌入式平台上保持误检率较低的情况下达到实时跌倒检测。可见基于改进姿态估计算法并通过关节点判断的方法较好地实现了人体的跌倒检测。     

基于多分支CNN和多尺度特征融合的非受控人脸年龄估计

现有的人脸年龄估计不能很好地兼顾全局-局部细节的特征表达,因而非受控人脸年龄估计的精度存在一定的提升空间。为解决此问题,提出了一种基于多分支卷积神经网络(convolutional neural networks,CNN)和多尺度特征融合的非受控人脸年龄估计方法。该方法根据人脸关键点对人脸图片剪裁得到包含人脸的全局图像和分别包含眼睛、鼻子、嘴巴的局部图像;使用多分支CNN网络提取对应的深层全局特征和局部特征,使用多尺度特征融合网络探索局部特征间的相关性信息从而进行局部特征选择;将融合的局部特征与全局特征拼接得到兼顾全局-局部细节的年龄特征;使用softmax损失函数优化模型进行人脸年龄估计。根据MORPH Album2、FG-NET、LAP2016人脸年龄数据集上的实验结果表明,提出的方法是有效的。     

基于卷积神经网络的入侵检测算法

作为深度学习的一种有效算法,深度卷积网络已成功应用在处理图像、视频和音频等领域.通过建立一卷积神经网络模型并应用于网络入侵检测,选取的卷积核与数据进行卷积操作提取特征的局部相关性从而提高特征提取的准确度.采集到的网络数据通过多层"卷积层-下采样层"的处理对网络中正常行为和异常行为的特征进行深度刻画,最后通过多层感知机进行正确分类.KDD 99数据集上的实验表明,文中提出的卷积神经网络模型与经典BP神经网络、SVM算法等相比,有效提高了入侵检测识别的分类准确性.      

变分自动编码器的潜变量空间解耦方法

潜变量空间解耦是深度生成领域一个越来越热门的研究方向。对数据潜变量空间进行解耦带来最直观的好处是在生成数据时能选择性地调整数据的不同属性,实现更可控的数据生成。本文专注于潜变量空间解耦,提出一种能够进一步提高解耦任务度量指标的重要方法。本文方法基于变分自动编码器,在编码器阶段运用了自注意力机制和残差网络,使模型更有效地捕捉长期依赖关系,增强模型的维度适应性。在训练阶段,提出一种更好地驱使潜变量空间编码维度与属性值趋向单调关系的新颖损失函数。它更好地调节损失函数所处区间范围,更易于优化。该模型使潜在空间拥有较好的解耦程度和可解释性,有效地操纵生成图像的数据属性。实验结果表明,本文模型和方法在图像的潜变量空间解耦生成上优于目前许多先进方法,且具有更为轻量级的网络架构。     

面向短时交通流预测的动态时空图卷积网络

针对现有的交通流量预测模型缺乏对交通数据动态时空相关性建模能力的问题,提出一种新的基于深度学习的动态时空图卷积网络(DSTGCN)模型,该模型无需给出道路网络信息,从交通数据中即可建模时空相关性.动态时空图卷积层包含2个主要部分:（1）动态邻接矩阵生成模块:使用时间自相关机制与空间注意力机制捕捉交通数据中的动态时空相关性;（2）时空图卷积:使用图卷积和标准二维卷积对信息进行高效聚合.DSTGCN通过堆叠动态时空图卷积层,能够捕捉不同时间级别的时空依赖关系.文章提出的方法在美国加利福尼亚州高速公路流量公开数据集上进行了实验,结果表明:所提出的DSTGCN模型在各项评价指标中均优于现有的基准方法.在PeMSD04数据集上,与当前较新的GeoMAN和ASTGCN模型相比,MAE分别降低了4.00和2.16,验证了所提模型在交通流预测中的有效性.     

基于人体姿态动态特征的跌倒行为识别方法

意外跌倒严重威胁老年人健康安全，准确识别跌倒事件并及时予以报警可以有效降低跌倒者所受伤害. 本文提出了一种新的跌倒识别方法，基于OpenPose深度卷积网络自图像提取的人体姿态关键点获取人体倾斜姿态动态特征，使用基于线性核的支持向量机完成跌倒行为二分类，并以基于人体下降姿态动态特征的阈值判断排除混淆性较大的非跌倒行为，保证算法召回率. 本方法在人体动作数据集上测试取得了97.33%的准确率与94.80%的精确率，与现有基于图像的跌倒识别方法相比具有更优的性能，常见的单目RGB摄像机的特性使得本方法在普及性上优于需要Kinect相机的现有跌倒识别方法.     

基于卷积神经网络的单幅图像室内物体姿态估计

单幅图像的目标检测和物体姿态估计一直是计算机视觉领域中非常重要的研究内容.利用卷积神经网络对单幅室内场景图像进行研究分析,提出了一种基于卷积神经网络的单幅图像室内物体姿态估计算法.该算法采用直接分类预测的方法来实现物体的姿态估计.通过改进Faster-RCNN网络结构,利用室内场景数据集SUNRGB-D训练网络,实现端到端单幅室内图像目标检测和姿态估计.实验结果表明,该算法目标检测平均准确度为70%,姿态估计结果中平移估计准确度为28%,旋转角度估计准确度为30%.