基于人体骨架模型的远红外视频下老人摔倒检测

利用远红外光谱视频进行老人摔倒检测研究,提出一种基于人体骨架模型的远红外视频下老人摔倒检测算法;采用YOLOv4-Tiny算法获取远红外视频中人体目标位置,再利用COCO数据集训练的区域多人姿态估计网络模型,直接对自采集的远红外视频进行人体骨架提取,得到人体关节点序列,然后对人体骨架建立时空图卷积模型进行特征提取进而检测摔倒行为,并在自采集的远红外与可见光数据集中进行算法测试。结果表明,该算法对远红外数据集的摔倒检测准确率为87.71%,验证了算法对远红外视频下摔倒行为检测的有效性。     

基于双流全卷积网络的驾驶员姿态估计方法

针对现有姿态估计方法在驾驶室复杂环境条件下发生的非目标误检测和检测精度低的问题,提出了一种基于双流全卷积网络的驾驶员姿态估计方法.该方法通过建立2条独立的FCN(fully convolutional network)分支,分别对关键点坐标及关键点间的连接信息进行预测,同时在2个分支中构建沙漏状的网络结构,增强了网络提取关键信息的能力.为了进一步提高模型的特征提取能力,将浅层与深层网络得到的特征图进行融合.为了验证所提方法的检测效果,采用COCO(common objects in context)数据集和DDS(driver′s driving situation)数据集进行验证.试验结果表明:该方法在COCO数据集和DDS数据集上的检测平均精度分别达到64.5%和78.4%,优于其他3种对比算法;该方法可以提高驾驶员人体姿态的检测精度,具有较好的鲁棒性.     

基于改进姿态估计算法的嵌入式平台实时跌倒检测

为了实现视频中特殊人群跌倒检测的实时性和降低误检率。通过采用改进的姿态估计网络提取人体关节点的方法,研究了使用前后帧关节点的变化来对人体进行追踪和跌倒行为检测。为了在嵌入式平台上使姿态估计网络达到实时效果,采用带有注意力机制的轻量化结构搭建深度卷积网络来提取人体关节点坐标,并合成完整的骨架信息。结果表明：带有注意力机制的姿态估计算法在不同数据集上的准确度均有提升;同时在嵌入式平台上保持误检率较低的情况下达到实时跌倒检测。可见基于改进姿态估计算法并通过关节点判断的方法较好地实现了人体的跌倒检测。     

基于轻量化二维人体姿态估计的小样本动作识别算法

动作识别是近年来时序数据挖掘领域的研究热点,具有广泛的应用前景。但是现阶段基于深度学习的动作识别算法需要大量的标记训练数据集,存在泛化性差、实时性差、场景受限的问题。为解决这些问题,本研究设计一种基于轻量化二维人体姿态估计的小样本动作识别算法。该算法基于YOLOv5算法构建轻量化的人体检测器HYOLOv5。基于轻量化二维姿态估计模型Lite-HRNet设计人体姿态特征描述算子,有效地去除背景对人体动作特征的干扰。为有效度量时序人体姿态特征描述算子间的相似度,本研究提出基于动态时间规整的人体姿态特征距离度量,并在此基础上设计基于类别中心选择的动作模板匹配算法。该算法通过少量的动作视频构建动作特征模板库,利用动作模板匹配算法可实现多类动作视频的精准识别。为验证算法,本研究在COCO 2017的Humans数据集上对HYOLOv5进行测试,人体检测识别精度mAP@0.5∶0.95可达50.7%。基于10种动作视频数据进行测试,结果表明,本研究所提算法可有效地识别视频序列中的姿态,在每个动作仅包含4个训练数据的情况下,动作识别准确率均可达到91.8%。     

结合二阶注意力机制的多尺度人体姿态估计

为解决人体姿态估计任务中存在的不同视角下人体实例尺度变化、遮挡问题导致的人体关键点定位不准确问题,提出融入二阶注意力机制的多尺度人体姿态估计网络模型GOS-HRNet。首先,在特征提取阶段为了获得高质量的特征图,通过在多分辨率网络结构中使用Octave卷积,保留更多的图像空间特征信息以提高关键点定位准确率;然后,为有效的利用图像上下文信息,融入二阶注意力模块使网络能更好地学习各分辨率表征的空间信息;最后,为了应对尺度变换对关键点定位的影响采用尺度增强训练方法,提高模型对尺度变化的鲁棒性。所提模型在MS COCO 2017数据集上进行实验,结果表明：所提出的GOS-HRNet模型平均检测精度比HRNet模型提升了2.2%,能够更加准确地利用上下文信息、丰富空间特征信息以提高对关键点定位的准确性。     

基于多尺度时空特征的篮球场景中人体姿态估计

人体姿态估计是计算机视觉领域的研究热点之一,目标是从给定的图像或视频中识别人体的关节.由于篮球比赛视频中人体动作复杂多变,易产生运动模糊、遮挡等问题,导致现有的人体姿态算法对篮球动作姿态估计的准确率较低.针对这一问题,提出了一种基于多尺度时空关联特征的篮球动作姿态估计算法,构建基于Transformer的人体时序特征捕捉模块对序列层级的时空特征信息进行建模,以缓解运动模糊、遮挡等现象带来的负面影响.此外,针对人体外形复杂多变的问题,提出了基于可形变卷积的人体空间特征残差融合模块来获取更为充分的空间特征.与现有算法相比,该算法在自行构建的篮球场景人体运动数据集、姿态估计公开基准数据集PoseTrack2017和PoseTrack2018均取得较好的效果.     

基于多视图融合的3D人体姿态估计

针对自然场景中遮挡、检测姿势不准确以及建立的交叉视图不匹配等问题,在VoxelPose模型的基础上提出了一种基于heatmap的多视图融合网络来估计3D人体姿态.首先,改进高分辨率网络,添加反卷积模块生成更高分辨率的heatmap.取两个髋关节之间的关键点为人体中心点,引入对极约束模型匹配融合不同视角下人体中心点的heatmap信息;然后,将所有视角的heatmap投影到共同的3D空间,再经过3D CNN网络以中心点构建特征体积来估计所有关键点的位置;最后,回归准确的3D人体姿态.在公开的数据集Shelf和Campus中,评估指标PCP3D（正确估计关节位置的百分比）分别达到97.1%和96.7%.在CMU-Panoptic数据集中,MPJPE（关节位置误差的平均值）为16.80 mm,实验结果优于VoxelPose.     

基于人体时空骨架特征的图卷积行为识别算法

【目的】为了充分利用动态的人体骨架特征,提高行为识别精度,提出一种基于人体时空骨架特征的图卷积行为识别算法。【方法】首先在空间上确定主关节点,再融合各关节点与主关节点之间的向量和关节点间的骨骼长度,获取瞬时状态下关节点的相对位置关系;然后计算相邻两帧之间由相同关节点构成的时序动作信息来描述运动状态;最后,将时空信息融合到时空图卷积网络中,进行端到端训练。【结果】与时空图卷积网络识别算法相比,在400分类Kinetics行为识别数据集上的Top-1和Top-5指标分别提升了1.78%和1.77%,在NTU RGB+D数据集的两个基准上的Top-1分别提升4.13%和2.61%。【结论】提出的基于人体时空骨架特征的图卷积行为识别算法是有效实用的。     

基于高分辨率网络的人体姿态估计

针对高分辨率网络中存在不同分支特征交叉融合导致参数量大、运算复杂度高等问题,提出了一种基于高分辨率检测网络（HRNet）的人体姿态估计优化网络模型.引入空洞空间卷积池化金字塔替代多分辨率分支网络交叉融合过程,同时引入注意力机制,提高网络输出特征图质量,从而保证改进后网络检测的准确度.在环境配置和网络输入图像分辨率一致的情况下,所提出的模型在COCO数据集上实验结果较HRNet相比参数量下降38.6%,运算复杂度下降35.2%.实验结果表明：改进后网络在检测精度略微下降的情况下,能有效降低参数量、运算复杂度.     

基于HRNet的轻量化人体姿态估计网络

由于算力和内存的限制，目前的人体姿态估计网络难以广泛应用于移动设备、嵌入式平台.针对这个问题，本文以HRNet为基础框架，提出了一种轻量化的人体姿态估计网络X-HRNet，使用ResNeXt模块替换普通的Basic模块以减少网络的参数和计算复杂度.实验结果表明，所提出模型在COCO验证集上取得了78.2%的精度，比HRNet高1.9%，参数量下降了22.2M，计算量下降了27.3GFLOPs.与以往的轻量化人体姿态估计方法不同，所提出的X-HRNet是一种兼顾精度和轻量化的方法，在保持精度的同时有效减少了计算量和参数量，为嵌入式平台提出了一种新的轻量化人体姿态估计网络.     

基于关节点运动轨迹的人体动作识别

为了提高动作识别的准确率和实时性,提出一种基于关节点运动轨迹的动作识别方法.受心理物理学中关于人体运动实验的启发,使用人体骨架关节点的运动轨迹表示人体动作,它能够在时空维度上对动作进行完整表达.在此基础上,使用高斯混合模型对关节点运动轨迹进行聚类,进而通过Fisher向量进行特征量化.考虑到动作识别任务的实时性要求,提出基于核极限学习机的动作识别,以此提升动作识别任务的实时性和准确率.最后,在公开数据集UTD-MHAD和KARD上对提出的方法进行了验证,实验结果证明了该方法的有效性.     

基于骨架的自适应尺度图卷积动作识别

基于骨架的动作识别任务中,一般将骨骼序列表示为预定义的时空拓扑图.然而,由于样本的多样性,固定尺度的拓扑图往往不是最优结构,针对样本特性构建自适应尺度的骨骼拓扑图能够更好地捕捉时空特征;另外,不同尺度的骨骼图能够表达不同粒度的人体结构特征,因此对多个不同尺度的拓扑图进行特征提取与融合是有必要的.针对这些问题,提出了一种自适应尺度的图卷积动作识别模型.该模型包含自适应尺度图卷积模块和多尺度融合模块两部分.自适应尺度图卷积模块基于先验与空间注意力机制,构建关键点的活跃度判决器,将活跃点细化为小尺度结构、非活跃点聚合为大尺度结构,在加速节点间特征传递的同时最小化特征损耗;多尺度融合模块基于通道注意力机制,动态融合不同尺度的特征,进一步提升网络的灵活性;最后,综合关键点、骨骼、运动信息实现多路特征聚合的动作判别,丰富模型的特征表达.结果表明:该算法在NTU-RGBD数据集的CS和CV子集上分别取得了89.7%和96.1%的分类准确率,显著提高了动作识别的准确性.     

融合人体骨架和姿势信息特征的轻量级人体动作识别方法

针对人体动作识别任务中特征值选取不当导致识别率低、使用多模态数据导致训练成本高等问题,提出一种轻量级人体动作识别方法。首先使用OpenPose、PoseNet提取出人体骨架信息,使用BWT69CL传感器提取姿势信息;其次对数据进行预处理、特征融合,对人体动作进行深度学习分类识别;最后,为验证此方法的有效性,在公开数据集WISDM、UCIHAR、HASC和自建的人体动作数据集上进行实验验证,并使用改进的目标引导注意力机制(target-guided attention,TGA)–长短期记忆(long short term memory,LSTM)网络输出最终的分类结果。实验结果表明,在自建数据集下融合姿势和骨架特征达到99.87%准确率,相比于只使用姿势信息特征,识别准确率提高了约5.31个百分点;相比于只使用人体骨架特征,识别准确率提高了约1.87个百分点;在识别时间上相比于只使用姿势信息,识别时间降低了约29.73 s;相比于只使用人体骨架数据,识别时间降低了约9 s。使用该方法能及时有效地反映人体的运动意图,有助于提高人体动作和行为的识别准确率和训练效率。     

采用运动传感器的人体运动识别深度模型

针对传统机器学习方法在采用运动传感器数据的人体运动识别领域中识别效果严重依赖人工特征且准确率受限的问题,提出一种改进的卷积网络与双层长短期记忆网络的深层混合(VGGLSTM)模型以实现特征自提取并进行运动识别。该模型结合传感器数据层状、时序的结构特点,将多维传感器数据类比于图像的RGB矩阵进行适应性处理;由一维串联卷积网络与双层长短期记忆网络复合而成。实验结果表明,在开源的人体运动识别(HAR)数据集和无线传感器信息控掘(WISDM)数据集上采用该模型的人体运动识别方法的平均准确率分别达到了97.17%和96.53%,该模型可以有效避免复杂的特征工程,在人体运动识别问题中具有很好的准确性和适应性。     

基于三维卷积的人手姿态估计高分辨率网络

在体素化输入的三维卷积基础上,通过引入高分辨率保持模块,提出了一种基于三维卷积的高分辨率保持网络.该网络以体素化的深度图为输入,进行三维卷积.不同于先前大多数从低分辨率特征中恢复高分辨率特征的方法,构建的网络引入不同分辨率子网络并行的结构,在处理低分辨率特征图的同时保持高分辨率特征图,从高分辨率子网络卷积得出每个关节点在3D体素中的分布概率,最终计算出每个关节点的三维空间坐标.实验表明:该算法相较于先前的基于沙漏模型的三维卷积网络能更准确地进行关节点估计.     

基于人体姿态动态特征的跌倒行为识别方法

意外跌倒严重威胁老年人健康安全，准确识别跌倒事件并及时予以报警可以有效降低跌倒者所受伤害. 本文提出了一种新的跌倒识别方法，基于OpenPose深度卷积网络自图像提取的人体姿态关键点获取人体倾斜姿态动态特征，使用基于线性核的支持向量机完成跌倒行为二分类，并以基于人体下降姿态动态特征的阈值判断排除混淆性较大的非跌倒行为，保证算法召回率. 本方法在人体动作数据集上测试取得了97.33%的准确率与94.80%的精确率，与现有基于图像的跌倒识别方法相比具有更优的性能，常见的单目RGB摄像机的特性使得本方法在普及性上优于需要Kinect相机的现有跌倒识别方法.     

基于多层感知机改进型Xception人脸表情识别

针对使用深度学习提取人脸表情图像特征时易出现冗余特征,提出了一种基于多层感知机（MLP）的改进型Xception人脸表情识别网络.该模型将Xception网络提取的特征输入至多层感知机中进行加权处理,提取出主要特征,滤除冗余特征,从而使得识别准确率得到提升.首先将图像缩放为48*48,然后对数据集进行增强处理,再将这些经过处理的图片送入本文所提网络模型中.消融实验对比表明：本文模型在CK+数据集、JAFFE数据集和MMI数据集上的正确识别率分别为98.991%、99.02%和80.339%,Xception模型在CK+数据集、JAFFE数据集和MMI数据集上的正确识别率分别为97.4829%、90.476%和74.0678%,Xception+2lay模型在CK+数据集、JAFFE数据集和MMI数据集上的正确识别率分别为98.04%、84.06%和75.593%.通过以上消融实验对比,本文方法的识别正确率明显优于Xception模型与Xception+2lay模型.与其他模型相比较也验证了本文模型的有效性.     

结合张量特征和孪生支持向量机的群体行为识别

给出一种结合张量特征和孪生支持向量机的群体行为识别算法,以提高对视频中群体行为识别的准确率.首先通过群成员关节点骨架的姿态结构信息和群成员的社会网络信息描述群体在每一帧中的行为,并采用张量形式表示;然后使用多路非线性特征映射分解张量核,并利用粒子群优化张量核孪生支持向量机的模型参数;最后结合张量特征和孪生支持向量机实现视频中的群体行为识别.CAD2数据集和自建数据集上的实验结果表明,张量特征能够有效地表示群体行为,相比经典算法,所提算法能有效提高群体行为识别的准确率.      

基于多流融合网络的3D骨架人体行为识别

当前大多基于卷积神经网络的3D骨架人体行为识别模型没有充分挖掘骨架序列所蕴含的几何特征,为了弥补这方面的不足,文章在AIF-CNN模型的基础上进行改进,提出多流融合网络模型(MS-CNN)。在此模型中,新增一种几何特征(kernel特征)作为输入,起到了丰富原始特征的作用;新增多运动特征,使模型学习到更加健壮的全局运动信息。最后,在NTU RGB+D 60数据集上进行消融实验,分别在NTU RGB+D 60数据集、NTU RGB+D 120数据集上,将MS-CNN模型与19、8个行为识别模型进行对比实验。消融实验结果表明：MS-CNN模型采用joint特征与kernel特征融合,其识别准确率比与core特征融合的高;随着多运动特征的增多,MS-CNN模型的识别准确率有所提高。对比实验结果表明：MS-CNN模型在2个评估策略下的识别准确率超过了大部分对比模型(包括基准AIF-CNN模型)。     

基于多重注意力机制的高分辨率遥感影像语义分割

针对当前深度神经网络在处理遥感影像语义分割过程中存在的模型庞大、处理耗时长、实时性低、小目标分割准确率不高的问题,提出了一种嵌入多重注意力机制的Multi-AttnDeepLabv3+(Multiple Attentionbased on DeepLabv3+)语义分割模型.该模型在编码部分使用轻量神经网络作为主干特征提取网络,加入混合注意力机制增强重要特征通道和空间像素的权值比重;在解码部分,在特征融合过程中加入通道压缩激活注意力模块,通过压缩激活操作再次增强重要特征通道的权重,提升模型分割准确率.该模型在多个数据集上取得较好的实验结果 .在相同条件下,此模型训练速度较传统网络模型有明显提升.与同类型轻量级语义分割模型相比,该模型在提升分割效果上具备优势.