基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

一种时序边界注意力循环暴力行为检测神经网络

暴力行为检测是行为识别的一个重要研究方向,在网络信息审查和智能安全领域具有广阔的应用前景.针对目前的时序模型在复杂背景下不能有效提取人体运动特征和常规循环神经网络无法联系输入上下文的问题,本文提出一种时序边界注意力循环神经网络TEAR-Net.首先,以本文提出的一种全新的运动特征提取模块MOE为基础,在保留输入视频段序列背景信息的前提下加强运动边界区域.运动边界对于动作识别的作用要远大于图像其他区域,因此运动边界加强能够有效提高动作特征的提取效率,从而提升后续网络的识别精度.其次,引入了一种全新的结合上下文语境和注意力机制的循环卷积门单元(CSA-ConvGRU),提取连续帧之间的流特征以及不同帧的独立特征,并关注关键帧,能够极大提升动作识别的效率,以少量参数和较低计算量的代价掌握视频流的全局信息,从而有效提高识别准确率.本文提出的模型在目前最新的公开数据集RWF-2000和RLVS上进行了多种实验.实验结果表明,本文提出的网络在模型规模和检测精度上均优于目前主流的暴力行为识别算法.     

基于边界敏感网络的时序行为候选生成算法

针对视频序列中人体行为检测的问题,提出一种基于边界敏感网络的时序行为候选生成算法,在原有边界敏感网络的基础上通过对时序评估模块和候选评估模块引入更深层的卷积神经网络,进而对视频特征有更好的表达。同时在后处理阶段,在NMS(non-maximum suppression)算法中引入新的置信度分数高斯加权衰减方法。实验结果表明,该算法可以有效提高行为检测问题中时序行为候选生成任务的召回率。在公开数据集Activity Net上,提出的方法在保证生成相同数量候选的同时有更高的平均召回率。     

基于人体骨架序列的手扶电梯乘客异常行为识别

手扶电梯(简称扶梯)乘客异常行为识别研究具有重要意义.针对传统行为识别算法易受环境影响、不能实时并准确对多目标进行识别的问题,提出一种基于人体骨架序列的扶梯乘客异常行为识别算法.该算法首先通过结合可变形组件模型特征的支持向量机检测乘客人脸,并用改进的核相关滤波器对其进行跟踪,从而得到乘客在扶梯中的运动轨迹;接着利用卷积神经网络提取轨迹中乘客的人体骨架序列,并通过模板匹配从乘客人体骨架序列中检测异常行为骨架序列;最后利用动态时间规整将其与各类异常行为骨架序列匹配,基于k近邻方法识别异常行为.对10段扶梯视频的实验结果表明,文中所提的异常行为识别算法处理速度达到10帧/秒,识别准确率为93.2%,能够实时、准确地识别多种乘客异常行为.     

基于人体时空骨架特征的图卷积行为识别算法

【目的】为了充分利用动态的人体骨架特征，提高行为识别精度，提出一种基于人体时空骨架特征的图卷积行为识别算法。【方法】首先在空间上确定主关节点，再融合各关节点与主关节点之间的向量和关节点间的骨骼长度，获取瞬时状态下关节点的相对位置关系；然后计算相邻两帧之间由相同关节点构成的时序动作信息来描述运动状态；最后，将时空信息融合到时空图卷积网络中，进行端到端训练。【结果】与时空图卷积网络识别算法相比，在400分类Kinetics行为识别数据集上的Top-1和Top-5指标分别提升了1.78%和1.77%，在NTURGB+D数据集的两个基准上的Top-1分别提升4.13%和2.61%。【结论】提出的基于人体时空骨架特征的图卷积行为识别算法是有效实用的。     

面向智能船舶的水面小目标检测算法

针对智能船舶中基于视觉传感器的水面小目标识别具有识别区域分辨率低、图像模糊、信噪比低等问题,提出了一种新的基于卷积神经网络的水面小目标检测算法——自注意力特征融合检测算法.首先,为了提高视觉信息处理的效率与准确性,在网络模型中引入了自注意力模块,更多关注小目标的细节信息.其次,在网络模型中采用了结构化的特征融合算法,通过多尺度语义信息融合提升对小目标的检测性能.最后,为了解决目标检测的定位问题,在smooth L1损失函数的基础上设计了一种大梯度定位损失函数.通过与传统的Faster R-CNN目标检测算法在船舶数据库上进行仿真对比,验证了所提算法在解决水面小目标检测问题上的有效性.     

基于扩张卷积特征自适应融合的复杂驾驶场景目标检测

针对复杂驾驶场景下的目标检测问题,提出一种基于扩张卷积特征自适应融合的目标检测算法.采用单阶段目标检测网络RetinaNet作为基本框架,其包含卷积特征提取、多尺度特征融合以及目标分类与回归子网.为提高网络对多尺度特征的提取能力,设计了基于不同扩张率组合的残差卷积分支模块,以获取不同感受野下的目标特征图;然后,将不同尺度下的特征通过网络自适应学习的参数融合后输出,用于后续的目标预测;最后在大规模且多样化的复杂驾驶场景数据集BDD100K上进行实验.结果 表明,利用扩张残差卷积分支模块与特征自适应融合算法能够分别将网络的平均精度均值由0.330提升至0.338与0.344,并在采用扩张卷积特征自适应融合的情况下达到了0.349.所提算法能够有效提升目标检测算法在复杂驾驶场景下的检测性能.     

基于光流和深度运动图的行为识别算法

为了融合不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于光流和深度运动图(Depth Motion Map,DMM)的人体行为识别算法.首先从RGB视频序列获取彩色信息(RGB视频帧)和光流信息,并且从同步的深度视频序列获取深度信息,以增强特征互补性,其次把3种特征信息分别作为基于ResNet101的空间流网络、时间流网络和深度流网络的输入,通过LSTMs进行特征融合,最后将特征送入Softmax层得到每个行为类别的概率值.实验结果表明,在具有挑战性的UTD-MHAD数据集和MSR Daily Activity 3D数据集上的行为识别准确率分别为94.86%和97.69%,在与该领域中的同类算法比较中表现优异.     

基于运动特征的人体异常行为识别

为了提高监控视频中人体异常行为识别的实时性和准确率,提出了基于运动特征的人体异常行为识别方法。利用分块更新的背景差法从图像中提取出完整的人体轮廓,通过区域关联结合颜色直方图实现人体目标跟踪,解决了非线性运动时漏跟和误跟的问题。通过人体运动轨迹、运动姿态及运动时间3个参数,对人的5种异常行为进行分析判断。实验结果表明,所提算法不仅能实时地对人体进行检测和跟踪,还能快速、准确地识别出异常行为,具有简单实用的特点。     

面向移动端的多人高效行为识别方法

视频行为识别是有前景并且有挑战性的任务，但现有的大部分方法依赖大量的参数和运算.该文提出了一种基于连续多帧缓存的高效行为识别方法：首先针对多人场景的问题，输入单帧图片，结合人体检测器给出所有人的动作分类和得分；然后通过使用时序位移模块缓存之前帧的特征，使网络具有时序信息处理的能力.实验结果表明：该方法取得了较好的轻量化效果，搭配额外的目标检测网络，可以做到多人场景实时的行为识别，体现了一定的识别速度和准确率优势.     

基于多层次特征融合的Transformer人脸识别方法

卷积神经网络中的卷积操作只能捕获局部信息,而Transformer能保留更多的空间信息且能建立图像的长距离连接.在视觉领域的应用中,Transformer缺乏灵活的图像尺寸及特征尺度适应能力,通过利用层级式网络增强不同尺度建模的灵活性,且引入多尺度特征融合模块丰富特征信息.本文提出了一种基于改进的Swin Transformer人脸模型——Swin Face模型.Swin Face以Swin Transformer为骨干网络,引入多层次特征融合模块,增强了模型对人脸的特征表达能力,并使用联合损失函数优化策略设计人脸识别分类器,实现人脸识别.实验结果表明,与多种人脸识别方法相比,Swin Face模型通过使用分级特征融合网络,在LFW、CALFW、AgeDB-30、CFP数据集上均取得最优的效果,验证了此模型具有良好的泛化性和鲁棒性.     

差分特征融合改进的动态手势识别分类网络模型

通过卷积神经网络和长短期记忆网络进行多模型结合,实现动态手势识别分类建模,并使用数据增强算法增加数据的多样性,通过差分特征融合改进网络。7种动态手势动作识别分类的实验结果显示,使用数据增强算法增加数据的多样性后,结合模型的识别率最佳可提升286%;通过差分算法改进网络,序列间差分特征融合模型识别率达到8381%,维度差分特征融合模型识别率达到8762%。表明多模型结合可解决单一模型的局限性,处理更加复杂的动态手势分类问题,两种不同形式的差分特征融合改进都可提升动态手势动作的识别率,从而验证了所设计的差分特征融合改进的动态手势识别分类网络模型的有效性和可行性。     

基于人体属性分析的考场行为识别

在实际监控的边缘设备中利用TSN或者3DCNN网络很难实现实时的、相对准确的监控任务。提出一种结合了人体检测和人体属性分析的考场行为识别算法。相对于以提取时空特征作视频分类算法为主流思想的行为识别,利用视频帧以人体检测和人体属性分析结合的行为识别方法更加快速准确。方法借助了多标签学习、注意力机制和特征金字塔等策略来改进任务,同时利用迁移学习对本地采集的数据集进行再训练,实验结果表明达到了主流数据集的良好性能,并在考场环境具有高效性与实用性。     

基于Transformer改进的两分支行人重识别算法

针对基于卷积神经网络的行人重识别算法全局信息建模不足的问题，分析了卷积操作的局限性，提出一种基于Transformer改进的全局-局部两分支行人重识别算法.首先利用相对位置编码改进多头自注意力机制，并将其嵌入到Resnet50骨干网络中.之后在全局分支中对图像进行空间几何划分并利用Transformer的全局感受野增强抽象特征的提取能力；在局部分支中对Layer＿3输出进行降维监督，利用多尺度池化获得更丰富的局部特征.实验结果表明，该算法在公开数据集Market-1501和DukeMTMC-reID上的mAP/Rank-1分别达到了93.45%/95.61%和88.79%/90.35%,相对于单纯基于卷积神经网络的算法，本文算法达到更高的精度.     

一种基于改进RefineDet的管道数字射线成像缺陷图像检测方法

为提高管道缺陷图像检测的准确率,提出一种基于改进RefineDet的管道数字射线成像(digital radiography,DR)缺陷图像检测模型。该模型针对管道DR缺陷图像数据少、目标少等特点,从以下三个方面进行改进。首先,在骨干网络设计方面,使用Swin transformer代替VGG16作为主干网络,在提高特征提取能力的同时减少主干网络参数量。其次,针对管道DR缺陷图像目标数量较少而易受背景干扰问题,通过在主干网络与特征融合阶段之间加入全局注意力模块来强化模型对重要特征的关注,从而提高检测性能。最后,在后处理阶段,针对传统的非最大值抑制算法直接去除非最好预测框问题,使用软非最大值抑制算法以更合理的方式去除非最优预测框。结果表明：该方法能够有效实现管道DR缺陷图像的检测,并且相比于其他4种常用的目标检测模型,提出的模型可以有效提升管道DR缺陷图像检测的准确率,研究成果可为DR缺陷图像检测提供技术支撑。     

A robust face recognition method using multiple features fusion and linear regression

This paper presents a robust face recognition algorithm by using transform domain-based multiple feature fusion and lin- ear regression. Transform domain-based feature fusion can provide comprehensive face information for recognition, and decrease the effect of variations in illumination and pose. The holistic feature and local feature are extracted by discrete cosine transform and Gabor wavelet transform, respectively. Then the extracted holistic features and the local features are fused by weighted sum. The fused feature values are finally sent to linear regression classifier for recognition. The algorithm is evaluated on AR, ORL and Yale B face databases. Experiment results show that our proposed algo- rithm could be more robust than those single feature-based algo- rithms under pose and expression variations.     

基于2D先验的3D目标判定算法

提出一种基于2D先验的3D目标判定算法.首先用轻量级MobileNet网络替换经典SSD的VGG-16网络，构建出MobileNet-SSD目标检测模型；其次，通过改进网络结构，提高模型对小目标的检测能力，并引入Focal Loss函数来解决正负样本不均衡和易分样本占比较高的问题；在相同数据集上，将改进算法与Faster R-CNN、 YOLOv3及MobileNet-SSD进行对比测试，其平均精度mAP分别提高了7.2%、 8.8%和10.6%;最后，通过改进算法获取ROI,利用深度相机将二维ROI转换为ROI点云，并借助直通滤波来判断目标物体是否为真实场景物体，既省去了传统点云识别中的诸多步骤又避免了点云深度学习中三维数据集制作难度较大的问题，在识别速度和识别精度上达到了较好的平衡.     

一种内侧指横纹识别方法

提出了一种新的内侧指横纹识别方法.首先,对图像采集设备进行改进,在采集过程中固定了手指方向,使获得的指横纹感兴趣区域(ROI)之间只存在微小的平移变换,有利于提高图像匹配的精度.另外,在预处理阶段,利用Gabor滤波法检测手指线特征以分割手指,并从中提取出ROI.在特征匹配阶段,提出了一种利用投影比较进行定位的图像匹配方法,对ROI特征图像进行水平和垂直方向投影,通过比较所得的一维向量实现感兴趣区域的精准定位.评估系统建立在包含来自于77个人的820幅图像的数据库上,等错误率仅为0.61%,单次匹配时间为3.1ms,证明该算法可快速实现指横纹特征识别,准确率较高.     

改进YOLOv3的桥梁表观病害检测识别

针对基于目标检测方法的桥梁表观病害检测存在检测精度低、误检率和漏检率高的问题,提出一种改进YOLOv3的高准确率桥梁表观病害检测识别方法。为实现局部特征和全局特征有效融合,在YOLOv3的检测层中添加固定分块大小的池化模块,并在YOLOv3的特征提取网络中引入了DenseNet密集型连接网络结构以增强桥梁病害特征在网络中的传播和利用效率,提高检测效率,采用数据增强技术来扩充样本图像以解决现有桥梁病害数据集样本数量不足的问题。实验结果表明,改进后的YOLOv3在桥梁表观病害检测上的平均准确率比原YOLOv3提高了3.0%,且模型训练时间减少了33.2%,同时降低了对桥梁表观病害检测的误检率和漏检率。     

基于深层次特征增强网络的SAR图像舰船检测

针对合成孔径雷达图像中舰船目标检测困难的问题,提出了一种基于深层次特征增强网络的多尺度目标检测框架.利用Darknet53提取原始图像特征,自上而下建立四尺度特征金字塔;特别设计基于注意力机制的特征融合结构,自下而上衔接相邻特征层,构建增强型特征金字塔;利用候选区域及其周边上下文信息为检测器计算分类置信度和目标分数提供更高质量的判定依据.所提算法在SSDD公开数据集和SAR-Ship自建数据集上的平均检测精度分别为94.43%和91.92%.实验结果表明,该算法设定合理且检测性能优越.