Hmnan Action Recognition in Complex Scenes Based on Fuzzy Integral Fusion

利用局部特征描述符来表征视频中一系列关键点的方法已被广泛应用于识别复杂场景下的人体行为,但这些关键点之间隐含的结构化的位置关系目前并未得到有效表征.为此,文中首先采用尺度不变的关键点的检测子和3 D-Harris检测子检测视频样本中的局部关键点,结合已有的局部特征描述符和形状描述符来表征关键点位置之间结构化的信息,然后利用bag-of-features模型来计算这些特征的分布,再通过模糊积分对这些局部特征进行有效融合,并给出具体的算法描述.在具有复杂场景的YouTube数据集下的实验表明,所提出的局部特征表征方法能够更有效地表征复杂场景中的人体行为,模糊积分融合方法可有效进行决策层融合.     

基于特征层融合和随机投影的行为识别算法

提出一种基于特征层融合和随机投影的行为识别算法;该方法提取视频序列的时空梯度特征和Gabor特征;然后进行特征层融合,得到分类能力更强的特征,有效地表征人体行为;同时,使用随机投影对融合后的特征进行降维;最后,为了解决主题模型参数估计迭代复杂的问题,将贝叶斯参数估计法应用于LDA(latent dirichlet allocation)主题模型中,对视频中的行为进行分类。在公开的KTH和Weizmann数据集上进行了实验,结果表明方法不仅比单一局部时空特征描述符识别性能好,而且在相同实验设置下,也优于其他基本分类器。     

融合场景及交互性特征的多人行为识别

人类的行为复杂多样,场景、外观、位置等信息均与行为息息相关.本文针对如何高效地综合利用这些信息的问题,提出了融合场景及交互性特征的多人行为识别方法,使用双通道的方式分别提取个体外观特征与场景特征.对于个体通道,采用注意力机制模块来关注与行为相关度更大的区域,并将提取的个体外观特征结合位置特征输入图卷积网络进行关系推理.其中,图卷积网络采用了余弦相似度的方法度量个体特征之间的相关性,并结合个体之间的位置特征进行关系推理;对于场景通道,使用在place365数据集上预训练的ResNet 50提取场景特征.最后,本文将个体以及场景通道所得的特征进行加权融合,得到群组以及所有个体的行为识别结果.在Collective Activity Dataset（CAD）数据集上的实验表明,该方法能提高行为识别的准确率,群组行为以及个体行为的准确率分别达到了92.29%与78.19%.     

基于多视图融合的3D人体姿态估计

针对自然场景中遮挡、检测姿势不准确以及建立的交叉视图不匹配等问题,在VoxelPose模型的基础上提出了一种基于heatmap的多视图融合网络来估计3D人体姿态.首先,改进高分辨率网络,添加反卷积模块生成更高分辨率的heatmap.取两个髋关节之间的关键点为人体中心点,引入对极约束模型匹配融合不同视角下人体中心点的heatmap信息;然后,将所有视角的heatmap投影到共同的3D空间,再经过3D CNN网络以中心点构建特征体积来估计所有关键点的位置;最后,回归准确的3D人体姿态.在公开的数据集Shelf和Campus中,评估指标PCP3D（正确估计关节位置的百分比）分别达到97.1%和96.7%.在CMU-Panoptic数据集中,MPJPE（关节位置误差的平均值）为16.80 mm,实验结果优于VoxelPose.     

对光照变化鲁棒的快速关键点提取与匹配

利用积分图像提出一种对光照变化鲁棒的快速关键点提取与匹配方法.首先,对基于黎曼积分的对比度拉伸响应,利用积分图像进行多尺度上采样滤波,快速提取光照鲁棒的局部特征,并在多分辨率框架下基于局部极大值检测多尺度显著特征关键点.然后,使用积分图像方法对以特征点为中心对称的矩形区域快速构造协方差描述,并采用对数欧氏距离,测度2个匹配场景中所提取的关键特征点周围区域的协方差矩阵之间的差异;最后,根据稀疏匹配策略,完成2个特征点集之间的自动匹配.实验结果表明,该方法结构简单,计算快速高效,准确性较高,且对于光照变化具有较好的适应性.     

人体检测与异常行为识别联合算法

近年来,异常行为识别算法取得了一定的研究进展,但是针对复杂环境、人体遮挡、动作相似度高等多种挑战,识别算法的适应性、效率、准确性都有待进一步提高。为了解决以上问题,提出了基于特征增强的人体检测与异常行为识别联合算法,首先将视频序列分别送入人体检测网络和特征加强网络,再采用爱因斯坦求和法将特征加强网络输出的多头卷积注意力特征与人体检测网络输出的热力图特征融合,得到加强融合特征,然后利用检测网络输出的人体目标位置特征信息和ROI Align模块对加强融合特征进行人体ROI(region of interest)区域特征截取,得到人体ROI区域加强融合特征,最后将人体ROI区域加强融合特征送入Transformer时序建模网络模块进行人体行为特征时序建模和识别。所提算法充分利用检测网络中间过程产生的行为主体区域特征,弱化了复杂环境中背景的干扰,同时实现了检测网络的输出特征共享,避免了识别网络的二次特征提取过程,从而提高了网络运行效率,且利用Transformer网络的建模优势,能够充分挖掘人体行为空间特征、时序特征以及之间的跨域特征的优势。实验结果表明：所提算法在提高了网络效率的同时大幅度地...     

基于关键点运动轨迹建模的步态识别

步态信息作为一个新兴的生物特征,在医疗、刑侦等方面具有广泛的应用前景.研究者已经提出了很多种步态识别方法,但普遍存在适应性不强、特征描述过于复杂或缺乏可解释性等问题.针对此问题,首先,通过改进三帧差分完成对视频图像中人体轮廓的提取;然后,基于人体轮廓图获取人体骨架模型,通过骨架模型得到所需的人体关键点位置,并对视频图像中同一关键点的位置轨迹进行曲线建模;最后依据关键点轨迹曲线模型建立一种以模型参数作为步态特征向量的步态特征描述方法,并在此基础上选取合适的分类方法进行步态识别.实验结果表明,基于关键点运动轨迹模型的步态特征表达能够很好地描述步态信息,识别率也相对较高.     

一种基于PVDAC描述子的RGB-D三维点云配准方法

利用RGB-D数据进行三维点云配准时容易陷入局部最优.针对这个难题,提出了一种基于多维特征的PVDAC描述子实现三维点云配准的方法.该方法首先通过ORB特征检测算法提取二维数据的关键点,并计算关键点在2D下的灰度特征,然后构建关键点在3D下的局部像素值距离、点云法线角度以及曲率特征,接着将2D特征和3D特征联合生成全新的PVDAC像素描述子,并利用PVDAC像素描述子描述关键点实现三维点云的粗配准,最后基于ICP算法完成三维点云的精细化配准.实验表明,本文算法在大场景点云配准时总体均方误差约为0.05 m2,在小场景单物体点云配准时达到了0.000 2 m2的较小误差,实现了三维点云的精确配准.     

治安监控视频中暴力行为的识别与检测

为了充分提取治安监控视频中的时空特征和时序特征,并对暴力行为进行准确的识别与检测,提出一种基于三维卷积神经网络(3DCNN)和卷积长短期记忆网络(Conv LSTM)的暴力行为识别算法。首先,采用一种通用视频描述符—3DCNN结构,提取视频的短时特征,这些特征封装了视频中与目标和场景相关的背景信息,然后,构建Conv LSTM网络对3DCNN提取的短时特征在时间轴上进行建模,进而充分提取视频的高层时序特征。最后,利用Sigmoid函数分类行为动作。为了验证该算法的高效性,对所提出的方法在暴力行为数据集Hockey上进行验证,达到了98.96%的识别精度。测试结果表明,该融合模型在检测效果上优于目前人工提取特征的方法和深度学习的方法。     

基于扩张卷积特征自适应融合的复杂驾驶场景目标检测

针对复杂驾驶场景下的目标检测问题,提出一种基于扩张卷积特征自适应融合的目标检测算法.采用单阶段目标检测网络RetinaNet作为基本框架,其包含卷积特征提取、多尺度特征融合以及目标分类与回归子网.为提高网络对多尺度特征的提取能力,设计了基于不同扩张率组合的残差卷积分支模块,以获取不同感受野下的目标特征图;然后,将不同尺度下的特征通过网络自适应学习的参数融合后输出,用于后续的目标预测;最后在大规模且多样化的复杂驾驶场景数据集BDD100K上进行实验.结果 表明,利用扩张残差卷积分支模块与特征自适应融合算法能够分别将网络的平均精度均值由0.330提升至0.338与0.344,并在采用扩张卷积特征自适应融合的情况下达到了0.349.所提算法能够有效提升目标检测算法在复杂驾驶场景下的检测性能.     

基于多面体时空梯度描述子的人体动作识别

为检测出对噪声、镜头缩放更具鲁棒性的反映人体动作特征的时空兴趣点,首先提出了一种新的时空兴趣点检测器;然后以检测出的时空兴趣点为中心,建立基于多面体模型的时空梯度描述子来进一步刻画人体动作在时空上的视觉特征;再基于分层聚类树形结构、利用词袋方法对视频动作特征建立更大且更有效的码书;最后将特征描述子与高层次的人工定义的动作属性相结合,采用隐支持向量机结合坐标下降法求解最终识别模型的局部最优解.在几种典型数据库上的实验结果表明,文中方法具有较高的人体动作识别率.     

柔性姿态估计和时空特征结合的乒乓球动作视频片段关键帧提取

为了解决传统方法在场景复杂的情况下,因无法保证时间与空间上的连续性,导致乒乓球动作识别错误,影响关键帧提取性能的问题,将柔性姿态估计和时空特征结合在一起,研究乒乓球动作视频片段关键帧提取问题。依据稠密光流对乒乓球动作视频片段进行分段。对单帧图像人体柔性姿态进行估计,通过可分离线性滤波器时空特征点检测方法对乒乓球动作视频图像序列特征点的检测,将时空特征点当成中心建立时空立方体,提取时空立方体的像素建立时空特征。为了保证时间与空间上的连续性,引入时空特征边,得到有时空特征的柔性姿态估计结果。通过直方图相交法求出乒乓球动作视频片段中姿态相似度,计算全部姿态的Hog间差异度,构成差异度矩阵。在当前帧姿态差异度超过阈值的情况下认为当前帧为关键帧。实验结果表明,所提方法针对不同场景的保真率与压缩率一直高于0. 7,处于较高水平;主观评价结果好,可提取合理关键帧。可见所提方法对复杂场景的关键帧提取性能优,主观与客观评价结果好。     

多特征融合的非刚性三维模型匹配算法研究

特征描述符是影响非刚性三维模型匹配结果的关键因素,而单一特征只能描述三维模型某一方面的信息.为了克服单一特征在模型匹配时的局限性,进一步提高模型匹配的精确度,通过引入信息论中信息熵的概念,结合各单一特征匹配时的结果,计算得到各特征的权值,对多种特征(如热核特征(HKS)、能量分布特征(WKS)和模型表面积特征等)进行融合,作为非刚性三维模型匹配的特征.最后在SHREC’2014提供的标准测试数据集上进行试验,并与单一特征描述符的结果进行对比,验证了多特征融合得到的特征描述符要优于任一单一特征描述符,可以应用于非刚性三维模型检索系统中.     

基于Harris-改进LBP的特征匹配及目标定位算法

为满足机器人伺服抓取中定位精度和实时性的要求, 提出一种基于Harris及改进局部二值模式(LBP)的特征匹配和目标定位快速算法. 首先采用Harris检测算法提取图像特征点; 然后提出一种新的特征点描述子定义方法, 先利用胡矩确定特征方向, 再根据特征方向对局部图像做标准化处理, 提取标准化局部图像LBP特征作为特征点描述子; 最后通过计算两张图像中各特征点描述子间的汉明距离实现特征匹配, 再根据匹配结果估计单应性矩阵, 定位目标在场景图像中的位置. 实验结果表明, 该算法匹配速度快、 定位精度高.     

基于轻量化二维人体姿态估计的小样本动作识别算法

动作识别是近年来时序数据挖掘领域的研究热点,具有广泛的应用前景。但是现阶段基于深度学习的动作识别算法需要大量的标记训练数据集,存在泛化性差、实时性差、场景受限的问题。为解决这些问题,本研究设计一种基于轻量化二维人体姿态估计的小样本动作识别算法。该算法基于YOLOv5算法构建轻量化的人体检测器HYOLOv5。基于轻量化二维姿态估计模型Lite-HRNet设计人体姿态特征描述算子,有效地去除背景对人体动作特征的干扰。为有效度量时序人体姿态特征描述算子间的相似度,本研究提出基于动态时间规整的人体姿态特征距离度量,并在此基础上设计基于类别中心选择的动作模板匹配算法。该算法通过少量的动作视频构建动作特征模板库,利用动作模板匹配算法可实现多类动作视频的精准识别。为验证算法,本研究在COCO 2017的Humans数据集上对HYOLOv5进行测试,人体检测识别精度mAP@0.5∶0.95可达50.7%。基于10种动作视频数据进行测试,结果表明,本研究所提算法可有效地识别视频序列中的姿态,在每个动作仅包含4个训练数据的情况下,动作识别准确率均可达到91.8%。     

融合轮廓和区域特征的形状描述子

提出了一种融合轮廓和区域信息的新的形状描述子。首先提取图像的轮廓,并对轮廓进行采样,形成描述形状轮廓的有序点列表。之后对每个采样点分别顺时针和逆时针等距离跟踪获得两个邻点,计算相邻点距离、拱高以及质心距离三个函数的均值、方差和极差。然后获取由拱高和质心距离组成的复函数的傅里叶描述子。组合统计值与傅里叶描述子形成轮廓特征。最后对区域进行采样形成形状矩阵,获得低频傅里叶系数作为区域特征。对MPEG—7标准图形库的检索实验显示,该描述子的检索性能显著优于三角形面积函数、质心距离函数、拱高半径复函数和Hu不变矩等同类描述子。     

基于Grassmann流形距离的动作识别

利用时空兴趣点间的位置及局部特征相似度信息,提出一种局部邻域特征以描述局部数据结构,然后引入核主角度及Grassmann流形距离以度量2个邻域特征距离,通过构造随机流形森林学习数据样本在Grassman流形上的类条件概率密度函数,最后使用多核学习算法实现对随机流形树的剪辑及动作分类.在KTH及UCF-CIL动作数据库的实验证明:所提动作表示方法能有效描述人体运动信息,且该动作识别算法的识别率优于近年提出的典型动作识别系统.