基于关系建模的弱监督时序动作定位

时序动作定位因其广泛的实际应用成为重要且具有挑战性的方向.由于全监督定位方法需要大量的人力对长视频进行视频帧或视频片段级别的细腻标注,近些年来,弱监督学习受到了越来越多的关注.弱监督动作定位在训练阶段只需提供视频级别类别标签,即可定位出视频中动作的区间位置.然而,大多数现存的方法往往只对独立的视频片段进行分类损失约束,...     

基于图卷积及振幅约束的弱监督时序行为检测

针对弱监督时序行为检测缺乏精确的行为起始和结束时间标注,导致时间维度信息匮乏等问题,提出基于挖掘视频片段间联系的方法,捕获一定程度上的时间维度信息,提高行为检测能力,本研究采用图卷积建模弱监督时序行为检测任务,用图节点表达视频片段的特征,图的边表达视频片段间的联系,使得行为检测网络不仅考虑了各视频片段的特征,还考虑了视频片段之间的联系．此外,利用振幅约束和背景约束进一步建模视频片段特征．在公开数据集上的实验结果表明本文方法相对于已有方法具有一定的性能优势．     

基于时空特征的生猪动作识别

针对现代化养殖业无人化、智能化的需求,以目标检测网络YOLOv2为基础,提出了一种基于深度学习提取时空特征的生猪动作识别与定位的方法.对待检测视频关键帧中的生猪空间位置信息与视频流时序动作特征进行检测,采用通道注意力模块将这2种特征进行合理且平滑的特征融合,实现了一个端到端的动作识别网络,可以直接从视频序列中预测得到关...     

基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

基于混合运动激励和时序增强的篮球运动员动作识别算法

为了解决在背景相似的篮球视频中提取特征级运动信息不充分和捕获长时序依赖关系困难等问题,从局部和全局的角度出发,提出一种混合运动激励和时序增强网络(mixed motion excitation and temporal enhancement network,MTE-Net),该网络由在时间建模上互补的混合运动激励(mixed motion excitation,MME)模块和时序增强(temporal enhancement,TE)模块构成。混合运动激励模块通过计算短距离视频帧之间混合的特征级差分来充分表征局部运动信息,并显性地对运动敏感通道进行激励。时序增强模块对长距离视频帧使用自注意力机制来构建时序关联函数并捕获时序之间的全局依赖关系,增强视频中的重要帧序列。在不额外引入光流和过多参数的情况下,在SpaceJam篮球动作数据集上的实验结果表明,与其他主流的动作识别算法相比,所提模型对篮球运动员动作识别的准确率更高。     

基于稀疏Transformer的长短时序关联动作识别算法

针对主流的视频动作识别算法对时序信息的挖掘不充分,而Transformer能够更好地处理长序列和全局依赖性问题,本文将3DCNN和Transformer结合起来,提出了基于稀疏Transformer的长短时序关联动作识别算法,从而实现对视频的全局时序信息进行建模。该算法提取预训练视频模型各个片段特征,嵌入视频特征聚类模块降低输入特征的潜在噪声,并利用基于稀疏自注意力的Transformer长短时序关联模块,引入稀疏掩码矩阵,对相似度矩阵进行掩码操作,抑制较小的注意力权重,选择性地保留重要的长短时序信息,提高模型对全局上下文信息的注意力集中程度。本文在UCF101和HMDB51数据集上进行了大量的实验,验证了本文算法的有效性,在参数量和计算复杂度较小的情况下准确率高于同类权威算法。     

一种基于自注意力信息补偿的服装分类算法

针对传统基于内容的服装分类对图像特征有较高的要求,当服装款式较多时,其准确率难以满足服装分类应用需求的问题,提出一种基于深度学习方法的平行自注意力分类网络.该网络在ResNet50的基础上增加了平行自注意力补偿分支,该分支能提升服装分类任务中的特征提取质量,逐步补充深层网络缺失的浅层细节信息.在数据集DeepFashion上进行了对比实验,实验结果证明了该方法的有效性.     

融合注意力机制下的弱监督目标检测

针对现有的弱监督目标检测算法由于缺乏实例级类别的注释,易出现局部定位的问题,提出一种基于空间-通道注意力机制与多实例优化回归网络相结合的弱监督目标检测算法。通过在特征提取网络中引入注意力模块,发掘出更为优质的初始伪真值标签,有效地提取了隐含的位置信息。在网络训练阶段引入自适应的策略挖掘出训练细化分支的有效监督,实现对卷积神经网络中实例分类器的优化,同时以端到端的方式进行模型的训练,避免网络过多地关注目标的显著区域而不是整个对象,从而使模型跳出局部最优,提升模型的检测性能。在PASCAL VOC 2007和VOC 2012大规模数据集上的实验结果表明,提出的算法拥有比近几年主流方法更好的检测性能,有效缓解了局部定位的问题。     

基于注意力机制的U-Net脑脊液细胞分割

为解决脑脊液病理图像中部分细胞膜较为模糊，与图像背景难以区分的问题，采用了基于注意力机制的U-Net深度学习方法对脑脊液病理图像做全自动分割.在深度学习网络中加入注意力机制对细胞进行定位，抑制无关信息，提高语义的特征表达，提高对细胞整体分割的精确性.通过镜像、旋转等操作对数据集进行扩充预处理.采用VGG16预训练模型进行迁移学习，交叉熵与Dice损失相结合作为损失函数，分别在脑脊液临床图像与公开数据集2018 Data Science Bowl上进行验证；并与Otsu， PSPnet， Segnet， DeeplabV3+， U-Net进行对比，结果表明， 本文方法在各项指标上均优于其他分割方法.     

基于3D注意力的MobileNet图像分类算法改进

针对MobileNetV2网络在图像分类任务中特征表达不足的问题，提出一种结合注意力机制对MobileNet网络的改进策略。利用一种新颖的高效且无参的注意力模块，同时结合I-block模块来替换MobileNet网络中的倒残差模块，采用RReLU激活函数替代原ReLU激活函数保留更多特征，结合inception结构进行多尺度特征提取与融合，使其可以提供更强的多尺度特征表达并服务于图像分类任务，使用数据扩增技术，生成更多样本。与6种方法进行对比，实验结果表明，采用3D注意力机制的网络在数据集CIFAR-10、CIFAR-100上以最少的网络参数分别取得94.09%和75.35%的最高精度，表明该改进方法可以有效地进行快速图像分类。     

基于多角度学生子注意力网络的小样本学习

小样本图像分类的准确性取决于神经网络模型对样本数据提取图像表征的能力,为了挖掘出图像更多的细节信息,提出了一种基于多角度学生子注意力网络的小样本分类方法。首先将Conv64所提取的特征作为网络的基础特征,其次构建两个学生分支,使网络从图像位置和通道角度来提取图像的细节信息,最后融入互学习思想,促使两个学生子分支相互监督,相互学习,利用两个学生子分支网络分别对小样本任务进行分类。文中在Mini-ImageNet和Tiered-ImageNet两个数据集上验证了多角度学生子注意力网络有效性,在Mini-ImageNet数据集上,该方法5-way 1-shot准确率为56.54%,5-way 5-shot准确率为73.87%。在Tiered-ImageNet数据集上,该方法5-way 1-shot及5-way 5-shot准确率分别上升到59.62%及77.96%。实验结果表明,相较于只使用单一角度的注意力网络,基于多角度学生子注意力能够更加关注图像的全局信息,显著提高了小样本图像分类的准确性。     

基于多尺度时序交互的第一人称行为识别方法

对于第一人称行为识别任务,现有方法大多使用了目标边界框和人眼视线数据等非行为类别标签对深度神经网络进行辅助监督,以使其关注视频中手部及其交互物体所在区域。这既需要更多的人工标注数据,又使得视频特征的提取过程变得更为复杂。针对该问题,提出了一种多尺度时序交互模块,通过不同尺度的3D时序卷积使2D神经网络提取的视频帧特征进行时序交互,从而使得单一视频帧的特征融合其近邻帧的特征。在只需行为类别标签作监督的情况下,多尺度时序交互能够促使网络更加关注第一人称视频中手部及其交互物体所在区域。实验结果表明,提出的方法在识别准确率优于现有第一人称行为识别方法。     

基于模糊空谱特征的高光谱图像分类

难以兼得高空间分辨率和光谱分辨率的高光谱遥感数据常存在“同物异谱”和“同谱异物”现象，这种光谱异质问题给分类过程带来了一定的不确定性，且现有深度分类网络存在空间信息利用不足和拟合退化问题.提出一种联合空间和模糊光谱特征的双分支高光谱遥感图像分类方法，通过在光谱分支中设计非对称卷积模糊模块增强卷积层的光谱表征能力，解决分类数据中的光谱异质问题，进而对地物特征进行精确的分类描述.采用门控循环单元模型分组获取相邻光谱序列信息，缓解因网络深度增加带来的拟合退化问题，在空间分支中利用波段间的相关性引入卷积长短时记忆模块，充分捕捉空间上下文信息.在三个公开的高光谱数据集上的实验结果表明，双分支结构的模糊分类网络能充分利用光谱和空间包含的细粒度信息，更具判别力的空谱特征有效地克服了光谱异质问题，比流行的深度学习方法取得了更好的分类结果 .     

基于弱监督对比学习的弱多标记特征选择

多标记特征选择已被广泛应用于医疗诊断、模式识别等领域，然而现实中的数据往往存在维数灾难以及标记大量缺失等问题，现有的弱多标记特征选择算法又普遍易受缺失标记和噪声的干扰，使算法模型难以准确地选择重要特征．针对上述问题，提出一种用于弱多标记数据集特征选择的弱监督对比学习方法，旨在缺失和含噪声标记数据集中选择优质特征，同时挖掘少量人工标注数据中潜在的类间对比模式．该方法包括三个步骤：首先，设计一种弱监督预训练策略，通过利用实例相似性以及稀疏学习方法获取每个类标记类属属性，用于恢复缺失标记；其次，引入对比学习策略来捕获少量有标记数据的对比模式来削弱噪声数据的影响；最后，选取10组多标记数据集以及四个评价指标进行实验.实验结果证明，与多个先进多标记特征选择算法相比，提出的方法分类性能更优．     

面向盲去模糊的选择性内核卷积混合连接编解码网络

针对运动模糊在空间上非均匀且模糊核未知的特点,提出一种选择性内核卷积混合连接编解码网络.为避免估计模糊核产生误差,该网络采用对称编解码的结构,以端到端的方式实现盲去模糊;为消除非均匀模糊,设计一种选择性内核卷积混合连接块,使用两个感受野不同的分支增强网络提高非均匀模糊特征的适应能力;同时,该模块融合了通道注意力机制,对多分支特征图进行校准,增强有效特征信息;此外,使用均方误差与感知损失作为联合损失函数引导网络模型的训练.实验结果表明,该网络能够有效去除图像模糊,恢复出图像的边缘结构和纹理细节.     

治安监控视频中暴力行为的识别与检测

为了充分提取治安监控视频中的时空特征和时序特征,并对暴力行为进行准确的识别与检测,提出一种基于三维卷积神经网络(3DCNN)和卷积长短期记忆网络(Conv LSTM)的暴力行为识别算法。首先,采用一种通用视频描述符—3DCNN结构,提取视频的短时特征,这些特征封装了视频中与目标和场景相关的背景信息,然后,构建Conv LSTM网络对3DCNN提取的短时特征在时间轴上进行建模,进而充分提取视频的高层时序特征。最后,利用Sigmoid函数分类行为动作。为了验证该算法的高效性,对所提出的方法在暴力行为数据集Hockey上进行验证,达到了98.96%的识别精度。测试结果表明,该融合模型在检测效果上优于目前人工提取特征的方法和深度学习的方法。     

模糊边界训练样本输入网络及其学习能力

研究了具有模糊边界样本的网络学习能力，提出了与之相应的ＴｙｐｉｃａｌＩｎｐｕｔＳａｍｐｌｅｓＴｒａｉｎｉｎｇＡｌ－ｇｏｒｉｔｈｍ（ＴＩＳＴＡ）算法并将它与自然时序训练算法进行比较．数学分析和计算机仿真实验结果均证明，ＴＩＳＴＡ算法有效地避免了传统算法的不足，提高了网络的分类性能．     

结合注意力机制与时空特征融合的长时程行为识别方法

为了建立基于视频行为识别的长时程图像序列的时空信息模型,文章提出了一种嵌入注意力的时空特征融合网络(attention-embedded spatial-temporal feature fusion network, ASTFFN)的深度神经网络模型。ASTFFN将一个包含动作的长时程图像序列分割成多个重叠的片段,并使用一个注意力嵌入特征提取网络(attention-embedded feature extraction network, AFEN)从每个片段中的RGB图像或光流图像中提取经过注意力加权的时空特征,进而融合每个片段的时空加权特征,生成行为识别的视频级预测。基于UCF101和HMDB51行为识别数据库进行了大量的实验,验证了方法的有效性。与目前主流的行为识别算法相比,该文方法在识别精度上取得了较好的效果。     

一种基于注意力嵌入对抗网络的全色锐化方法

全色锐化旨在将低空间分辨率的多光谱图像和高空间分辨率的全色图像进行融合，生成一幅高空间分辨率的多光谱图像．伴随卷积神经网络的发展，涌现出很多基于CNN的全色锐化方法．这些用于全色锐化的CNN模型大都未考虑不同通道特征和不同空间位置特征对最终锐化结果的影响．并且仅使用基于像素的1-范数或2-范数作为损失函数对锐化结果与参考图像进行评估，易导致锐化结果过于平滑，空间细节缺失．为了解决上述问题，本文提出一种嵌入注意力机制，并辅以空间结构信息对抗损失的生成对抗网络模型．该网络模型由2个部分组成：一个生成器网络模型和一个判别器网络模型．嵌入通道注意力机制和空间注意力机制的生成器将低分辨多光谱图像和全色图像融合为高质量的高分辨多光谱图像．判别器以patch-wise判别的方式对锐化结果与参考图像的梯度进行一致性检验，以确保锐化结果的空间细节信息．最后，在3种典型数据集上的对比实验验证了所提出方法的有效性．     

高速快门诱导的低照度图像弱参考视觉增强方法

高速快门会导致拍摄图像产生多种类型的退化,如极低曝光和噪声等问题.现有的无监督图像增强方法难以构建不同空间域的特征映射关系,以改善图像质量.针对上述问题,提出了一种高速快门诱导的低照度图像弱参考增强方法.该方法训练了一个光照特征提取网络(illumination feature extraction net,IFE-Net)以估计高阶曲线的参数;构建了联合硬注意力机制,加权选择低照度图像和参考图像的特征信息,并利用光照估计曲线将两者有机整合,逼近最佳的非线性映射,以获得清晰的复原图像;设计图像属性和转换感知相结合的多项损失函数,在增强低照度图像的同时保留更多图像细节.与现有的3种低照度图像增强算法进行实验对比,验证了算法的可行性和有效性,并通过消融实验验证了联合硬注意力模块设计的合理性和必要性.