基于边界敏感网络的时序行为候选生成算法

针对视频序列中人体行为检测的问题,提出一种基于边界敏感网络的时序行为候选生成算法,在原有边界敏感网络的基础上通过对时序评估模块和候选评估模块引入更深层的卷积神经网络,进而对视频特征有更好的表达。同时在后处理阶段,在NMS(non-maximum suppression)算法中引入新的置信度分数高斯加权衰减方法。实验结果表明,该算法可以有效提高行为检测问题中时序行为候选生成任务的召回率。在公开数据集Activity Net上,提出的方法在保证生成相同数量候选的同时有更高的平均召回率。     

基于迁移学习的危险行为识别方法研究

深度学习中卷积神经网络在行为识别领域有着良好的识别效果,但是由于深度学习需要较大数据集训练模型,而现今公开数据集中危险行为识别相关方向没有大量数据集。针对危险行为识别领域样本少、无法进行深度学习训练等问题,建立了危险行为识别数据集,并采用迁移学习方法对C3D网络模型进行迁移训练。结果表明,迁移学习后C3D网络模型对危险行为识别数据集平均识别率达到了83. 2%,可以有效识别危险行为动作。     

一种基于深度强化学习的室内声学行为识别方法

对声学行为识别的研究目前主要依赖于特定用户的数据,且需要过滤异常值,导致较难获取可用于训练的数据集.提出了一种基于梅尔频谱图与Google AudioSet中提取的embedding的新策略,保证了模型的泛化能力,摆脱了依赖特定用户数据的限制.使用深度强化学习方法对11种常见室内行为进行识别,动态控制数据分布,解决数据不平衡问题.总体识别准确率达到87.5%,对每个行为的识别准确率均超过了83%.     

基于多尺度3D卷积神经网络的行为识别方法

近年来卷积神经网络(convolutional neural network,CNN)在行为识别任务中取得了较大的进展.然而,现有的神经网络方法往往只注重高层语义信息的利用,对浅层特征信息挖掘利用不够.针对这一问题,提出一种基于3D卷积(convolution 3D,C3D)的多尺度3D卷积神经网络的行为识别方法.该方法受到特征金字塔结构的启发,在原C3D的基础上融合C3D的浅层特征信息,实现端到端的行为识别.同时该方法以现有的深度学习理论为基础,利用迁移学习的思想,将C3D和该方法中相同模块部分的参数迁移到本方法中,以降低模型的训练时间.通过在UCF101数据集上进行实验,实验结果表明,提出行为识别方法的分类精度达到84.56％,分类效果优于原C3D分类网络.     

基于时序卷积网络的信道编码闭集识别

针对传统识别算法对信号的先验知识要求较高、人工特征提取复杂、低信噪比环境下识别率较低等问题,提出了一种基于时序卷积网络(TCN)的卷积码参数识别方法．引入了深度学习算法处理盲识别问题,依据卷积码的马尔可夫性,将码字作为时间序列处理,把已知类型的编码序列作为时序卷积网络模型的输入进行监督学习,根据训练好的模型对接收端接收到的未知编码信号进行闭集识别分类．实验结果表明：当信噪比大于5 dB时,单一参数类型与混合参数类型平均识别准确率分别大于99.60%和99.50%,且在相关算法对比中有较好的识别表现．     

结合低秩分解与多流融合的行为识别方法

运动信息对行为识别任务至关重要。现有方法仅利用了局部运动信息,忽略了全局运动信息的重要作用。为解决该问题,提出了一种基于低秩分解与多流融合的行为识别方法。通过3条支路分别提取视频的特征,第1条支路利用低秩分解提取全局运动信息;第2条支路提取视频的光流特征以得到局部运动信息;第3条支路利用原始视频作为输入,以保留完整的空域信息。将3条支路的预测结果进行后融合,得到最终的行为识别结果。通过多流融合,充分利用视频的多尺度时域运动信息和丰富的空域信息,提高现有模型的行为识别能力。实验结果表明,提出的方法优于现有模型的多流融合行为识别方法。     

基于多指标交互的加权时序网络节点重要性

时序网络中的重要节点评估一直是社交网络领域中的热门话题,在病毒传播、信息挖掘等方面有着诸多应用。现有的算法虽然考虑到节点的邻居信息对节点产生的影响,但建模时仅仅考虑节点是否存在关系,对于链接强度的考虑不够全面。针对此问题,从时间层面去考虑节点链接强度,提出一种新的层内邻接矩阵。同时,综合考虑节点自身的邻居和跨层节点的公共邻居来衡量层间耦合关系,提出多指标交互算法;其次,构建加权超邻接模型(WSAM);最后,通过计算时序网络中每个时间层节点的特征向量中心性来评估时序网络中节点的重要性。实验结果表明,TWCR算法在时序最大连通分量、网络性能、容错性三个方面优于SAM、SSAM和WPA方法。     

基于机器视觉的目标识别方法的研究进展

随着社会的不断发展,机器视觉系统在各行业已被广泛应用,基于目标检测与目标识别的图像处理方法在机器系统中有了主要的应用途径,总结近年来使用机器视觉研究中用到的目标识别方法,包括Blob分析法、模板匹配法、深度学习法,详细讨论这些目标识别方法的原理、优劣以及在各个领域中的应用。首先介绍了基于机器视觉的目标检测识别的任务、难点和发展现状,其次基于深度学习方法的目标检测识别算法,最后讨论当前实际应用中目标检测识别方法存在的问题和未来可能的发展方向。     

基于改进双流算法的矿工行为识别方法研究

针对目前矿工行为数据集构建不全面、行为识别实时性较差、对相似行为的细粒性识别精度较低等问题,提出了一种端到端的自主学习行为特征并实现行为分类的识别方法.首先,对原始矿工行为视频进行特征提取,生成用来描述时间特征的光流图以及可以描述空间特征的三原色(RGB)图像,使用双流网络对提取的特征进行学习并得到行为分类结果;然后,...     

基于混合运动激励和时序增强的篮球运动员动作识别算法

为了解决在背景相似的篮球视频中提取特征级运动信息不充分和捕获长时序依赖关系困难等问题,从局部和全局的角度出发,提出一种混合运动激励和时序增强网络(mixed motion excitation and temporal enhancement network,MTE-Net),该网络由在时间建模上互补的混合运动激励(mixed motion excitation,MME)模块和时序增强(temporal enhancement,TE)模块构成.混合运动激励模块通过计算短距离视频帧之间混合的特征级差分来充分表征局部运动信息,并显性地对运动敏感通道进行激励.时序增强模块对长距离视频帧使用自注意力机制来构建时序关联函数并捕获时序之间的全局依赖关系,增强视频中的重要帧序列.在不额外引入光流和过多参数的情况下,在SpaceJam篮球动作数据集上的实验结果表明,与其他主流的动作识别算法相比,所提模型对篮球运动员动作识别的准确率更高.     

多角度视频的驾驶人员行为识别

驾驶员在行驶过程中看手机,与乘车人员交谈等违规行为,为安全行驶造成了极大的隐患。为了解决此类问题,提出了一种多角度行为识别方法,从3 个角度同步捕捉驾驶员行为的视频,构建多角度驾驶员行为的视频和数据集,利用深度卷积神经网络,进行识别分类。实验结果表明,3D CNN 相对于2D CNN 的识别精度更加准确,在对比输入剪辑的帧数实验中,发现堆叠的视频帧数会影响准确度,并在具有较大优势的R2plus1D模型中( 将3D 卷积滤波器分解为单独的空间和时间分量) ,基于多角度驾驶人员行为识别精度达到87%。     

基于深度卷积神经网络和深度视频的人体行为识别

传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。以深度视频为研究对象,构建了3维卷积深度神经网络自动学习人体行为的时空特征,使用Softmax分类器进行人体行为的分类识别。实验结果表明,提出的方法能够有效提取人体行为的潜在特征,不但在MSR-Action3D数据集上能够获得与当前最好方法一致的识别效果,在UTKinect-Action3D数据集也能够获得与基准项目相当的识别效果。本方法的优势是不需要人工提取特征,特征提取和分类识别构成一个端到端的完整闭环系统,方法更加简单。同时,研究方法也验证了深度卷积神经网络模型具有良好的泛化性能,使用MSR-Action3D数据集训练的模型直接应用于UTKinect-Action3D数据集上行为的分类识别,同样获得了良好的识别效果。     

基于深度学习的白光-热成像双通道图像识别系统设计

为解决无人机图像自动识别系统对大视场角下小目标的识别准确率及实时性问题,利用深度学习卷积神经网络对热成像-白光联合图像进行目标识别。设计了一种针对具有温度特征的目标物识别系统以及双通道目标候选提名图像识别算法。充分利用热成像图中目标热源特征的HSV值,将目标物从热成像图中进行筛选、分割。通过Canny算子勾勒目标物轮廓,并标记出目标物大致区域,导入白光图像提取含有目标物的有效图像信息。利用YOLO V2算法对候选图像内目标物进行识别。通过实验表明,提出的双通道目标候选提名图像识别算法具有可行性与实用性,能够在大视场环境下对小目标进行精准快速识别,满足无人机机载系统简易、实时和准确性要求。     

基于关系建模的弱监督时序动作定位

时序动作定位因其广泛的实际应用成为重要且具有挑战性的方向.由于全监督定位方法需要大量的人力对长视频进行视频帧或视频片段级别的细腻标注,近些年来,弱监督学习受到了越来越多的关注.弱监督动作定位在训练阶段只需提供视频级别类别标签,即可定位出视频中动作的区间位置.然而,大多数现存的方法往往只对独立的视频片段进行分类损失约束,...     

基于特征交互模块增强RGB-骨骼动作识别鲁棒性研究

恶意攻击者可以通过在自然样本中添加人类无法察觉的对抗噪声轻易地欺骗神经网络,从而导致分类错误.为了增强模型对抗扰动的鲁棒性,先前的研究大多关注单模态任务,对多模态场景的研究相对匮乏.为了提升多模态RGB-骨骼动作识别的鲁棒性,提出了一个基于特征交互模块(FIM)的鲁棒动作识别框架,提取对抗样本的全局信息并学习模态间的联合表征,以此来校准多模态特征.实验结果表明,面对CW攻击,该动作识别框架在NTURGB+D数据集上进行鲁棒性评估,其RI值达到 25.14%,平均鲁棒准确率也达到48.99%,比最新的MinSim+ExFMem方法分别提高了8.55和23.79个百分点,表明其在增强鲁棒性及平衡准确率方面都优于其他方法.     

合作学习模式在大学英语教学中的运用——一份基于听说课的行动研究报告

借助于调查问卷、课堂观察和教师日志,探讨了合作学习在大学英语课堂中的运用.该行动研究持续了15周,研究对象是某大学98名非英语专业新生.定量和定性数据分析均表明：合作学习能够显著改善大班环境下学生听说课堂上的互动和参与.另外,被试对合作学习教学法的态度是肯定和积极的.     

基于深度残差网络与迁移学习的地形识别方法

针对现有机器人基于深度网络的地形识别方法准确率低、网络训练时间长且需要大量训练数据的问题,提出一种基于深度残差网络与迁移学习的地形识别方法。首先,基于Resnet网络构建一种深度残差网络;其次,利用现有Imagenet大型数据集对构建的深度残差网络进行预训练,作为预训练网络,保留预训练网络除全连接层的训练权重,实现预训练网络大规模的参数迁移;最后,利用自建地形图像数据集对深度残差网络的全连接层进行训练,实现深度残差网络微调。实验结果表明,通过迁移学习的方法,利用深度残差网络对石子路、水泥路、砖地、沥青、草地、泥地6种自建地形图像进行分类,平均准确率达到了99.3%,同时网络训练时间也显著降低。