一种基于区域显著性识别的红外图像增强方法

针对红外图像纹理细节不足和对比度下降的问题,提出一种基于区域显著性识别的红外图像增强方法.首先,通过构建红外图像显著性特征图,识别出红外图像中的显著区域和非显著区域.然后,对红外图像进行反转操作并基于暗通道先验估计出反转红外图像的透射图,再基于图像识别的结果对透射图进行修正.最后,基于简化大气散射模型获得增强后的红外图像,并基于细节改变先验进行边缘特征增强.采用了多种类型的红外图像进行试验,并将所提方法与多种当前主流红外图像增强方法进行了主观和客观对比.结果表明,所提方法具有较好的鲁棒性,且平均新增可见边比能达到4.15、平均对比度增益能达到6.47、基于人眼视觉的图像清晰度能提升33%.     

基于显著性检测的红外舰船目标检测识别技术

为有效解决舰船目标的检测与识别问题,提出一种基于显著性检测和Hu不变矩的红外舰船目标检测识别方法,首先使用中值滤波、维纳滤波及灰度非线性变换去除噪声,增强对比度,然后利用Itti算法模型进行显著性检测,针对检测分割后的舰船目标提取几何特征、灰度特征和Hu不变矩特征进行综合识别.经大量仿真实验证明,此方法具有较高的检测识...     

基于深度卷积神经网络和深度视频的人体行为识别

传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。以深度视频为研究对象,构建了3维卷积深度神经网络自动学习人体行为的时空特征,使用Softmax分类器进行人体行为的分类识别。实验结果表明,提出的方法能够有效提取人体行为的潜在特征,不但在MSR-Action3D数据集上能够获得与当前最好方法一致的识别效果,在UTKinect-Action3D数据集也能够获得与基准项目相当的识别效果。本方法的优势是不需要人工提取特征,特征提取和分类识别构成一个端到端的完整闭环系统,方法更加简单。同时,研究方法也验证了深度卷积神经网络模型具有良好的泛化性能,使用MSR-Action3D数据集训练的模型直接应用于UTKinect-Action3D数据集上行为的分类识别,同样获得了良好的识别效果。     

利用卷积神经网络的显著性区域预测方法

针对神经网络的显著性区域预测存在数据采集代价大、处理繁琐等问题,提出2种卷积神经网络,即从头开始训练的浅层卷积神经网络,以及前三层源自另一个网络的深层卷积神经网络。其中,浅层网络结构简单,可避免过拟合问题;深层网络可以充分利用最底层的模型参数,收敛更快,效果更好。所提卷积神经网络应用于回归问题,均没有直接训练特征图的线性模型,而是在迁移层上训练了一堆新的卷积层。从端到端的角度解决显著性预测,将学习过程演化为损失函数的最小化问题。测试和训练在SALICON,SUN和MIT300数据集上进行,实验结果验证了所提方法的有效性。其中,深层网络和浅层网络在SALICON和SUN数据上的结果相似,深层网络在MIT300上的结果更优,与其他方法相比,所提方法具有不错的表现,而且具有跨数据集的鲁棒性。     

基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.     

基于深度学习的人体行为识别检测综述

人体行为识别检测是计算机视觉领域的研究热点,主要包括行为识别和行为检测两大部分.目前,对行为识别检测的综述主要聚焦在行为识别领域,对行为检测的关注度偏低.针对这一现状,聚焦行为识别和行为检测两个方面,分别综述了行为识别以及行为检测的各种方法,介绍了常用的数据集.首先从网络结构的角度重点论述了基于深度学习的行为识别方法;而后将行为检测划分为时序行为检测和时空行为检测,总结行为检测的各种算法;最后对各种算法的特点进行了总结分析,探索行为识别与行为检测的区别与联系,对当前研究面临的问题以及下一步的工作进行了总结和展望.     

基于虚警识别与空-频域显著性映射的红外弱小目标检测算法

为了提高复杂背景与低信杂比率环境下的弱小目标检测准确度,有效控制虚警的干扰,考虑真实目标与背景的差异,设计了虚警识别耦合空-频域显著性映射的红外弱小目标检测算法。首先,根据红外中心像素在不同方向的强度,基于中值滤波器,构建了新的噪声滤波方法,充分抑制红外背景中的噪声干扰。随后,考虑中心像素与其邻域像素间的强度差别,设计背景抑制滤波机制,消除背景信息。根据初始红外图像与背景抑制结果,在空域内计算灰度映射。基于Fourier变换的相位谱,在频域内提取红外目标的显著性映射。利用背景的均值与方差,通过一个滑动窗口,建立候选目标检测方法,从灰度映射与显著性映射中确定候选目标。最后,利用真实目标位置的相关性,建立虚警识别方法,从候选目标中消除虚警,以保留真实弱小目标。实验数据表明:较已有的弱小目标识别技术而言,在复杂干扰背景下,所提方案可准确定位出真实目标,拥有更大的信杂比增益值与背景抑制因子,以及更好的ROC(receiver operating characteristic curve)特性曲线。     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

一种运用显著性检测的行为识别方法

针对传统稠密轨迹行为识别法不能很好地区分行为区域和背景的问题,提出一种运用显著性检测的行为识别方法。考虑到视频显著性在较小的时空范围内变化不大,将视频在时域分割为多个短子视频,并将子视频在空域划分成小块,再以块为基础运用一种两阶段显著性检测方法获取每个子视频的行为区域。在检测的第一阶段,将低秩矩阵恢复算法应用于子视频的运动信息计算其初始显著性,并据此将其内所有块划分为候选前景集合和绝对背景集合;在第二阶段,为了将真正的行为区域从候选前景集合中分离出来,利用绝对背景集合中块的运动信息构建字典,通过加权稀疏表示算法计算候选前景集合中每个块的细化显著性,再通过阈值化获取二值显著图用以指示行为区域;最后,将显著图融入稠密跟踪过程以获取行为区域轨迹用于行为识别。基准数据集上的实验结果表明,该方法能够较好地检测视频中的行为区域,获得的识别率高于传统稠密轨迹法2.5%~4.5%。     

基于多流融合网络的3D骨架人体行为识别

当前大多基于卷积神经网络的3D骨架人体行为识别模型没有充分挖掘骨架序列所蕴含的几何特征,为了弥补这方面的不足,文章在AIF-CNN模型的基础上进行改进,提出多流融合网络模型(MS-CNN)。在此模型中,新增一种几何特征(kernel特征)作为输入,起到了丰富原始特征的作用;新增多运动特征,使模型学习到更加健壮的全局运动信息。最后,在NTU RGB+D 60数据集上进行消融实验,分别在NTU RGB+D 60数据集、NTU RGB+D 120数据集上,将MS-CNN模型与19、8个行为识别模型进行对比实验。消融实验结果表明：MS-CNN模型采用joint特征与kernel特征融合,其识别准确率比与core特征融合的高;随着多运动特征的增多,MS-CNN模型的识别准确率有所提高。对比实验结果表明：MS-CNN模型在2个评估策略下的识别准确率超过了大部分对比模型(包括基准AIF-CNN模型)。     

基于多天线FMCW雷达的人体行为识别方法

提出一种基于多天线调频连续波(frequency modulated continuous wave, FMCW)雷达的多参数融合神经网络(fusion neural network, FNN)人体行为识别方法。针对FMCW雷达参数估计算法角度分辨率不足以及在估计目标个数错误的情况下会降低精度的问题,提出一种结合最小功率无失真响应(minimum power distortionless response, MPDR)波束形成与快速傅里叶变换(fast Fourier transform, FFT)的距离-方位角参数联合估计算法。利用2个相互垂直的线阵雷达捕捉人体行为,使用参数联合估计算法估计人体目标各回波点在水平与垂直方向的距离、角度参数。构建FNN,从参数估计结果中提取并融合人体行为在水平与垂直方向的空间与时间特征,根据融合特征实现人体行为识别与分类。实验结果表明,FNN方法对人体行为识别的准确率相比传统三维卷积神经网络(3D convolutional neural networks, 3D-CNN)提升了4.37%。     

基于卷积神经网络的无人机识别方法仿真研究

为了提高卷积神经网络(CNN)的泛化性和鲁棒性,改善无人机航行时识别目标图像的精度,提出了一种CNN与概率神经网络(PNN)相结合的混合模型。利用CNN提取多层图像表示,使用PNN提取特征对图像进行分类以替代CNN内部的BP神经网络,采用均方差和降梯度法训练模型,通过将预处理的图像传输到CNN-PNN模型,对图像纹理和轮廓进行分类识别,并将此模型的仿真结果与卷积神经网络模型、卷积神经网络-支持向量机模型的结果进行对比。仿真结果表明,与其他两种模型相比,CNN-PNN模型具有更好的精准度,识别率高达96.30%。因此,CNN-PNN模型能够快速有效地识别图像,准确度和实时性较高,在图像识别等方面具有很好的应用前景。     

基于增量方法的卷积语音情感识别网络

提出了一种新颖的语音情感识别结构,从声音文件中提取梅尔频率倒谱系数(Melscale frequency cepstral coefficients,MFCCs)、线性预测倒谱系数(linear predictive cepstral coefficients,LPCCs)、色度图、梅尔尺度频谱图、Tonnetz表示和频谱对比度特征,并将其作为一维卷积神经网络(convolutional neural network,CNN)的输入.构建由一维卷积层、Dropout层、批标准化层、权重池化层、全连接层和激活层组成的网络,并使用Ryerson情感说话/歌唱视听(Ryerson audio-visual database of emotional speech and song,RAVDESS)数据集、柏林语音数据集(Berlin emotional database,EMO-DB)、交互式情绪二元运动捕捉(interactive emotional dyadic motion capture,IEMOCAP)数据集这3个数据集的样本来识别情感.为提高分类精度,利用增量方法修改初始模型.为...     

基于像素特征的微表情识别

微表情持续时间短、表达强度低,给训练有效模型带来了挑战。针对此问题,提出了一种基于像素特征的微表情识别方法。对图像序列的面部区域进行裁剪,消除背景噪声;将每一帧的像素矩阵与第一帧(中性表情)做差处理,提取面部变化;对做差的结果累加,进一步突出面部表情;使用搭建的浅层CNN网络进行分类。在3个公共微表情数据集组成的交叉数据集上进行K折(K-fold)交叉验证实验中,所提方法的3个评价指标ACC(accuracy)、UF1(unweighted F1-score)和UAR(unweighted Average Recall)分别达到了0.830 4、0.782 7和0.794 4,表明了该方法的有效性。与LBP-TOP等8个模型的对比实验中,所提方法的指标明显优于对比模型,验证了该方法的优越性。     

融合词性与双向时间卷积网络的中文命名实体识别方法

针对目前中文命名时实体识别方法中存在的中文边界识别困难、模型梯度、文本特征不够充分等问题,提出了一种融合词性特征与双向时间卷积网络的中文命名时实体识别模型。该模型提出使用XLNet预训练语言模型生成对应的词嵌入表示,融合后使用双向时间卷积网络提取文本前向特征与后向特征。实验中对时间卷积网络的空洞因子、卷积层数和卷积核数进行参数实验并分析其影响原因,结果表明,该模型与其他模型相比,能够更准确且有效地提取文本中的实体。     

基于多尺度时序交互的第一人称行为识别方法

对于第一人称行为识别任务,现有方法大多使用了目标边界框和人眼视线数据等非行为类别标签对深度神经网络进行辅助监督,以使其关注视频中手部及其交互物体所在区域。这既需要更多的人工标注数据,又使得视频特征的提取过程变得更为复杂。针对该问题,提出了一种多尺度时序交互模块,通过不同尺度的3D时序卷积使2D神经网络提取的视频帧特征进行时序交互,从而使得单一视频帧的特征融合其近邻帧的特征。在只需行为类别标签作监督的情况下,多尺度时序交互能够促使网络更加关注第一人称视频中手部及其交互物体所在区域。实验结果表明,提出的方法在识别准确率优于现有第一人称行为识别方法。     

结合tetrolet与红外显著性特征提取的红外与可见光融合

针对红外与可见光图像融合过程中红外热目标不突出、纹理及边缘细节易缺失等问题,提出一种结合tetrolet变换域与红外显著目标特征提取的融合方法。首先,在SURF框架内构建基于HOG的特征点描述符实现红外与可见光图像的精确匹配;其次,基于贝塞尔面结合背景及目标进行自适应抑制完成红外目标显著性特征提取;接着,将处理后的红外与可见光图像通过tetrolet多尺度变换分解为低频和高频分量;然后,利用基于局部能量和相对亮度自适应规则对低频分量进行融合,对高频分量采用基于局部空间频率自适应融合规则;最后,将融合的低频分量与高频分量通过tetrolet逆变换,以获得最终的融合结果。实验结果表明,本文算法对不同场景下的红外与可见光图像的融合效果不但主观上具有显著的目标特征,同时背景纹理和边缘细节清晰,整体对比度适宜,运行时间较其它算法得到了明显提升,并且在客观评价指标上也取得了较好的效果。     

Star pattern recognition method based on neural network

Star sensor is a sensitive instrument for determina-tion of a spacecraft attitude with high accuracy. The in-strument can determine the spacecraft 3-axis attitude through the recognition of observed stars. It measures star magnitude and star coordinates in the spacecraft coordi-nate frame. The measures are then compared with a refer-ence star catalog to obtain the attitude information of the spacecraft[1,2]. The purpose of star pattern recognition is to identify the corresponding relations bet…     

基于特征提取的健美操分解动作图像自适应识别方法

为了解决传统方法容易受运动速率、光照情况、遮挡、复杂背景等的影响,导致识别结果鲁棒性较差的问题,通过特征提取方法研究了健美操分解动作图像自适应识别问题。通过时间能量金字塔把视频序列划分成若干段,得到结果中动作并非全为健美操动作,含大量干扰信息,通过背景消减法对进行健美操运动的人体目标进行提取,进行进一步处理,得到人体轮廓的二值图像序列,求出轮廓外界矩形宽度和高度之比,依据宽高比获取关键帧,通过拉普拉斯法求解相邻差异帧与间的光流,降低背景杂波产生的影响。针对关键帧提取特征向量,通过相似性检测对待识别健美操分解动作图像和提取特征进行匹配,设定相似性阈值,将相似性高于阈值的图像作为识别结果。结果表明：所提方法对单人健美操视频数据库的识别准确率高,仅存在一定程度的混淆;所提方法对含不同场景的复杂数据库的识别准确性和其它方法相比最高。可见所提方法受外界环境干扰小,可保证高识别精度。