基于未确知测度的视频情感内容识别

为有效识别视频情感的内容,基于未确知数学理论,建立了视频低层特征和高层认知情感之间的联系,提出了一种基于未确知测度的新算法.首先,选取能反映情感变化的场景亮度、镜头切变率和色调效能作为视频情感低层特征,介绍了每种情感特征的数据提取方法,并由此构建了视频情感特征向量.其次,构造了视频场景的未确知对象空间和指标空间,并给出...     

基于模糊积分融合的复杂场景下人体行为识别

利用局部特征描述符来表征视频中一系列关键点的方法已被广泛应用于识别复杂场景下的人体行为,但这些关键点之间隐含的结构化的位置关系目前并未得到有效表征.为此,文中首先采用尺度不变的关键点的检测子和3D-Harris检测子检测视频样本中的局部关键点,结合已有的局部特征描述符和形状描述符来表征关键点位置之间结构化的信息,然后利用bag-of-features模型来计算这些特征的分布,再通过模糊积分对这些局部特征进行有效融合,并给出具体的算法描述.在具有复杂场景的YouTube数据集下的实验表明,所提出的局部特征表征方法能够更有效地表征复杂场景中的人体行为,模糊积分融合方法可有效进行决策层融合.     

Hmnan Action Recognition in Complex Scenes Based on Fuzzy Integral Fusion

利用局部特征描述符来表征视频中一系列关键点的方法已被广泛应用于识别复杂场景下的人体行为,但这些关键点之间隐含的结构化的位置关系目前并未得到有效表征.为此,文中首先采用尺度不变的关键点的检测子和3 D-Harris检测子检测视频样本中的局部关键点,结合已有的局部特征描述符和形状描述符来表征关键点位置之间结构化的信息,然后利用bag-of-features模型来计算这些特征的分布,再通过模糊积分对这些局部特征进行有效融合,并给出具体的算法描述.在具有复杂场景的YouTube数据集下的实验表明,所提出的局部特征表征方法能够更有效地表征复杂场景中的人体行为,模糊积分融合方法可有效进行决策层融合.     

基于时间分段网络并融合上下文信息的视频情感识别

提出一种基于时间分段网络并融合上下文信息的视频情感识别模型.该模型由2个并行的时间分段网络组成,分别用于提取视频中的脸部信息和上下文信息的时空特征并计算情感类别分数.将2个网络的计算结果进行决策融合,得到整个视频的情感类别.在2个视频情感数据库CHEAVD和AFEW上训练并测试了该模型,同时与其他现有方法进行比较.所提...     

融合功能性副语言比例系数的语音情感识别

语言中的非言语发声如笑声、叹息、抽泣等,称为功能性副语言,对情感表达起重要作用,但现有研究很少考虑多种功能性副语言在一种情感中的协同作用.针对该问题,提出了融合功能性副语言比例系数（functional paralanguage proportion coefficient,FPPC）的情感识别系统.首先,提取能体现多种功能性副语言在情感语句中出现的频率快慢和持续时间长短的FPPC特征;然后,搭建基于注意力机制的集成学习（attention stacking）为不同的基分类器赋予不同权重,并对FPPC特征进行训练;最后,通过自适应熵权重决策融合方法将传统语音情感识别与基于FPPC特征情感识别进行融合.实验结果显示,融合了FPPC特征后的情感识别结果提高了16.84%,证明融合FPPC特征能有效提高系统整体识别率.     

基于表情及姿态融合的情绪识别

情绪识别指在使计算机拥有能够感知和分析人类情绪和意图的能力,从而在娱乐、教育、医疗和公共安全等领域发挥作用.与直观的面部表情相比,身体姿态在情绪识别方面的作用总是被低估.针对公共空间个体人脸分辨率较低、表情识别精度不高的问题,提出了融合面部表情和身体姿态的情绪识别方法.首先,对视频数据进行预处理获得表情通道和姿态通道的输入序列;然后,使用深度学习的方法分别提取表情和姿态的情绪特征;最后,在决策层进行融合和分类.构建了基于视频的公共空间个体情绪数据集(SCU-FABE),在此基础上,结合姿态情绪识别数据增强,实现了公共空间个体情绪的有效识别.实验结果表明,表情和姿态情绪识别取得了94.698%和88.024%的平均识别率;融合情绪识别平均识别率为95.766%,有效融合了面部表情和身体姿态表达的情绪信息,在真实场景视频数据中具有良好的泛化能力和适用性.     

基于注意力机制多尺度网络的自然场景情绪识别

情绪识别作为计算机视觉的一项基本课题已经取得很大进展,然而在无约束自然场景中的情绪识别仍具挑战性.现有方法主要是利用人脸、姿态以及场景信息识别情绪,但是忽略了人物个体在场景中的不确定性,以及不能很好地挖掘场景中的情绪线索.针对现有研究存在的问题,提出了基于人物与场景线索的双分支网络结构,两个分支独立学习,通过早期融合得到情绪分类结果.对于人物在场景中的不确定性,引入身体注意力机制预判人物情绪置信度进而获得人体的特征表示,场景中引入空间注意力机制和特征金字塔以便充分获得场景中不同粒度的情绪线索.实验结果表明,此方法有效融合人物与场景信息,在EMOTIC数据集下能够明显提高情绪识别率.     

多尺度光照估计和层次化分类的衣着颜色识别

衣着颜色是行人最显著的表观特征,在视频监控场景中极易受到光照变化的影响.为此,笔者提出了一种基于多尺度光照估计和层次化分类的衣着颜色识别方法.首先,提出一种多尺度局部反射统计的光照估计模型,通过该模型实现对偏色图像的光照矫正;其次,为了精确地识别衣着颜色,设计基于融合多颜色空间特征的层次化分类器;最后,在校园监控场景采集4 998张行人衣着图像(晚上2 052张,白天2 946张)进行对比实验.实验结果表明,该方法能有效提高监控视频中衣着颜色识别准确率且至少提高12.5%.     

基于视频的情感时空融合特征提取算法

随着计算机技术的飞速发展以及人机交互技术的广泛应用,基于视频的表情识别逐渐成为研究热点之一,并逐渐实用化。本文提出了一种基于视频的情感时空融合特征提取算法,并用于表情识别。首先获取情感视频的时空特征点和其对应的立方体(cuobids),然后融合Piotr Dollar提出的描述算子和CBP_TOP描述算子所提取的cuobids的特征向量作为时空特征点最终的特征向量,最后采用"词袋模型"方法来提取情感视频最终的表情特征,并用于后续的表情分类。仿真实验表明此算法在保证识别精度的基础上大大提高了识别速率。     

多特征和神经网络相融合的体育视频识别

为了提高体育视频识别的精度,提出一种多特征和神经网络相融合的体育视频识别模型(MF-RBFNN).分别提取反映体育视频的静态和动态特征,然后采用RBF神经网络对静态和动态特征分别分类,并将初步识别结果构造基本概率指派,运用证据理论对初步结果进行融合,得到体育视频识别结果.结果表明,相对于对比模型,MF-RBFNN提高了体育视频识别精度,是一种有效的体育视频识别方法.     

基于长短时特征融合的语音情感识别方法

情感识别领域中广泛使用的情感特征有基于语句的全局统计特征和基于语音帧的时序特征.针对这2类基于不同时长的情感特征均不能够最有效地表达情感信息的问题,该文提出使用"语段特征"用于识别,并给出了各类情感状态对应的"最佳识别段长".为进一步提高系统识别性能,该文还构建了全局控制Elman神经网络用于将全局统计特征与基于语段的时序特征相融合.实验表明;融合长短时特征后的平均系统识别率可达66.0％,与单独使用各类特征或语段特征相比分别提高了5.9％和1.7％,同时有效降低了各情感之间的混淆度.     

基于级联投票机制的视频人种识别方法

使用LBP算子对视频中的人脸图像提取特征,通过线性SVM分类器进行人种分类,并利用级联投票机制提高人种识别的正确率,大大降低了视频序列中人脸误检带来的干扰.本文提出的识别方法在FERET数据库中具有较好的性能;在人种识别自行建立的LFW和WEB复杂训练数据库中通过交叉验证测试的识别率达到91.10%;该方法在视频数据库中的平均识别率可达86.29%,大量实验证明本文方法对自然场景中的光照、角度和位置变化都具有较高的鲁棒性.     

面向语音情感识别的语谱图特征提取算法

为研究信号相关性在语音情感识别中的作用,提出了一种面向语音情感识别的语谱图特征提取算法.首先,对语谱图进行处理,得到归一化后的语谱图灰度图像;然后,计算不同尺度、不同方向的Gabor图谱,并采用局部二值模式提取Gabor图谱的纹理特征;最后,将不同尺度、不同方向Gabor图谱提取到的局部二值模式特征进行级联,作为一种新的语音情感特征进行情感识别.柏林库(EMO-DB)及FAU Ai Bo库上的实验结果表明:与已有的韵律、频域、音质特征相比,所提特征的识别率提升3%以上;与声学特征融合后,所提特征的识别率较早期声学特征至少提高5%.因此,利用这种新的语音情感特征可以有效识别不同种类的情感语音.     

基于混沌特性的情感语音特征提取

根据语音发声过程中的混沌特性,应用非线性动力学模型分析情感语音信号,提取了该模型下情感语音信号的非线性特征以及常用的声学特征(韵律特征和MFCC).设计情感语音识别对比实验,将非线性特征与不同声学特征融合并验证了该组合下的情感识别性能,研究了语音信号混沌特性对情感语音识别性能的影响.实验选用德国柏林语音库4种情感(高兴、愤怒、悲伤和中性)作为语料来源,支持向量机网络用于情感识别.结果表明,非线性特征有效表征了情感语音信号的混沌特性,与传统声学特征结合后,情感语音识别性能得到了显著提高.     

基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.     

基于特征融合的视频异常事件检测方法

为有效对视频数据进行降维并去除特征集合中的冗余信息, 以提高异常事件的检测效率, 从特征提取和选择的角度提出了融合特征区分度和相关性的视频异常事件检测方法。利用视频数据的时空邻域信息进行特征提取。通过分析特征的判别力和相关性进行特征选择, 从而去除特征集合中的冗余信息, 提高异常事件检测的效率和准确性。实验结果表明, 该方法的检测准确率都优于其他传统方法, 能有效地对场景中发生异常事件的区域进行准确定位。     

治安监控视频中暴力行为的识别与检测

为了充分提取治安监控视频中的时空特征和时序特征,并对暴力行为进行准确的识别与检测,提出一种基于三维卷积神经网络(3DCNN)和卷积长短期记忆网络(Conv LSTM)的暴力行为识别算法。首先,采用一种通用视频描述符—3DCNN结构,提取视频的短时特征,这些特征封装了视频中与目标和场景相关的背景信息,然后,构建Conv LSTM网络对3DCNN提取的短时特征在时间轴上进行建模,进而充分提取视频的高层时序特征。最后,利用Sigmoid函数分类行为动作。为了验证该算法的高效性,对所提出的方法在暴力行为数据集Hockey上进行验证,达到了98.96%的识别精度。测试结果表明,该融合模型在检测效果上优于目前人工提取特征的方法和深度学习的方法。     

基于语音信号与心电信号的多模态情感识别

通过采集与分析语音信号和心电信号,研究了相应的情感特征与融合算法.首先,通过噪声刺激和观看影视片段的方式分别诱发烦躁情感和喜悦情感,并采集了相应情感状态下的语音信号和心电信号.然后,提取韵律、音质特征和心率变异性特征分别作为语音信号和心电信号的情感特征.最后,利用加权融合和特征空间变换的方法分别对判决层和特征层进行融合,并比较了这2种融合算法在语音信号与心电信号融合情感识别中的性能.实验结果表明:在相同测试条件下,基于心电信号和基于语音信号的单模态情感分类器获得的平均识别率分别为71%和80%;通过特征层融合,多模态分类器的识别率则达到90%以上;特征层融合算法的平均识别率高于判决层融合算法.因此,依据语音信号、心电信号等不同来源的情感特征可以构建出可靠的情感识别系统.     

基于人脸与步态特征的室外作业场景身份核验方法

在建筑、通信、电力等工程行业中,作业人员需要频繁执行室外作业。由于室外环境复杂,许多运维工作存在来自高压、高空、深坑等因素的高风险。安全事故一旦发生,将造成巨大的人员和财产损失。因此,需要在作业过程中对作业人员进行身份核验,以方便监督。然而,在传统的监督方式中,作业现场的人员管理和行为管控完全依靠人工核查,监控视频也依赖人工看守,无法做到人员身份实时核验以及对非作业人员入场的有效预警。针对室外作业场景中的作业人员身份识别,目前的研究方法大多基于人脸识别。人脸识别方法能够在作业人员脸部信息清晰且完整时准确识别出其身份信息。然而,当存在遮挡,以及受检测距离、检测角度等因素影响时,会造成脸部信息不完全或者模糊,导致采用人脸识别方法难以准确识别出作业人员的身份。步态特征是一种描述行走方式的复杂行为特征,包括脚的触地时间、离地时间和人体高度、双手摆动幅值等。相比人脸识别,步态特征识别有以下优点：第一,步态识别适用的检测距离更远,而人脸特征随着检测距离的增加识别难度明显上升;第二,步态特征识别是非主动识别,现场作业人员几乎随时随地处于行走状态,而人脸识别需要识别对象正对检测装置;第三,步态特征具有较强的特异性,不像人脸特征较易被模仿、修改。不过,单独采用步态特征进行识别,虽然在作业人员运动时可以捕捉体态信息进而较为准确地对其进行身份核验,但是无法对静态的作业人员进行身份核验。[JP]针对此问题,提出了一种多特征融合的身份核验方法,结合步态与人脸等多特征进行识别,不受衣着、环境等外在因素的干扰,可以有效提高身份核验的准确率。提出的融合人脸特征和步态特征的多特征身份核验方法包括身份注册阶段、训练阶段与测试验证阶段。身份注册阶段,人工标注人脸与步态信息,并录入人员信息库;训练阶段,首先利用相关网络提取视频中图像序列的步态轮廓图与人脸区域,然后利用深度学习网络模型提取相关特征,构建融合的特征向量与身份ID间的关系;测试阶段,首先判断图像中有无清晰人脸,如果有则使用多特征融合识别方法,否则仅通过步态特征进行特征匹配进而完成身份核验。结果表明,多特征融合方法在中科院自动化所的CASIA-A数据集上的分类准确率达到99.17%,数据集包含的3个视角下的分类准确率分别为98.75%,100%和98.75%。因此,所提方法可以有效提高单人场景中的身份识别准确率,是在室外作业场景中进行身份核验的一种有效方法。     

基于语料库的语音情感识别的性别差异研究

性别是语音情感识别中重要的影响因素之一.用机器学习方法和情感语音数据库对语音情感识别的性别差异进行探究,并进一步从声学特征的角度分析了性别影响因素.在两个英文情感数据集以及它们的融合数据集上进行实验,分别用三种分类器对男女语音情感进行识别,并用注意力机制挑选出在男女语音情感识别中的重要特征并比较其差异.结果表明,女性语音的情感识别率高于男性.梅尔倒谱系数、振幅微扰、频谱斜率等频谱特征在男女语音的情感识别中的重要性差异较大.