基于语料库的语音情感识别的性别差异研究

性别是语音情感识别中重要的影响因素之一.用机器学习方法和情感语音数据库对语音情感识别的性别差异进行探究,并进一步从声学特征的角度分析了性别影响因素.在两个英文情感数据集以及它们的融合数据集上进行实验,分别用三种分类器对男女语音情感进行识别,并用注意力机制挑选出在男女语音情感识别中的重要特征并比较其差异.结果表明,女性语音的情感识别率高于男性.梅尔倒谱系数、振幅微扰、频谱斜率等频谱特征在男女语音的情感识别中的重要性差异较大.     

基于混沌特性的情感语音特征提取

根据语音发声过程中的混沌特性,应用非线性动力学模型分析情感语音信号,提取了该模型下情感语音信号的非线性特征以及常用的声学特征(韵律特征和MFCC).设计情感语音识别对比实验,将非线性特征与不同声学特征融合并验证了该组合下的情感识别性能,研究了语音信号混沌特性对情感语音识别性能的影响.实验选用德国柏林语音库4种情感(高兴、愤怒、悲伤和中性)作为语料来源,支持向量机网络用于情感识别.结果表明,非线性特征有效表征了情感语音信号的混沌特性,与传统声学特征结合后,情感语音识别性能得到了显著提高.     

面向语音情感识别的语谱图特征提取算法

为研究信号相关性在语音情感识别中的作用,提出了一种面向语音情感识别的语谱图特征提取算法.首先,对语谱图进行处理,得到归一化后的语谱图灰度图像;然后,计算不同尺度、不同方向的Gabor图谱,并采用局部二值模式提取Gabor图谱的纹理特征;最后,将不同尺度、不同方向Gabor图谱提取到的局部二值模式特征进行级联,作为一种新的语音情感特征进行情感识别.柏林库(EMO-DB)及FAU Ai Bo库上的实验结果表明:与已有的韵律、频域、音质特征相比,所提特征的识别率提升3%以上;与声学特征融合后,所提特征的识别率较早期声学特征至少提高5%.因此,利用这种新的语音情感特征可以有效识别不同种类的情感语音.     

基于粗神经网络的语音情感识别

语音情感识别是从语音信号中提取一些有效的声学特征,然后利用智能计算或者识别的方法对话者的情感状态进行识别。介绍了国内外在该领域中关于语音情感数据库、特征提取、识别方法的研究现状。基于对该领域现状的了解,发现特征提取对识别率有着非常大的影响。录制了1050句语音,每句语音提取了30个特征,从而形成了一个1050×30的数据库。提出了用粗糙集理论中的信息一致性对数据库中的30个特征进行化简,最后得到了12个特征。用神经网络中的BP网络对话者的情感状态进行识别,最高识别率达到了84%。从实验结果发现不同的情感用不同的方法识别结果更好。     

普通话多模态情感语音数据库构建与评测

本文设计并建立了一个包含发音运动学、声学、声门和面部微表情的多模态情感语音汉语普通话数据库,分别从语料设计、被试选择、录制细节和数据处理等环节进行了详细的描述,其中信号被标记为离散情感标签(中性、愉悦、高兴、冷漠、愤怒、忧伤、悲痛)和维度情感标签(愉悦度、激活度、优势度)。本文对维度标注的数据进行统计学分析,验证标注的有效性,同时验证标注者的SCL-90量表数据并与PAD标注数据结合后进行分析,探究标注中存在的离群现象与标注者心理状况之间的内在联系。为验证该数据库的语音质量和情感区分度,本文使用SVM、CNN、DNN3种基础模型计算了7种情感的识别率。结果显示,单独使用声学数据时7种情感的平均识别率达到了82.56%;单独使用声门数据时平均识别率达到了72.51%;单独使用运动学数据时平均识别率也达到了55.67%。因此,该数据库具有较高的质量,能够作为语音分析研究的重要来源,尤其是多模态情感语音分析的任务。     

情感语音数据库优化及PAD情感模型量化标注

情感语音数据库是情感语音识别研究的基础,建立包含认知心理因素在内的维度情感语音数据库对提高识别率、改善人机交互能力具有重要意义。笔者首先对前期建立的摘引型TYUT2.0数据库进行语音听辨筛选,根据认同率阈值进行数据库优化,得到的情感语音数据库包含四种情感的语句237句,其中"悲伤"62句,"愤怒"58句,"高兴"57句,"惊奇"60句。然后利用PAD三维情感模型对该数据库语音进行标注,得到维度情感语音数据库。该数据库中的每句语音都有对应的听辨认同率以及PAD值。对每句语音的PAD值进行统计分析,证明了该维度情感语音数据库的有效性,为今后研究维度情感识别奠定了基础。     

基于深度学习的自然与表演语音情感识别

语音是情感表达的重要途径,自然状态和表演状态下的语音所蕴含的情感信息并不完全相同.为了探索自然状态和表演状态下语音情感识别的差异,采用深度学习算法分析了IEMOCAP公用数据集,对自然状态和表演状态下的中性、愤怒、开心和悲伤等四类情绪语音数据进行实验:首先提取语音数据的声学特征(对比了emobase2010特征集和eGeMAPs特征集),然后利用卷积神经网络(Convolutional Neural Networks,CNN)对自然与表演状态下的语音情感进行识别,比较了两种状态下的情感识别率,再利用混淆矩阵分析两种状态下不同情绪之间的误分率和相似性.实验结果显示,自然状态下的情感识别率明显高于表演状态下,还发现愤怒和悲伤在两种状态下的误分率有明显区别.该现象对理解情绪的表达机制有启发意义.     

混合蛙跳算法神经网络及其在语音情感识别中的应用

该文将混合蛙跳算法(SELA)优化方法应用于人工神经网络训练中,对6种语音情感进行了语音情感特征的分析与识别。研究了谐波噪声比特征随情感类别的变化特性。利用混合蛙跳算法训练随机产生的初始数据优化神经网络的连接权值,快速实现了网络收敛。实验比较了BP神经网络、RBF神经网络和SFLA神经网络的语音情感识别性能。结果表明,SFLA神经网络的平均识别率分别高于BP神经网络和RBF神经网络4.7%和4.3%。     

EMD结合Teager能量用于语音情感识别

在语音情感识别系统中,语音情感特征的提取尤为重要,本文在前期已有对EMD分解研究的基础上,将EMD分解与Teager能量算子相结合,用于语音情感识别。文中首先利用EMD分解得到一组IMF分量,再对各阶IMF分量提取Teager能量,然后通过对不同语种的不同情感语音的Teager能量在Mel频率的分析,提出了一种新的情感特征：基于EMD分解的Mel频率的Teager能量谱系数(ETMC),最后利用SVM分类方法对不同语种的不同情感进行识别,实验结果表明,该方法有很好的识别结果。     

基于重要性评分的多级随机森林网络语音情感识别

在源数据不充分或不平衡的情况下,深度学习方法在小样本集上难以取得令人满意的语音情感识别效果。因此,本研究构造了一种三层随机森林情感识别网络,在每一层都单独剥离易于区分的情感类别,并通过重要性评分方法,为每一层网络都构造一个识别特定类别的特征集,该特征集的每一个特征都依据贡献度大小得到赋权,以确保对分类贡献越多的特征因子对结果影响越大。本研究构建的多级情感识别网络,在小样本集语音情感识别的整体识别率上,较单层随机森林网络和支持向量机分别提高了5%和7%,较流行的深度学习方法卷积神经网络提高了12%。实验结果和理论分析表明:基于重要性评分的多级随机森林网络相较于其他方法,在源数据样本量较少和部分不平衡的情况下,有更高的识别准确率,具有语音情感识别方向的实际应用意义。     

特征组合的中文音乐情感识别研究

音乐情感识别是音乐检索的一个重要组成部分.基于音乐声学特征分析,尝试提取代表音乐声学特性的时域、频域、倒谱域的各种特征,并利用支持向量机(support vector machine,简称SVM)算法对中文音频进行情感分类,以研究不同特征组合在音乐情感分类上的效果.通过对比各种不同特征组合的音乐情感识别效果,发现由4个时域特征、频谱、幅度谱和相位谱组成的音乐特征对中文音乐情感分类的效果良好.     

基于MF-DFA的语音情感识别

针对语音情感线性参数在刻画不同情感类型特征上的不足，将多重分形理论引人语音情感识别中．通过分析不同语音情感状态下的多重分形特征，提取多重分形谱参数和广义hurst指数作为新的语音情感特征参数，并结合传统语音声学特征，采用支持向量机SVM对其进行语音情感识别．试验结果表明，该方法可使系统的准确率和稳定性得到有效提高．非线...     

基于分类识别的隐马尔可夫模型语音识别技术

通过分析基于隐马尔可夫模型(HMM)语音识别的原理,针对模板提取过程中语音信号的基音频率差别增大而出现的语音识别率下降的问题,提出分类识别的方法,通过采用基音周期(Pitch)判决方法,将特征相近的帧合并,并计算基音频率的MEL频率倒谱系数,采用隐马尔可夫模型(HMM)进行语音识别,最终通过仿真实验验证分类识别方法对语音识别率提高的影响,得出此方法的适用环境和范围.     

结合过完备字典与PCA的小样本语音情感识别方法

针对稀疏表示识别方法需要大量样本训练过完备字典且特征冗余度较高的问题,提出了结合过完备字典学习与PCA降维的小样本语音情感识别算法.该方法首先用PCA降维方法将特征降维,再将处理后的特征用于过完备字典训练与稀疏表示识别方法,从而给出了语音情感特征的稀疏表示方法,并确定了新算法的具体步骤.为验证其有效性,在同等特征维数下,将方法与BP、SVM进行比较,并对比、分析语音情感特征稀疏化前后对语音情感识别率、时间效率以及空间效率的影响.试验结果表明,所提出方法的识别率比SVM与BP高;与采用稀疏化前的特征相比,稀疏化后的特征向量更便于处理,平均识别率提高约15%,时间效率提高近原来的1/2,空间效率提升近原来的1/3.     

基于核典型相关分析和支持向量机的语音情感识别模型

为了获得更好的语音情感识别的实时性和正确率,该文提出了基于核典型相关分析和支持向量机的语音情感识别模型。首先提取多种情感识别的特征,采用核典型相关分析对特征进行选择,将选择的特征作为支持向量机的输入向量进行训练,建立情感识别的分类器,最后采用语音情感识别的标准数据库进行验证性和对比实验。实验结果表明,该模型能够准确识别不同类型的语音情感,获得较高的语音情感识别率。核典型相关分析减少了分类器的输入向量数,加快了情感识别速度,获得了理想的实时性。该文语音情感识别结果优于对比模型,具有更高的实际应用价值。     

基于情感信息辅助的多模态情绪识别

不同于纯文本的情绪分析, 本文面向多模态数据(文本和语音)进行情绪识别研究。为了同时考虑多模态数据特征, 提出一种新颖的联合学习框架, 将多模态情绪分类作为主任务, 多模态情感分类作为辅助任务, 通过情感信息来辅助提升情绪识别任务的性能。首先, 通过私有网络层对主任务中的文本和语音模态信息分别进行编码, 以学习单个模态内部的情绪独立特征表示。接着, 通过辅助任务中的共享网络层来获取主任务的辅助情绪表示以及辅助任务的单模态完整情感表示。在得到主任务的文本和语音辅助情绪表示之后, 分别与主任务中的单模态独立特征表示相结合, 得到主任务中单模态情绪信息的完整表示。最后, 通过自注意力机制捕捉每个任务上的多模态交互特征, 得到最终的多模态情绪表示和情感表示。实验结果表明, 本文方法在多模态情感分析数据集上可以通过情感辅助信息大幅度地提升情绪分类任务的性能, 同时情感分类任务的性能也得到一定程度的提升。     

基于语音信号与心电信号的多模态情感识别

通过采集与分析语音信号和心电信号,研究了相应的情感特征与融合算法.首先,通过噪声刺激和观看影视片段的方式分别诱发烦躁情感和喜悦情感,并采集了相应情感状态下的语音信号和心电信号.然后,提取韵律、音质特征和心率变异性特征分别作为语音信号和心电信号的情感特征.最后,利用加权融合和特征空间变换的方法分别对判决层和特征层进行融合,并比较了这2种融合算法在语音信号与心电信号融合情感识别中的性能.实验结果表明:在相同测试条件下,基于心电信号和基于语音信号的单模态情感分类器获得的平均识别率分别为71%和80%;通过特征层融合,多模态分类器的识别率则达到90%以上;特征层融合算法的平均识别率高于判决层融合算法.因此,依据语音信号、心电信号等不同来源的情感特征可以构建出可靠的情感识别系统.     

语音情感特征提取和识别的研究与实现

针对语音情感识别的实时性与可用性问题,提出了利用汉明窗提取语音信号中情感特征的方法,从说话者中采集带有快乐、愤怒、惊奇、悲伤情感的语句,并从语句中提取8个情感特征参数．同时提出采用贡献分析法确定情感特征参数的权值,利用加权欧氏距离模板匹配识别语音情感．实验表明该方法识别率有提高,更适合实时识别的应用。     

SVM与组合矩在工件识别中的应用研究

针对工件识别问题,提出了一种应用支持向量机(Support Vector Machine,SVM)与组合矩对工件进行识别的方法;通过对提取图像的Hu不变矩进行处理,形成利用组合矩进行工件识别的新方法;改进后的算法降低了特征维数,缩减了识别时间,提高了识别准确率;结合试验比较了两种方法的分类效果,其中提取Hu不变矩作为特征的识别率为82.3%,而采用组合矩作为特征的识别率高达94.1%,高于Hu不变矩作为特征的识别率.     

基于脉冲耦合神经网络的孤立词语音识别研究

根据语音信号的“可视”特点,提出了一种基于简化脉冲耦合神经网络（PCNN）实现孤立词语音识别的方法。将语谱图输入到PCNN中得到相应的时间序列标识,作为语音信号的特征参数,然后通过模板匹配法和概率神经网络（PNN）相结合的方法实现语音分类识别。仿真结果表明,该方法能够达到较高的语音识别率。