基于混沌特性的情感语音特征提取

根据语音发声过程中的混沌特性,应用非线性动力学模型分析情感语音信号,提取了该模型下情感语音信号的非线性特征以及常用的声学特征(韵律特征和MFCC).设计情感语音识别对比实验,将非线性特征与不同声学特征融合并验证了该组合下的情感识别性能,研究了语音信号混沌特性对情感语音识别性能的影响.实验选用德国柏林语音库4种情感(高兴、愤怒、悲伤和中性)作为语料来源,支持向量机网络用于情感识别.结果表明,非线性特征有效表征了情感语音信号的混沌特性,与传统声学特征结合后,情感语音识别性能得到了显著提高.     

基于特征迁移学习方法的跨库语音情感识别

在实际语音情感识别系统中,训练语音和测试语音往往来自不同的语料库,识别率下降显著。针对这一问题,该文提出一种有效的基于特征迁移学习的跨库语音情感识别方法。引入最大均值差异(maximum mean discrepancy,MMD)来描述不同数据库情感特征分布之间的相似度,并通过最大均值差异嵌入(maximum mean discrepancy embedding,MMDE)算法及特征降维算法来寻找二者之间的邻近低维特征空间,并在此低维空间中训练得到情感分类器用于情感识别。同时为了更好地保证情感信息的类别区分度,进一步引入半监督判别分析(semi-supervised discriminant analysis,SDA)方法用于特征降维。最后在2个经典语音情感数据库上对提出的方法进行实验评价,实验结果表明:提出的方法可以有效提高跨库条件下的语音情感识别率。     

基于深度学习的自然与表演语音情感识别

语音是情感表达的重要途径,自然状态和表演状态下的语音所蕴含的情感信息并不完全相同.为了探索自然状态和表演状态下语音情感识别的差异,采用深度学习算法分析了IEMOCAP公用数据集,对自然状态和表演状态下的中性、愤怒、开心和悲伤等四类情绪语音数据进行实验:首先提取语音数据的声学特征(对比了emobase2010特征集和eGeMAPs特征集),然后利用卷积神经网络(Convolutional Neural Networks,CNN)对自然与表演状态下的语音情感进行识别,比较了两种状态下的情感识别率,再利用混淆矩阵分析两种状态下不同情绪之间的误分率和相似性.实验结果显示,自然状态下的情感识别率明显高于表演状态下,还发现愤怒和悲伤在两种状态下的误分率有明显区别.该现象对理解情绪的表达机制有启发意义.     

情感语音变化规律的特征分析

为了探索情感语音相对于中性语音的变化规律,该文对实验室采集的中文情感语音库MASC@CCNT进行初步实验分析.首先对语音库进行听辨分析,甄选感情明显的语料,再针对含有兴高采烈、愤怒、惊慌、悲伤等4种情感的语音信号,分析它们的时间构造、能量构造、基频构造和共振蜂构造的特征,并通过和不带感情的平静语音信号特征进行比较,得出了不同情感信号特征的分布变化规律.结果表明:时间构造、频谱、能量、基音频率和元音共振峰这5种特征在分辨情感语音上有着明显的作用,而悲伤情感最易分辨;情感语音的变化没有统一的规律,因说话人的性别而异,甚至因人而异.     

基于语料库的语音情感识别的性别差异研究

性别是语音情感识别中重要的影响因素之一.用机器学习方法和情感语音数据库对语音情感识别的性别差异进行探究,并进一步从声学特征的角度分析了性别影响因素.在两个英文情感数据集以及它们的融合数据集上进行实验,分别用三种分类器对男女语音情感进行识别,并用注意力机制挑选出在男女语音情感识别中的重要特征并比较其差异.结果表明,女性语音的情感识别率高于男性.梅尔倒谱系数、振幅微扰、频谱斜率等频谱特征在男女语音的情感识别中的重要性差异较大.     

基于目标逼近特征和双向联想贮存器的情感语音基频转换

提出了一种用于情感语音合成的基频转换方法.该方法使用定量目标逼近(q TA)特征作为语音音节层的基频描述,并用高斯双向联想贮存器(GBAM)实现中性合成语音音节层q TA参数向目标情感语音音节层q TA参数的转换.在模型训练阶段,首先基于中性语料库和统计参数语音合成方法构建中性语音合成系统;然后利用少量情感录音数据,将从情感语音文本对应的中性合成语音中提取的q TA参数作为源数据,将情感录音中提取的q TA参数作为目标数据,进行GBAM转换模型的训练.在情感语音合成阶段,利用训练得到的GABM模型,实现中性合成语音基频特征向目标情感的转换.实验结果表明,该方法在目标情感数据较少的情况下可以取得比最大似然线性回归(MLLR)模型自适应方法更好的情感表现力.     

情感语音数据库优化及PAD情感模型量化标注

情感语音数据库是情感语音识别研究的基础,建立包含认知心理因素在内的维度情感语音数据库对提高识别率、改善人机交互能力具有重要意义。笔者首先对前期建立的摘引型TYUT2.0数据库进行语音听辨筛选,根据认同率阈值进行数据库优化,得到的情感语音数据库包含四种情感的语句237句,其中"悲伤"62句,"愤怒"58句,"高兴"57句,"惊奇"60句。然后利用PAD三维情感模型对该数据库语音进行标注,得到维度情感语音数据库。该数据库中的每句语音都有对应的听辨认同率以及PAD值。对每句语音的PAD值进行统计分析,证明了该维度情感语音数据库的有效性,为今后研究维度情感识别奠定了基础。     

面向情感变化检测的汉语情感语音数据库

该文介绍了面向普通话情感变化检测的情感语音数据库CESD。该数据库的语音以对话形式录制,包括男女声情感对话语音1 200段。以生气、着急、中性、愉悦、高兴为基本情感,共包含20种情感变化模式。除语音文件外,还包含带有静音段/有效语音段、情感类别、情感变化段、情感质量等内容的标注文件。为了使更多的研究人员可以使用该数据库,利用P raat工具提取出67维常用声学特征,作为特征文件一同存储在该数据库中。对该数据库进行主观评价和情感变化检测的结果表明:语音情感状态自然、情感变化真实,能够满足语音情感识别和语音情感变化检测研究的双重需求。     

基于CGRU模型的语音情感识别研究与实现

语音情感识别是人机交互、情感计算中重要的研究方向.目前普遍使用深度神经网络用于语音情感特征的提取，但使用哪种神经网络模型、如何缓解模型过拟合问题还需进一步研究.针对这些问题，提出了一种结合一维卷积(CNN)以及门控循环单元(GRU)的CGRU模型，从原始语音信号的MFCC特征中提取语音的低阶以及高阶情感特征，并通过随机森林对其进行特征选择，在三种公用的情感语料库EMODB，SAVEE，RAVDESS上分别取得了79%，69%以及75%的识别精度.通过添加高斯噪声及改变速度等方法来增加样本量实现数据扩充，进一步提高了识别精度.通过在线识别系统验证了模型在实际环境中的可用性.     

基于PAD模型的级联分类情感语音识别

针对声学特征(韵律特征和MFCC特征)对情感语音的分类识别性能不理想的问题,提出了一种将声学特征与情感语音PAD数据相结合的级联分类方法用于情感语音识别。首先提取情感语音的声学特征,对特征分别单独识别与组合识别,对比建立最优特征集合。然后将声学特征组合与情感语音PAD数据相结合,分两步逐级地判断出输入语音所属的情感类型。该方法在TYUT2.0情感语音数据库上得到了较好的结果,情感分类识别率相较于传统声学特征的分类识别率提高了15.4%.     

基于核典型相关分析和支持向量机的语音情感识别模型

为了获得更好的语音情感识别的实时性和正确率,该文提出了基于核典型相关分析和支持向量机的语音情感识别模型。首先提取多种情感识别的特征,采用核典型相关分析对特征进行选择,将选择的特征作为支持向量机的输入向量进行训练,建立情感识别的分类器,最后采用语音情感识别的标准数据库进行验证性和对比实验。实验结果表明,该模型能够准确识别不同类型的语音情感,获得较高的语音情感识别率。核典型相关分析减少了分类器的输入向量数,加快了情感识别速度,获得了理想的实时性。该文语音情感识别结果优于对比模型,具有更高的实际应用价值。     

基于粗神经网络的语音情感识别

语音情感识别是从语音信号中提取一些有效的声学特征,然后利用智能计算或者识别的方法对话者的情感状态进行识别。介绍了国内外在该领域中关于语音情感数据库、特征提取、识别方法的研究现状。基于对该领域现状的了解,发现特征提取对识别率有着非常大的影响。录制了1050句语音,每句语音提取了30个特征,从而形成了一个1050×30的数据库。提出了用粗糙集理论中的信息一致性对数据库中的30个特征进行化简,最后得到了12个特征。用神经网络中的BP网络对话者的情感状态进行识别,最高识别率达到了84%。从实验结果发现不同的情感用不同的方法识别结果更好。     

基于约束式双通道模型的语音情感识别

针对语音情感识别过程中特征不充分的问题,提出了约束式双通道模型,从全局和局部两方面充分挖掘特征所包含的情感信息,从而提高情感识别率.通道1是针对语音特征的全局信息,通过改进门控循环单元,构建了BAGRU(bidirectional attention gate recurrent unit)模型,提高了语音特征之间的相关性;通道2是针对语音特征的局部信息,卷积神经网络与对抗训练结合,避免了局部信息相互干扰.通过双通道融合模型,根据通道特征重要程度生成不同权重,同时引入正交约束,解决了融合时产生特征冗余的问题.研究结果表明,在IEMOCAP和EMO-DB情感语料库上分别达到了62.83%和82.19%的识别精度,表现出了良好性能.     

基于子空间学习和特征选择融合的语音情感识别

传统语音情感识别主要基于单一情感数据库进行训练与测试。而实际情况中,训练语句和测试语句往往来源于不同的数据库,识别率较低。为此,该文提出一种基于子空间学习和特征选择融合的语音情感识别方法。通过采用回归方法来学习特征的子空间表示;同时,引入l2,1-范数用于特征的选择和最大均值差异(maximum mean discrepancy,MMD)来减少不同情感数据库间的特征差异,进行联合优化求解从而提取较为鲁棒的情感特征表示。在EMO-DB和eNTERFACE这2个公开情感数据库上进行实验评价,结果表明:该方法在跨库条件下具有较好的性能,比其他经典的迁移学习方法更加鲁棒高效。     

面向语音情感识别的语谱图特征提取算法

为研究信号相关性在语音情感识别中的作用,提出了一种面向语音情感识别的语谱图特征提取算法.首先,对语谱图进行处理,得到归一化后的语谱图灰度图像;然后,计算不同尺度、不同方向的Gabor图谱,并采用局部二值模式提取Gabor图谱的纹理特征;最后,将不同尺度、不同方向Gabor图谱提取到的局部二值模式特征进行级联,作为一种新的语音情感特征进行情感识别.柏林库(EMO-DB)及FAU Ai Bo库上的实验结果表明:与已有的韵律、频域、音质特征相比,所提特征的识别率提升3%以上;与声学特征融合后,所提特征的识别率较早期声学特征至少提高5%.因此,利用这种新的语音情感特征可以有效识别不同种类的情感语音.     

语音情感识别中面向统计特征的Rxk集成模型

为提高语音情感识别的准确度,增强人机交互的和谐性,提出一种基于线性判别分析法(LDA)降维的Rxk语音情感识别模型.首先,通过Fisher准则计算投影基向量,对openSMILE提取的统计特征集作线性降维;其次,构建以随机森林、极端梯度提升(XGBoost)和k近邻为个体学习器的集成分类模型;最后,在为3个学习器分配权重的基础上,选取预测概率总和最大的标签作为分类结果.实验结果显示,该模型在EMODB数据库上对7种情感的识别率达到97.20%,对CASIA中文数据库的6种情感识别精度最高达到96.25%.可以看出,提出的模型对于不同的数据库都获得了较高的识别率,具有较好的鲁棒性.     

基于元学习的语音识别探究

目前,高准确率的语音识别需要在大规模语料库上进行学习才能获得,然而大规模语料库的构建成本较高,某些语言很难采集到充足的语料,因此,基于小规模语料库的语音识别已成为目前挑战性的研究问题.元学习是模仿人类利用已有经验快速学习新知识的机器学习方法,在机器视觉单样本学习任务中表现出明显的优势,已成为新的机器学习研究热点.将元学习应用于单样本语音识别是解决基于小规模语料库语音识别这一挑战性问题的有效途径,在TIMIT和佤语数据库上,开展了基于Reptile元学习算法的单样本孤立词语音识别研究.实验结果表明,该算法能有效地提升模型收敛速度与泛化精度,从而提升了模型的学习能力,说明元学习方法有助于解决小规模语料语音识别这一挑战性问题.     

基于SVR的情感语音变换

提出了一种新的基于支持向量回归(SVR)的情感语音的变换方法.通过提取普通话10种情感语音的韵律特征,对比分析了中性语音和情感语音之间的韵律特征差异,利用SVR建立了基频、时长、能量、停顿等韵律特征参数的预测模型,并利用Straight算法实现了由中性语音向情感语音的转换.利用这种方法变换出的10种情感语音,其情感主观平均(EMOS)得分为3.4.     

语音情感特征提取和识别的研究与实现

针对语音情感识别的实时性与可用性问题,提出了利用汉明窗提取语音信号中情感特征的方法,从说话者中采集带有快乐、愤怒、惊奇、悲伤情感的语句,并从语句中提取8个情感特征参数．同时提出采用贡献分析法确定情感特征参数的权值,利用加权欧氏距离模板匹配识别语音情感．实验表明该方法识别率有提高,更适合实时识别的应用。     

蒙古语电话语音语料库的建立

蒙古语电话语音的研究刚刚起步,建立规模较大的、通用的电话语音语料库成为了重要的基础工作.本次建立的蒙古语电话语音语料库是以自然口语的对话形式进行录制,并且体现了不同电话信道、不同方言、不同年龄段说话人的特点.本文详细讨论了语料库的录制整理、语音切分和语音标注等几个问题.本次建立的语料库为蒙古语电话语音的语音识别、语音检索、语音监控和说话人识别等技术的研究提供了真实的实验数据.