基于混沌特性的情感语音特征提取

根据语音发声过程中的混沌特性,应用非线性动力学模型分析情感语音信号,提取了该模型下情感语音信号的非线性特征以及常用的声学特征(韵律特征和MFCC).设计情感语音识别对比实验,将非线性特征与不同声学特征融合并验证了该组合下的情感识别性能,研究了语音信号混沌特性对情感语音识别性能的影响.实验选用德国柏林语音库4种情感(高兴、愤怒、悲伤和中性)作为语料来源,支持向量机网络用于情感识别.结果表明,非线性特征有效表征了情感语音信号的混沌特性,与传统声学特征结合后,情感语音识别性能得到了显著提高.     

基于目标逼近特征和双向联想贮存器的情感语音基频转换

提出了一种用于情感语音合成的基频转换方法.该方法使用定量目标逼近(q TA)特征作为语音音节层的基频描述,并用高斯双向联想贮存器(GBAM)实现中性合成语音音节层q TA参数向目标情感语音音节层q TA参数的转换.在模型训练阶段,首先基于中性语料库和统计参数语音合成方法构建中性语音合成系统;然后利用少量情感录音数据,将从情感语音文本对应的中性合成语音中提取的q TA参数作为源数据,将情感录音中提取的q TA参数作为目标数据,进行GBAM转换模型的训练.在情感语音合成阶段,利用训练得到的GABM模型,实现中性合成语音基频特征向目标情感的转换.实验结果表明,该方法在目标情感数据较少的情况下可以取得比最大似然线性回归(MLLR)模型自适应方法更好的情感表现力.     

基于情感基音模板的情感语音合成

为了合成能够模拟表达说话人的情感状态的语音,提出一种基于情感基音模板的情感语音合成方法.该方法分别建立高兴、愤怒、悲伤和中立4种不同情感下的韵母基音模板库,建立4种声调模型,统计分析语音库中情感语音的韵律特征参数,运用基音同步叠加算法(PSOLA)合成含情感色彩的语音.实验以音节为合成单位,根据情感特征参数的统计分析结果调节合成语音的韵律特征,合成各种情感的语音.仿真实验结果表明:用情感基音模板合成的目标情感语音具有目标情感的音质色彩,再通过韵律参数调节,可合成较理想的情感语音.该方法可用于增加语音合成系统的智能化,提高人机交互的能力.     

不同情感语音韵律参数间的曲线回归分析

韵律特征分析是情感语音研究的重要组成部分。为了更好地预测高兴(积极)以及生气(消极)情感的韵律特征参数和平静(中性)情感参数间的非线性关系,利用曲线回归分析方法对韵律特征参数的统计特性进行了深入研究。并将语音库中的情感语句分为句首、句中、句末三部分分别做研究,将结果与整体间做比较。实验结果表明各韵律参数之间的非线性关系大致相似,为接下来的情感语音研究提供了良好的基础。     

面向情感转换的层次化韵律分析与建模

语音的韵律特征对情感表达起着非常重要的作用。在基于韵律修改的情感语音转换系统中,为了更为准确地预测情感语音的韵律特征,该文提出一种层次化的韵律分析与建模方法,针对愤怒、高兴、悲伤、惊奇这4种情感对语音按照韵律结构的层级进行分析,探讨不同层次之间情感韵律特征变化规律的关联性和叠加性,并使用高层音段信息作为输入对低层信息进行决策树建模。实验结果表明,本方法对情感韵律特征的预测均方误差比局部分音段以及传统的决策树韵律模型低大约5%。     

基于语音信号与心电信号的多模态情感识别

通过采集与分析语音信号和心电信号,研究了相应的情感特征与融合算法.首先,通过噪声刺激和观看影视片段的方式分别诱发烦躁情感和喜悦情感,并采集了相应情感状态下的语音信号和心电信号.然后,提取韵律、音质特征和心率变异性特征分别作为语音信号和心电信号的情感特征.最后,利用加权融合和特征空间变换的方法分别对判决层和特征层进行融合,并比较了这2种融合算法在语音信号与心电信号融合情感识别中的性能.实验结果表明:在相同测试条件下,基于心电信号和基于语音信号的单模态情感分类器获得的平均识别率分别为71%和80%;通过特征层融合,多模态分类器的识别率则达到90%以上;特征层融合算法的平均识别率高于判决层融合算法.因此,依据语音信号、心电信号等不同来源的情感特征可以构建出可靠的情感识别系统.     

基于PAD模型的级联分类情感语音识别

针对声学特征(韵律特征和MFCC特征)对情感语音的分类识别性能不理想的问题,提出了一种将声学特征与情感语音PAD数据相结合的级联分类方法用于情感语音识别。首先提取情感语音的声学特征,对特征分别单独识别与组合识别,对比建立最优特征集合。然后将声学特征组合与情感语音PAD数据相结合,分两步逐级地判断出输入语音所属的情感类型。该方法在TYUT2.0情感语音数据库上得到了较好的结果,情感分类识别率相较于传统声学特征的分类识别率提高了15.4%.     

基于正弦谐波模型的语音变换算法及实现

介绍了语音变换的相关技术,分析了利用正弦谐波模型实现语音变换的算法及流程。利用正弦谐波模型对语音进行建模和分解,提取语音的基音频率,利用高斯建模和变换实现语音韵律特征的变换;提取出正弦谐波幅度的后10阶系数,作为语音的频谱特征参数,利用矢量量化和码书映射的方法实现语音频谱特征的变换。提出了一种逐词对应的训练参数对齐方法,给出了具体实现的算法流程。对录制的2段语音利用该算法进行了仿真实验,利用ABX测试对实验结果进行了评估。测试结果显示,该算法得到的变换语音在听觉上有89．3％的概率更接近目标说话人语音。     

面向语音情感识别的语谱图特征提取算法

为研究信号相关性在语音情感识别中的作用,提出了一种面向语音情感识别的语谱图特征提取算法.首先,对语谱图进行处理,得到归一化后的语谱图灰度图像;然后,计算不同尺度、不同方向的Gabor图谱,并采用局部二值模式提取Gabor图谱的纹理特征;最后,将不同尺度、不同方向Gabor图谱提取到的局部二值模式特征进行级联,作为一种新的语音情感特征进行情感识别.柏林库(EMO-DB)及FAU Ai Bo库上的实验结果表明:与已有的韵律、频域、音质特征相比,所提特征的识别率提升3%以上;与声学特征融合后,所提特征的识别率较早期声学特征至少提高5%.因此,利用这种新的语音情感特征可以有效识别不同种类的情感语音.     

跨语言语料库的语音情感识别对比研究

情感感知具有普遍性和差异性,不同语言表达的情感有不同的情感特征,但也存在相似的情感特征.选择IEMOCAP英语情感数据库、CASIA汉语情感数据库、EMO-BD德语情感数据库,以中性、生气、快乐、悲伤四种情感为研究对象,了解在单语言语料库、混合语言语料库、跨语料库的语音情感识别情况.使用支持向量机(Support Vector Machine,SVM)、卷积神经网络(Convolutional Neural Networks,CNN)和长短时记忆网络(Long-Short Term Memory,LSTM)为分类器进行训练,对情感进行识别.从实验结果可以看出,不同语料库的语音情感的识别模式存在相似性,也存在相似的语言情感特性.还发现英文的中性情感和中文的悲伤情感具有良好的模型泛化性,英文的悲伤情感和中文的中性情感有较好的适应性.