基于短时和长时特征的语音情感识别研究

基于语音的自动人类情感识别是近年来新兴的研究课题,它在人机通信中有广阔的应用前景。分别利用语音的短时和长时特征识别说话者的五种情感状态,即生气、高兴、悲伤、惊奇和一种无情感状态。提出了一种基于基音频率、子带频谱能量与共振峰频率的短时特征矢量和一种反映能量频谱分布及动态的长时特征参数,分别利用隐马尔可夫模型和支持矢量机两种方法进行识别。试验用的情感语音包括一个普通话情感语音库和一个丹麦语情感语音库,试验结果表明使用两类特征参数都可以得到较高的识别率。     

基于混沌特性的情感语音特征提取

根据语音发声过程中的混沌特性,应用非线性动力学模型分析情感语音信号,提取了该模型下情感语音信号的非线性特征以及常用的声学特征(韵律特征和MFCC).设计情感语音识别对比实验,将非线性特征与不同声学特征融合并验证了该组合下的情感识别性能,研究了语音信号混沌特性对情感语音识别性能的影响.实验选用德国柏林语音库4种情感(高兴、愤怒、悲伤和中性)作为语料来源,支持向量机网络用于情感识别.结果表明,非线性特征有效表征了情感语音信号的混沌特性,与传统声学特征结合后,情感语音识别性能得到了显著提高.     

基于情感基音模板的情感语音合成

为了合成能够模拟表达说话人的情感状态的语音,提出一种基于情感基音模板的情感语音合成方法.该方法分别建立高兴、愤怒、悲伤和中立4种不同情感下的韵母基音模板库,建立4种声调模型,统计分析语音库中情感语音的韵律特征参数,运用基音同步叠加算法(PSOLA)合成含情感色彩的语音.实验以音节为合成单位,根据情感特征参数的统计分析结果调节合成语音的韵律特征,合成各种情感的语音.仿真实验结果表明:用情感基音模板合成的目标情感语音具有目标情感的音质色彩,再通过韵律参数调节,可合成较理想的情感语音.该方法可用于增加语音合成系统的智能化,提高人机交互的能力.     

面向情感转换的层次化韵律分析与建模

语音的韵律特征对情感表达起着非常重要的作用。在基于韵律修改的情感语音转换系统中,为了更为准确地预测情感语音的韵律特征,该文提出一种层次化的韵律分析与建模方法,针对愤怒、高兴、悲伤、惊奇这4种情感对语音按照韵律结构的层级进行分析,探讨不同层次之间情感韵律特征变化规律的关联性和叠加性,并使用高层音段信息作为输入对低层信息进行决策树建模。实验结果表明,本方法对情感韵律特征的预测均方误差比局部分音段以及传统的决策树韵律模型低大约5%。     

基于深度学习的自然与表演语音情感识别

语音是情感表达的重要途径,自然状态和表演状态下的语音所蕴含的情感信息并不完全相同.为了探索自然状态和表演状态下语音情感识别的差异,采用深度学习算法分析了IEMOCAP公用数据集,对自然状态和表演状态下的中性、愤怒、开心和悲伤等四类情绪语音数据进行实验:首先提取语音数据的声学特征(对比了emobase2010特征集和eGeMAPs特征集),然后利用卷积神经网络(Convolutional Neural Networks,CNN)对自然与表演状态下的语音情感进行识别,比较了两种状态下的情感识别率,再利用混淆矩阵分析两种状态下不同情绪之间的误分率和相似性.实验结果显示,自然状态下的情感识别率明显高于表演状态下,还发现愤怒和悲伤在两种状态下的误分率有明显区别.该现象对理解情绪的表达机制有启发意义.     

三种临夏花儿《白牡丹令》歌唱声学比较研究

通过采集甘肃临夏地区"花儿"《白牡丹令》的山野辽阔唱法、哭腔唱法以及超欢快唱法的语音信号,运用实验语音学分析方法,进行了信号的标注和参数的提取.文章通过基频参数、能量参数以及共振峰来分析临夏花儿的基本语音特征及韵律特征,得出三种唱法的整体基频是依次下降的.从能量方面相比,哭腔唱法和超欢快唱法两个能量分布较为相近,且与山野辽阔唱法能量分布相差较大,三种唱法的基频与能量成正相关.     

基于语音信号与心电信号的多模态情感识别

通过采集与分析语音信号和心电信号,研究了相应的情感特征与融合算法.首先,通过噪声刺激和观看影视片段的方式分别诱发烦躁情感和喜悦情感,并采集了相应情感状态下的语音信号和心电信号.然后,提取韵律、音质特征和心率变异性特征分别作为语音信号和心电信号的情感特征.最后,利用加权融合和特征空间变换的方法分别对判决层和特征层进行融合,并比较了这2种融合算法在语音信号与心电信号融合情感识别中的性能.实验结果表明:在相同测试条件下,基于心电信号和基于语音信号的单模态情感分类器获得的平均识别率分别为71%和80%;通过特征层融合,多模态分类器的识别率则达到90%以上;特征层融合算法的平均识别率高于判决层融合算法.因此,依据语音信号、心电信号等不同来源的情感特征可以构建出可靠的情感识别系统.     

基于支持向量机的非特定人孤立数字语音识别

为了识别一组非特定人、不连续的数字语音信号,本文提出了一种基于支持向量机理论的语音信号识别算法.具体过程主要包括训练过程和识别过程.其中训练过程为:先使用预先建立起来的语音库对选定的支持向量机进行训练,得到一组与该语音信号相关的支持向量;在识别过程中,首先获取被测语音信号,并根据MFFC理论提取特征向量,然后使用训练后的支持向量机进行识别.此外,还提出使用短时区域能量谱的方法对语音信号进行端点检测.结果表明,与目前流行的隐马尔可夫算法比较,本文算法具有识别速度快、准确率高等优点.     

基于特征参数的语音情感识别

语音情感识别是人工智能领域的研究热点.对不同的特征参数提取直接影响了语音情感识别的效果.通过提取基频、共振峰和Mel频率倒谱系数三个能够充分反映语音情感的特征,采取支持向量机的方法对样本进行分类学习.实验结果表明这三种特征参数能够有效识别语音情感.     

基于语音信号的情感识别技术研究

利用基音特征参数和共振峰特征参数提取方法,分析研究了不同情感状态的语音信号,并应用模板匹配方法对语音信号进行识别,其原理和实现方法通俗易懂,便于理解,为语音信号的情感识别技术提供一定的判断指标。