人机语音交互中的情感语音处理

选取三种典型的情感状态,通过对在不同情感状态下大量取样的语音样本的基频、能量、时长及相关韵律特征参数作统计分析,基于统计结果使用PCA方法进行情感状态识别实验,识别准确率达91.67%.结合情感识别结果,使用DTW算法通过模式匹配进行小词汇表的语音识别,提高语音识别正确率;给出输出语音韵律特征参数的调整方法,使人机语音交互得到更加人性化的改进.     

基于重要性评分的多级随机森林网络语音情感识别

在源数据不充分或不平衡的情况下,深度学习方法在小样本集上难以取得令人满意的语音情感识别效果。因此,本研究构造了一种三层随机森林情感识别网络,在每一层都单独剥离易于区分的情感类别,并通过重要性评分方法,为每一层网络都构造一个识别特定类别的特征集,该特征集的每一个特征都依据贡献度大小得到赋权,以确保对分类贡献越多的特征因子对结果影响越大。本研究构建的多级情感识别网络,在小样本集语音情感识别的整体识别率上,较单层随机森林网络和支持向量机分别提高了5%和7%,较流行的深度学习方法卷积神经网络提高了12%。实验结果和理论分析表明:基于重要性评分的多级随机森林网络相较于其他方法,在源数据样本量较少和部分不平衡的情况下,有更高的识别准确率,具有语音情感识别方向的实际应用意义。     

基于深度神经网络的语音情感识别方法

语音情感识别是人机交互的重要方向,可广泛应用于人机交互和呼叫中心等领域,有很大应用价值。近年来,深度神经网络在识别情感方面取得了巨大成功,但现有方法对高层语音特征提取会丢失大量原始信息并且识别准确率不高,本文提出了一种新的语音情感识别方法,由卷积神经网络从原始信号中提取特征,并在其堆叠一个2层长短时记忆神经网络,最终识别准确率达到91.74%,本文方法显著优于基于EMO-DB数据集等其他方法。     

语音情感识别的关键技术

语音信号中的情感信息是一种很重要的信息资源,仅靠单纯的数学模型搭建和计算来进行语音情感识别就显现出不足。情感是由外部刺激引发人的生理、心理变化,从而表现出来的一种对人或事物的感知状态,因此,将认知心理学与语音信号处理相结合有益于更好地处理情感语音。首先介绍了语音情感与人类认知的关联性,总结了该领域的最新进展和研究成果,主要包括情感数据库的建立、情感特征的提取以及情感识别网络等。其次介绍了基于认知心理学构建的模糊认知图网络在情感语音识别中的应用。接着,探讨了人脑对情感语音的认知机理,并试图把事件相关电位融合到语音情感识别中,从而提高情感语音识别的准确率,为今后情感语音识别与认知心理学交叉融合发展提出了构思与展望。     

一种基于特征差异度和SVM投票机制的数字音乐语音情感识别算法

针对数字音乐语音情感识别问题,提出一种基于特征差异度和SVM投票机制进行识别的方法.该方法不仅降低了特征向量的维度,而且保留了足够的能够描述数字音乐语音不同情感之间差异的特征.同时,该方法利用多个二分SVM分类器进行投票,减少了每个分类器的权重,从而降低了误差.实验结果表明,该方法能够有效地提高识别准确率.     

基于MF-DFA的语音情感识别

针对语音情感线性参数在刻画不同情感类型特征上的不足，将多重分形理论引人语音情感识别中．通过分析不同语音情感状态下的多重分形特征，提取多重分形谱参数和广义hurst指数作为新的语音情感特征参数，并结合传统语音声学特征，采用支持向量机SVM对其进行语音情感识别．试验结果表明，该方法可使系统的准确率和稳定性得到有效提高．非线...     

基于特征融合的图像情感语义识别研究

针对图像情感语义识别中特征提取的问题,提出了一种加权值的图像特征融合算法,并应用于图像情感语义识别。该方法根据不同特征对情感语义的影响不同,在提取出颜色、纹理和形状特征后通过加权融合为新的特征输入量,并用SVM来实现情感语义的识别。实验结果表明,这种算法比单独使用某种图像特征有更高的准确率。     

基于PAD模型的级联分类情感语音识别

针对声学特征(韵律特征和MFCC特征)对情感语音的分类识别性能不理想的问题,提出了一种将声学特征与情感语音PAD数据相结合的级联分类方法用于情感语音识别。首先提取情感语音的声学特征,对特征分别单独识别与组合识别,对比建立最优特征集合。然后将声学特征组合与情感语音PAD数据相结合,分两步逐级地判断出输入语音所属的情感类型。该方法在TYUT2.0情感语音数据库上得到了较好的结果,情感分类识别率相较于传统声学特征的分类识别率提高了15.4%.     

情感语音数据库优化及PAD情感模型量化标注

情感语音数据库是情感语音识别研究的基础,建立包含认知心理因素在内的维度情感语音数据库对提高识别率、改善人机交互能力具有重要意义。笔者首先对前期建立的摘引型TYUT2.0数据库进行语音听辨筛选,根据认同率阈值进行数据库优化,得到的情感语音数据库包含四种情感的语句237句,其中"悲伤"62句,"愤怒"58句,"高兴"57句,"惊奇"60句。然后利用PAD三维情感模型对该数据库语音进行标注,得到维度情感语音数据库。该数据库中的每句语音都有对应的听辨认同率以及PAD值。对每句语音的PAD值进行统计分析,证明了该维度情感语音数据库的有效性,为今后研究维度情感识别奠定了基础。     

语音情感特征提取和识别的研究与实现

针对语音情感识别的实时性与可用性问题,提出了利用汉明窗提取语音信号中情感特征的方法,从说话者中采集带有快乐、愤怒、惊奇、悲伤情感的语句,并从语句中提取8个情感特征参数．同时提出采用贡献分析法确定情感特征参数的权值,利用加权欧氏距离模板匹配识别语音情感．实验表明该方法识别率有提高,更适合实时识别的应用。     

基于改进线性预测基音频率的语音情感识别系统

针对目前常见的语音特征提取方法应用于真实环境中,所提取的语音特征包含有噪声干扰的问题,进而导致情感识别时出现的分类模糊化情况,为此提出一种新的语音特征提取方法,即线性预测基音频率特征提取方法。它主要是基于线性预测系数来构建模型,利用构建的模型消除声道响应信息以及抑制噪声干扰。由于此方法对于分类模糊化问题没有得到较好改善,利用模型相同的LPCMCC(LPC Mel cepstral coefficients,LPC美尔倒频谱系数)来对线性预测基音频率进行改进,并设计基于线性预测基音频率、其改进特征、LPCMCC与SVM(support vector machines,支持向量机)的语音情感识别对比实验。对比实验表明,此改进特征提取方法应用在情感识别领域的平均精度最高为84%,比线性预测基音频率和LPCMCC要高出22%、14%。为了测试此改进特征在真实环境中的分类效果,在此改进特征的基础上设计了一种基于MATLAB GUI技术的语音情感识别系统。实验结果表明这种新的改进特征能有效改善情感识别时出现的分类模糊化情况,基于此改进特征的语音情感系统能广泛地识别出噪声干扰下的说话人情感。     

基于表情及姿态融合的情绪识别

情绪识别指在使计算机拥有能够感知和分析人类情绪和意图的能力,从而在娱乐、教育、医疗和公共安全等领域发挥作用.与直观的面部表情相比,身体姿态在情绪识别方面的作用总是被低估.针对公共空间个体人脸分辨率较低、表情识别精度不高的问题,提出了融合面部表情和身体姿态的情绪识别方法.首先,对视频数据进行预处理获得表情通道和姿态通道的输入序列;然后,使用深度学习的方法分别提取表情和姿态的情绪特征;最后,在决策层进行融合和分类.构建了基于视频的公共空间个体情绪数据集(SCU-FABE),在此基础上,结合姿态情绪识别数据增强,实现了公共空间个体情绪的有效识别.实验结果表明,表情和姿态情绪识别取得了94.698%和88.024%的平均识别率;融合情绪识别平均识别率为95.766%,有效融合了面部表情和身体姿态表达的情绪信息,在真实场景视频数据中具有良好的泛化能力和适用性.     

基于语音声学特征的情感信息识别

为提高情感语音识别的正确率,研究了声学参数的统计特征和时序特征在区分情感中的作用,并提出了一种将两者相融合的情感识别方法。在提取出基本的韵律参数和频谱参数后,首先利用PNN(probab ilistic neura l netw ork)和HMM(h idden m arkov m ode l)分别对声学参数的统计特征和时序特征进行处理。计算它们各自属于每类情感的概率,获得采用加法规则和乘法规则融合统计特征和时序特征的识别结果。实验结果表明:各组特征在区分情感方面的侧重不尽相同,通过特征融合,平均识别正确率相较单独采用统计特征或时序特征均有提高,在最好情况下达到了92.9%。这说明了该方法的有效性。     

EMD结合Teager能量用于语音情感识别

在语音情感识别系统中,语音情感特征的提取尤为重要,本文在前期已有对EMD分解研究的基础上,将EMD分解与Teager能量算子相结合,用于语音情感识别。文中首先利用EMD分解得到一组IMF分量,再对各阶IMF分量提取Teager能量,然后通过对不同语种的不同情感语音的Teager能量在Mel频率的分析,提出了一种新的情感特征：基于EMD分解的Mel频率的Teager能量谱系数(ETMC),最后利用SVM分类方法对不同语种的不同情感进行识别,实验结果表明,该方法有很好的识别结果。     

基于不同语音情绪的三维人脸动画控制参数预测

为提高三维人脸动画的控制精度,设计一种基于不同语音情绪的映射网络,预测三维人脸控制参数.对语音信号进行处理以生成语谱图;针对频域特征提取子网络和时频特征提取子网络,以卷积神经网络为架构融入通道注意力机制,强调语音情绪的特征提取能力;采用多轮交替运算的Mogrifier LSTM替换BiLSTM,强化前后语音情绪与人脸控制参数的对应关系,提高时序关联性.不同方法试验结果表明,本文设计方法能够实现不同情绪、不同人的语音情绪识别和三维人脸控制参数预测,相比于其他4种方法,在数据集的平均误差分别降低了23.9%、40.6%、13.4%和6.0%,在8种不同情绪中,本文方法的平均误差比融合CNN与BiLSTM方法降低了5.4%,在保证较高的时间平滑和控制参数预测精度的同时,进一步加强了三维人脸动画的流畅度和真实度.     

混合蛙跳算法神经网络及其在语音情感识别中的应用

该文将混合蛙跳算法(SELA)优化方法应用于人工神经网络训练中,对6种语音情感进行了语音情感特征的分析与识别。研究了谐波噪声比特征随情感类别的变化特性。利用混合蛙跳算法训练随机产生的初始数据优化神经网络的连接权值,快速实现了网络收敛。实验比较了BP神经网络、RBF神经网络和SFLA神经网络的语音情感识别性能。结果表明,SFLA神经网络的平均识别率分别高于BP神经网络和RBF神经网络4.7%和4.3%。     

基于REMOS的远距离语音识别模型补偿方法

封闭环境中远距离语音识别会受到混响效果的影响,从而降低语音识别率。混响建模(reverberation modeling for speech recognition,REMOS)是一种在模型域进行混响补偿的新方法,该方法在已知声源位置的情况下能有效提升远距离语音识别精度。但在实际应用中,往往难以预测声源的位置。利用最大后验概率的原理,基于对房间不同区域进行有区别补偿的思想,在按帧的隐马尔可夫模型 (hidden Markov model,HMM)补偿的基础上,提出一种在封闭环境中新的模型补偿方法。该方法利用K均值聚类K-means算法对房间冲击响应 (room impulse response,RIR)的优化集进行聚类,对所属相同类的混响模型进行合并处理,再把合并后的混响模型载入维特比算法中,对清晰语音的HMM模型进行按帧补偿。最后采用后验概率方法选择最佳补偿,使得模型域的混响补偿能最接近精确补偿。实验证明,该方法能进一步提升远距离语音识别的精度。     

基于韵律语段的语音情感识别方法研究

语音情感识别领域提取情感特征时,普遍采用"不同情感类别,相同时长基准"的做法,忽略了人耳敏感的韵律段长会依情感不同而有所差异的现象。本文首先通过情感识别实验确定各类情感的最佳识别段长,作为人耳敏感韵律段长。并构造了基于韵律段特征的多重Elman网络模型,以期对不同情感基于特定敏感韵律段长进行识别和对多分类器识别结果进行有效融合,实现了对人耳情感辨识规律的模拟。结果表明,使用敏感韵律段特征的系统识别率达到67.9%,与使用定长语段特征相比有了很大的提高。