基于时空特征融合的语音情感识别

语音情感识别在人机交互中有重要的作用.在语音情感识别领域中,通常使用迁移学习解决语音情感数据难获取的问题,但忽略了语音数据的时序信息和空间信息.考虑到AlexNet网络中的参数来自图像数据集,不能完全表现语音数据的空间信息,并且不包含时序信息,因此提出通过膨胀卷积网络提取语音频谱图的空间信息,添加双向长短期记忆神经网络...     

基于增量方法的卷积语音情感识别网络

提出了一种新颖的语音情感识别结构,从声音文件中提取梅尔频率倒谱系数(Melscale frequency cepstral coefficients,MFCCs)、线性预测倒谱系数(linear predictive cepstral coefficients,LPCCs)、色度图、梅尔尺度频谱图、Tonnetz表示和频谱对比度特征,并将其作为一维卷积神经网络(convolutional neural network,CNN)的输入.构建由一维卷积层、Dropout层、批标准化层、权重池化层、全连接层和激活层组成的网络,并使用Ryerson情感说话/歌唱视听(Ryerson audio-visual database of emotional speech and song,RAVDESS)数据集、柏林语音数据集(Berlin emotional database,EMO-DB)、交互式情绪二元运动捕捉(interactive emotional dyadic motion capture,IEMOCAP)数据集这3个数据集的样本来识别情感.为提高分类精度,利用增量方法修改初始模型.为...     

基于粗神经网络的语音情感识别

语音情感识别是从语音信号中提取一些有效的声学特征,然后利用智能计算或者识别的方法对话者的情感状态进行识别。介绍了国内外在该领域中关于语音情感数据库、特征提取、识别方法的研究现状。基于对该领域现状的了解,发现特征提取对识别率有着非常大的影响。录制了1050句语音,每句语音提取了30个特征,从而形成了一个1050×30的数据库。提出了用粗糙集理论中的信息一致性对数据库中的30个特征进行化简,最后得到了12个特征。用神经网络中的BP网络对话者的情感状态进行识别,最高识别率达到了84%。从实验结果发现不同的情感用不同的方法识别结果更好。     

基于深度学习的自然与表演语音情感识别

语音是情感表达的重要途径,自然状态和表演状态下的语音所蕴含的情感信息并不完全相同.为了探索自然状态和表演状态下语音情感识别的差异,采用深度学习算法分析了IEMOCAP公用数据集,对自然状态和表演状态下的中性、愤怒、开心和悲伤等四类情绪语音数据进行实验:首先提取语音数据的声学特征(对比了emobase2010特征集和eGeMAPs特征集),然后利用卷积神经网络(Convolutional Neural Networks,CNN)对自然与表演状态下的语音情感进行识别,比较了两种状态下的情感识别率,再利用混淆矩阵分析两种状态下不同情绪之间的误分率和相似性.实验结果显示,自然状态下的情感识别率明显高于表演状态下,还发现愤怒和悲伤在两种状态下的误分率有明显区别.该现象对理解情绪的表达机制有启发意义.     

基于重要性评分的多级随机森林网络语音情感识别

在源数据不充分或不平衡的情况下,深度学习方法在小样本集上难以取得令人满意的语音情感识别效果。因此,本研究构造了一种三层随机森林情感识别网络,在每一层都单独剥离易于区分的情感类别,并通过重要性评分方法,为每一层网络都构造一个识别特定类别的特征集,该特征集的每一个特征都依据贡献度大小得到赋权,以确保对分类贡献越多的特征因子对结果影响越大。本研究构建的多级情感识别网络,在小样本集语音情感识别的整体识别率上,较单层随机森林网络和支持向量机分别提高了5%和7%,较流行的深度学习方法卷积神经网络提高了12%。实验结果和理论分析表明:基于重要性评分的多级随机森林网络相较于其他方法,在源数据样本量较少和部分不平衡的情况下,有更高的识别准确率,具有语音情感识别方向的实际应用意义。     

基于混沌特性的情感语音特征提取

根据语音发声过程中的混沌特性,应用非线性动力学模型分析情感语音信号,提取了该模型下情感语音信号的非线性特征以及常用的声学特征(韵律特征和MFCC).设计情感语音识别对比实验,将非线性特征与不同声学特征融合并验证了该组合下的情感识别性能,研究了语音信号混沌特性对情感语音识别性能的影响.实验选用德国柏林语音库4种情感(高兴、愤怒、悲伤和中性)作为语料来源,支持向量机网络用于情感识别.结果表明,非线性特征有效表征了情感语音信号的混沌特性,与传统声学特征结合后,情感语音识别性能得到了显著提高.     

基于改进KNN算法的语音情感识别系统

语音是人类表达情感的重要方式之一,语音中情感信息的识别已然成为人机交互不可或缺的组成部分,目前的语音情感识别技术存在一定的问题,如冗余大、识别率低等,故提出一种改进KNN识别算法。首先提取能够表征音频情感信息的特征参数,并通过优化算法对其进行筛选,然后对优化特征集运用所提算法进行识别验证。实验结果表明,笔者所提的识别算法能够用于基于语音信息的个体情绪识别状态。     

基于CGRU模型的语音情感识别研究与实现

语音情感识别是人机交互、情感计算中重要的研究方向.目前普遍使用深度神经网络用于语音情感特征的提取，但使用哪种神经网络模型、如何缓解模型过拟合问题还需进一步研究.针对这些问题，提出了一种结合一维卷积(CNN)以及门控循环单元(GRU)的CGRU模型，从原始语音信号的MFCC特征中提取语音的低阶以及高阶情感特征，并通过随机森林对其进行特征选择，在三种公用的情感语料库EMODB，SAVEE，RAVDESS上分别取得了79%，69%以及75%的识别精度.通过添加高斯噪声及改变速度等方法来增加样本量实现数据扩充，进一步提高了识别精度.通过在线识别系统验证了模型在实际环境中的可用性.     

基于改进最优邻接点算法的语音情感识别系统

语音是人类表达情感的重要方式之一,语音中情感信息的识别已然成为人机交互不可或缺的组成部分。目前的语音情感识别技术存在一定的问题,如冗余大、识别率低等,故提出一种改进k最优邻接点(k-nearest neighbor,KNN)识别算法。首先提取能够表征音频情感信息的特征参数,并通过优化算法对其进行筛选。然后对优化特征集运用所提算法进行识别验证。实验结果表明,所提的识别算法能够用于基于语音信号的个体情绪识别状态。     

情感语音变化规律的特征分析

为了探索情感语音相对于中性语音的变化规律,该文对实验室采集的中文情感语音库MASC@CCNT进行初步实验分析.首先对语音库进行听辨分析,甄选感情明显的语料,再针对含有兴高采烈、愤怒、惊慌、悲伤等4种情感的语音信号,分析它们的时间构造、能量构造、基频构造和共振蜂构造的特征,并通过和不带感情的平静语音信号特征进行比较,得出了不同情感信号特征的分布变化规律.结果表明:时间构造、频谱、能量、基音频率和元音共振峰这5种特征在分辨情感语音上有着明显的作用,而悲伤情感最易分辨;情感语音的变化没有统一的规律,因说话人的性别而异,甚至因人而异.     

基于深度神经网络的语音情感识别方法

语音情感识别是人机交互的重要方向,可广泛应用于人机交互和呼叫中心等领域,有很大应用价值。近年来,深度神经网络在识别情感方面取得了巨大成功,但现有方法对高层语音特征提取会丢失大量原始信息并且识别准确率不高,本文提出了一种新的语音情感识别方法,由卷积神经网络从原始信号中提取特征,并在其堆叠一个2层长短时记忆神经网络,最终识别准确率达到91.74%,本文方法显著优于基于EMO-DB数据集等其他方法。     

基于PAD模型的级联分类情感语音识别

针对声学特征(韵律特征和MFCC特征)对情感语音的分类识别性能不理想的问题,提出了一种将声学特征与情感语音PAD数据相结合的级联分类方法用于情感语音识别。首先提取情感语音的声学特征,对特征分别单独识别与组合识别,对比建立最优特征集合。然后将声学特征组合与情感语音PAD数据相结合,分两步逐级地判断出输入语音所属的情感类型。该方法在TYUT2.0情感语音数据库上得到了较好的结果,情感分类识别率相较于传统声学特征的分类识别率提高了15.4%.     

基于短时和长时特征的语音情感识别研究

基于语音的自动人类情感识别是近年来新兴的研究课题，它在人机通信中有广阔的应用前景。分别利用语音的短时和长时特征识别说话者的五种情感状态，即生气、高兴、悲伤、惊奇和一种无情感状态。提出了一种基于基音频率、子带频谱能量与共振峰频率的短时特征矢量和一种反映能量频谱分布及动态的长时特征参数，分别利用隐马尔可夫模型和支持矢量机两种方法进行识别。试验用的情感语音包括一个普通话情感语音库和一个丹麦语情感语音库，试验结果表明使用两类特征参数都可以得到较高的识别率。     

机器狗情感语音识别技术的研究

近年来随着国内人工智能技术的发展,对机器狗的研究日趋深入.情感在人类的感知、决策等过程扮演着重要角色,语音作为人类和机器狗重要的交流媒介,携带着丰富的情感信息.如何使机器狗从语音中自动识别的主人情感状态受到人工智能领域研究者的关注.本文从语音情感识别所涉及的情感语音数据库、语音中的情感特征和语音情感识别算法几个重要问题出发,研究了情感语音机器狗的实现方法.     

基于主元分析的频谱整体识别方法

根据频谱的整体数据进行模式识别和分类时必须考虑如何降低识别过程中的计算量问题,提出了一种基于PCA的频谱整体识别方法.该方法将N点频谱视为N维空间中的点,首先利用已知频谱样本建立数据矩阵,继而进行PCA处理并确定满足信息保留率门限值的主元方向个数,实现高维数据的降维,并计算各类频谱在低维空间投影点的中心,得到数据模板.在方法的识别应用中以距离最小为判据准则进行识别归类.数值仿真和语音识别实验结果说明所提方法性能稳定,识别准确率较高,具有一定的实际应用价值.     

基于核相关分析算法的情感识别模型

针对目前情感识别模型中存在的识别精度低、速度慢等问题,设计一种基于核相关分析算法的情感识别模型.首先对目前情感识别的研究现状进行分析,找出导致识别精度低的原因;然后提取情感识别的特征,并通过核相关分析算法选择最优情感识别的特征子集,减少情感识别的特征向量数;最后选择高斯混合模型对情感识别的训练集进行建模,并通过具体情感数据集进行仿真实验.实验结果表明,核相关分析算法可有效去除情感识别的不利特征,加快了情感识别速度,提高了情感识别的正确率.     

面向语音情感识别的语谱图特征提取算法

为研究信号相关性在语音情感识别中的作用,提出了一种面向语音情感识别的语谱图特征提取算法.首先,对语谱图进行处理,得到归一化后的语谱图灰度图像;然后,计算不同尺度、不同方向的Gabor图谱,并采用局部二值模式提取Gabor图谱的纹理特征;最后,将不同尺度、不同方向Gabor图谱提取到的局部二值模式特征进行级联,作为一种新的语音情感特征进行情感识别.柏林库(EMO-DB)及FAU Ai Bo库上的实验结果表明:与已有的韵律、频域、音质特征相比,所提特征的识别率提升3%以上;与声学特征融合后,所提特征的识别率较早期声学特征至少提高5%.因此,利用这种新的语音情感特征可以有效识别不同种类的情感语音.     

语音情感识别的关键技术

语音信号中的情感信息是一种很重要的信息资源,仅靠单纯的数学模型搭建和计算来进行语音情感识别就显现出不足。情感是由外部刺激引发人的生理、心理变化,从而表现出来的一种对人或事物的感知状态,因此,将认知心理学与语音信号处理相结合有益于更好地处理情感语音。首先介绍了语音情感与人类认知的关联性,总结了该领域的最新进展和研究成果,主要包括情感数据库的建立、情感特征的提取以及情感识别网络等。其次介绍了基于认知心理学构建的模糊认知图网络在情感语音识别中的应用。接着,探讨了人脑对情感语音的认知机理,并试图把事件相关电位融合到语音情感识别中,从而提高情感语音识别的准确率,为今后情感语音识别与认知心理学交叉融合发展提出了构思与展望。     

基于虚拟仪器和 BP 神经网络的语音识别系统的设计

基于传统的语音识别系统的缺点,提出了一套基于虚拟仪器和 BP 神经网络的语音识别系统设计方案。利用LABVIEW 软件和 PC 机声卡硬件相结合采集和提取语音数据特征,并把数据分成测试集和训练集,再调用 MATLAB Script 节点利用 BP 神经网络对测试集进行学习并对训练集进行识别。经过测试,该系统识别准确率高、成本低,具有一定的适用性。     

基于PNCC与基频的鲁棒电话语音性别检测方案

针对电话语音性别检测存在识别准确率较低的问题,提出了一种有效的电话语音性别检测方案(CNN+SVM); 首先,采用卷积神经网络(Convolutional Neural Network, CNN)提取幂律归一化倒谱系数(Power-Normalized Cepstral Coefficient, PNCC)的有效信息;然后, 结合优化后的基频特征,选用支持向量机(Support Vector Machine, SVM)实现性别分类.该方案有效融合了男、女发音和听觉感知特性上的差异,同时利用了CNN特征提取能力以及SVM鲁棒分类能力.仿真结果表明:CNN+SVM方案针对实际场景电话语音数据集的性别识别准确率优于传统识别方法.