机器狗情感语音识别技术的研究

近年来随着国内人工智能技术的发展,对机器狗的研究日趋深入.情感在人类的感知、决策等过程扮演着重要角色,语音作为人类和机器狗重要的交流媒介,携带着丰富的情感信息.如何使机器狗从语音中自动识别的主人情感状态受到人工智能领域研究者的关注.本文从语音情感识别所涉及的情感语音数据库、语音中的情感特征和语音情感识别算法几个重要问题出发,研究了情感语音机器狗的实现方法.     

基于端到端深度神经网络的语音情感识别研究

语音情感识别是实现自然人机交互的重要组成部分,传统语音情感识别系统主要集中于特征提取和模型构建。本文提出一种将深度神经网络直接应用于原始信号的语音情感识别方法。原始语音数据携带了语音信号的情感信息、二维空间信息和时序上下文信息。建立的模型以端到端的方式进行训练,网络自动学习原始语音信号的特征表示,无需手工特征提取步骤。该网络模型同时兼顾了CNN和BLSTM 2种神经网络的优点。利用CNN从原始语音数据中学习空间特征,其后添加一个BLSTM学习上下文特征。为了评估该模型的有效性,在IEMOCAP数据库上进行识别测试,获得的WA和UA分别为71.39%、61.06%。此外,与基线模型进行对比,验证了提出方法的有效性。     

基于改进KNN算法的语音情感识别系统

语音是人类表达情感的重要方式之一,语音中情感信息的识别已然成为人机交互不可或缺的组成部分,目前的语音情感识别技术存在一定的问题,如冗余大、识别率低等,故提出一种改进KNN识别算法。首先提取能够表征音频情感信息的特征参数,并通过优化算法对其进行筛选,然后对优化特征集运用所提算法进行识别验证。实验结果表明,笔者所提的识别算法能够用于基于语音信息的个体情绪识别状态。     

基于粗神经网络的语音情感识别

语音情感识别是从语音信号中提取一些有效的声学特征,然后利用智能计算或者识别的方法对话者的情感状态进行识别。介绍了国内外在该领域中关于语音情感数据库、特征提取、识别方法的研究现状。基于对该领域现状的了解,发现特征提取对识别率有着非常大的影响。录制了1050句语音,每句语音提取了30个特征,从而形成了一个1050×30的数据库。提出了用粗糙集理论中的信息一致性对数据库中的30个特征进行化简,最后得到了12个特征。用神经网络中的BP网络对话者的情感状态进行识别,最高识别率达到了84%。从实验结果发现不同的情感用不同的方法识别结果更好。     

维度语音情感识别研究综述

维度语音情感识别是语音识别技术的重要研究方向,提取最能表达语音情感的特征码并构建具有模型泛化性和鲁棒性的声学模型是语音情感识别的重要研究内容。同时,其触及领域具备较强的多样性,心理学、模式识别以及认知科学等均属于其研究范围,而这些模块是其研究的重点,开展研究的目的主要是为了让机器具备人类情感,促使人机交互更加自然灵活。基于此,该文阐述了在情感心理学的研究基础上,分析情感语音数据库与数据标注,并对情感分类与回归加以探索,希望可以为维度语音情感识别提供新的思路。     

一种基于注意力机制的语音情感识别算法研究

随着语音识别和自然语言处理技术的成熟,智能语音技术逐步落地到各行各业,但目前智能语音产品缺乏情感的交互,未实现真正的智能。为了提升智能语音产品的拟人性,学术界对语音情感识别的研究热度越来越高,但是多局限在使用传统特征工程以及通用深度学习模型上。在应用深度学习模型的基础上引入注意力机制对语音情感识别展开研究,选用语谱图作为输入特征,并对CNN输出的特征进行通道维度的注意力关注,分析注意力计算过程中不同池化方式对识别结果的影响,并引入残差,提升模型表现力,最终UA实现了2.83%的提升。     

基于约束式双通道模型的语音情感识别

针对语音情感识别过程中特征不充分的问题,提出了约束式双通道模型,从全局和局部两方面充分挖掘特征所包含的情感信息,从而提高情感识别率.通道1是针对语音特征的全局信息,通过改进门控循环单元,构建了BAGRU(bidirectional attention gate recurrent unit)模型,提高了语音特征之间的相关性;通道2是针对语音特征的局部信息,卷积神经网络与对抗训练结合,避免了局部信息相互干扰.通过双通道融合模型,根据通道特征重要程度生成不同权重,同时引入正交约束,解决了融合时产生特征冗余的问题.研究结果表明,在IEMOCAP和EMO-DB情感语料库上分别达到了62.83%和82.19%的识别精度,表现出了良好性能.     

基于长短时特征融合的语音情感识别方法

情感识别领域中广泛使用的情感特征有基于语句的全局统计特征和基于语音帧的时序特征.针对这2类基于不同时长的情感特征均不能够最有效地表达情感信息的问题,该文提出使用"语段特征"用于识别,并给出了各类情感状态对应的"最佳识别段长".为进一步提高系统识别性能,该文还构建了全局控制Elman神经网络用于将全局统计特征与基于语段的时序特征相融合.实验表明;融合长短时特征后的平均系统识别率可达66.0％,与单独使用各类特征或语段特征相比分别提高了5.9％和1.7％,同时有效降低了各情感之间的混淆度.     

微博情感可视化系统

为了研究微博用户表达情感的特性,从个人化的情感表达和对社会性事件的态度反映两类文本出发,分别对个人情感变化以及热点事件中的用户情绪进行分析,设计并实现了微博情感可视化系统（sentiment visualization system for microblog, SVSM）。个人化情感研究记录用户在时间轴上的情绪波动,并且从性别及地域属性上分析个人情感差异;热点事件情感研究监测用户情绪的群体表达,从时间、空间、热词、用户属性、事件属性以及传播特性等角度进行特性分析。     

基于MF-DFA的语音情感识别

针对语音情感线性参数在刻画不同情感类型特征上的不足，将多重分形理论引人语音情感识别中．通过分析不同语音情感状态下的多重分形特征，提取多重分形谱参数和广义hurst指数作为新的语音情感特征参数，并结合传统语音声学特征，采用支持向量机SVM对其进行语音情感识别．试验结果表明，该方法可使系统的准确率和稳定性得到有效提高．非线...     

基于深度神经网络的语音情感识别方法

语音情感识别是人机交互的重要方向,可广泛应用于人机交互和呼叫中心等领域,有很大应用价值。近年来,深度神经网络在识别情感方面取得了巨大成功,但现有方法对高层语音特征提取会丢失大量原始信息并且识别准确率不高,本文提出了一种新的语音情感识别方法,由卷积神经网络从原始信号中提取特征,并在其堆叠一个2层长短时记忆神经网络,最终识别准确率达到91.74%,本文方法显著优于基于EMO-DB数据集等其他方法。     

语音情感特征提取和识别的研究与实现

针对语音情感识别的实时性与可用性问题,提出了利用汉明窗提取语音信号中情感特征的方法,从说话者中采集带有快乐、愤怒、惊奇、悲伤情感的语句,并从语句中提取8个情感特征参数．同时提出采用贡献分析法确定情感特征参数的权值,利用加权欧氏距离模板匹配识别语音情感．实验表明该方法识别率有提高,更适合实时识别的应用。     

基于语音声学特征的情感信息识别

为提高情感语音识别的正确率,研究了声学参数的统计特征和时序特征在区分情感中的作用,并提出了一种将两者相融合的情感识别方法。在提取出基本的韵律参数和频谱参数后,首先利用PNN(probab ilistic neura l netw ork)和HMM(h idden m arkov m ode l)分别对声学参数的统计特征和时序特征进行处理。计算它们各自属于每类情感的概率,获得采用加法规则和乘法规则融合统计特征和时序特征的识别结果。实验结果表明:各组特征在区分情感方面的侧重不尽相同,通过特征融合,平均识别正确率相较单独采用统计特征或时序特征均有提高,在最好情况下达到了92.9%。这说明了该方法的有效性。     

基于短时和长时特征的语音情感识别研究

基于语音的自动人类情感识别是近年来新兴的研究课题,它在人机通信中有广阔的应用前景。分别利用语音的短时和长时特征识别说话者的五种情感状态,即生气、高兴、悲伤、惊奇和一种无情感状态。提出了一种基于基音频率、子带频谱能量与共振峰频率的短时特征矢量和一种反映能量频谱分布及动态的长时特征参数,分别利用隐马尔可夫模型和支持矢量机两种方法进行识别。试验用的情感语音包括一个普通话情感语音库和一个丹麦语情感语音库,试验结果表明使用两类特征参数都可以得到较高的识别率。     

基于RBF神经网络的语音情感识别

介绍了径向基函数神经网络的原理、训练算法,并建立了RBF神经网络的语音情感识别的模型。在实验中比较了BP神经网络与RBF神经网络分别用于语音情感识别识别率,RBF神经网络的平均识别率高于BP神经网络3%。结果表明,基于RBF神经网络的语音情感识别方法的有效性。     

基于韵律语段的语音情感识别方法研究

语音情感识别领域提取情感特征时,普遍采用"不同情感类别,相同时长基准"的做法,忽略了人耳敏感的韵律段长会依情感不同而有所差异的现象。本文首先通过情感识别实验确定各类情感的最佳识别段长,作为人耳敏感韵律段长。并构造了基于韵律段特征的多重Elman网络模型,以期对不同情感基于特定敏感韵律段长进行识别和对多分类器识别结果进行有效融合,实现了对人耳情感辨识规律的模拟。结果表明,使用敏感韵律段特征的系统识别率达到67.9%,与使用定长语段特征相比有了很大的提高。     

基于MFCCG-PCA的语音情感识别

针对语音情感值维度大、难处理的问题, 结合MFCC改进算法和PCA模型, 进行二次优化, 提出一种新的语音情感值提取模型MFCCG-PCA。多组实验表明, 相比一般的MFCC模型, MFCCG-PCA模型在语音情感识别方面的性能有较大提高。     

基于CGRU模型的语音情感识别研究与实现

语音情感识别是人机交互、情感计算中重要的研究方向.目前普遍使用深度神经网络用于语音情感特征的提取，但使用哪种神经网络模型、如何缓解模型过拟合问题还需进一步研究.针对这些问题，提出了一种结合一维卷积(CNN)以及门控循环单元(GRU)的CGRU模型，从原始语音信号的MFCC特征中提取语音的低阶以及高阶情感特征，并通过随机森林对其进行特征选择，在三种公用的情感语料库EMODB，SAVEE，RAVDESS上分别取得了79%，69%以及75%的识别精度.通过添加高斯噪声及改变速度等方法来增加样本量实现数据扩充，进一步提高了识别精度.通过在线识别系统验证了模型在实际环境中的可用性.