基于深度学习的自然与表演语音情感识别

语音是情感表达的重要途径,自然状态和表演状态下的语音所蕴含的情感信息并不完全相同.为了探索自然状态和表演状态下语音情感识别的差异,采用深度学习算法分析了IEMOCAP公用数据集,对自然状态和表演状态下的中性、愤怒、开心和悲伤等四类情绪语音数据进行实验:首先提取语音数据的声学特征(对比了emobase2010特征集和eGeMAPs特征集),然后利用卷积神经网络(Convolutional Neural Networks,CNN)对自然与表演状态下的语音情感进行识别,比较了两种状态下的情感识别率,再利用混淆矩阵分析两种状态下不同情绪之间的误分率和相似性.实验结果显示,自然状态下的情感识别率明显高于表演状态下,还发现愤怒和悲伤在两种状态下的误分率有明显区别.该现象对理解情绪的表达机制有启发意义.     

基于语音信号与心电信号的多模态情感识别

通过采集与分析语音信号和心电信号,研究了相应的情感特征与融合算法.首先,通过噪声刺激和观看影视片段的方式分别诱发烦躁情感和喜悦情感,并采集了相应情感状态下的语音信号和心电信号.然后,提取韵律、音质特征和心率变异性特征分别作为语音信号和心电信号的情感特征.最后,利用加权融合和特征空间变换的方法分别对判决层和特征层进行融合,并比较了这2种融合算法在语音信号与心电信号融合情感识别中的性能.实验结果表明:在相同测试条件下,基于心电信号和基于语音信号的单模态情感分类器获得的平均识别率分别为71%和80%;通过特征层融合,多模态分类器的识别率则达到90%以上;特征层融合算法的平均识别率高于判决层融合算法.因此,依据语音信号、心电信号等不同来源的情感特征可以构建出可靠的情感识别系统.     

婴幼儿语音信息处理与识别研究模型

本文针对婴儿语音的识别及处理问题,通过Mel尺度倒谱参数(MFCC)等信号分析的参数,对婴儿语音情绪信息的数据采集和预处理过程及相应的特征参数提取方法进行了研究.综合运用了Matlab、Excel、Widi及TT Composer等软件求解,经过综合比较,本文采用了参数和方法,针对辨别婴儿性别以及婴儿身心状态所表达的情绪信息作模式识别研究,并给出了其技术实现方法和实验测试结果,取得了良好的识别效果.对于一男一女唱同一首歌的音频,我们基于性别差异角度对语音信号时域进行特征分析,通过绘制语谱图、能量图、相关函数图等,观察男女声的差异,可以发现语音信号的前面部分性别差异特征,在此基础上再利用MFCC分别得到男性和女性语音的48 110*24 MFCC特征矩阵.通过贝叶斯判别法,将语音进行性别判别归类,再利用该模型对婴儿的声音进行鉴别.     

基于粗神经网络的语音情感识别

语音情感识别是从语音信号中提取一些有效的声学特征,然后利用智能计算或者识别的方法对话者的情感状态进行识别。介绍了国内外在该领域中关于语音情感数据库、特征提取、识别方法的研究现状。基于对该领域现状的了解,发现特征提取对识别率有着非常大的影响。录制了1050句语音,每句语音提取了30个特征,从而形成了一个1050×30的数据库。提出了用粗糙集理论中的信息一致性对数据库中的30个特征进行化简,最后得到了12个特征。用神经网络中的BP网络对话者的情感状态进行识别,最高识别率达到了84%。从实验结果发现不同的情感用不同的方法识别结果更好。     

情感语音变化规律的特征分析

为了探索情感语音相对于中性语音的变化规律,该文对实验室采集的中文情感语音库MASC@CCNT进行初步实验分析.首先对语音库进行听辨分析,甄选感情明显的语料,再针对含有兴高采烈、愤怒、惊慌、悲伤等4种情感的语音信号,分析它们的时间构造、能量构造、基频构造和共振蜂构造的特征,并通过和不带感情的平静语音信号特征进行比较,得出了不同情感信号特征的分布变化规律.结果表明:时间构造、频谱、能量、基音频率和元音共振峰这5种特征在分辨情感语音上有着明显的作用,而悲伤情感最易分辨;情感语音的变化没有统一的规律,因说话人的性别而异,甚至因人而异.     

基于混沌特性的情感语音特征提取

根据语音发声过程中的混沌特性,应用非线性动力学模型分析情感语音信号,提取了该模型下情感语音信号的非线性特征以及常用的声学特征(韵律特征和MFCC).设计情感语音识别对比实验,将非线性特征与不同声学特征融合并验证了该组合下的情感识别性能,研究了语音信号混沌特性对情感语音识别性能的影响.实验选用德国柏林语音库4种情感(高兴、愤怒、悲伤和中性)作为语料来源,支持向量机网络用于情感识别.结果表明,非线性特征有效表征了情感语音信号的混沌特性,与传统声学特征结合后,情感语音识别性能得到了显著提高.     

基于语音信号的情感识别技术研究

利用基音特征参数和共振峰特征参数提取方法,分析研究了不同情感状态的语音信号,并应用模板匹配方法对语音信号进行识别,其原理和实现方法通俗易懂,便于理解,为语音信号的情感识别技术提供一定的判断指标。     

面向情感变化检测的汉语情感语音数据库

该文介绍了面向普通话情感变化检测的情感语音数据库CESD。该数据库的语音以对话形式录制,包括男女声情感对话语音1 200段。以生气、着急、中性、愉悦、高兴为基本情感,共包含20种情感变化模式。除语音文件外,还包含带有静音段/有效语音段、情感类别、情感变化段、情感质量等内容的标注文件。为了使更多的研究人员可以使用该数据库,利用P raat工具提取出67维常用声学特征,作为特征文件一同存储在该数据库中。对该数据库进行主观评价和情感变化检测的结果表明:语音情感状态自然、情感变化真实,能够满足语音情感识别和语音情感变化检测研究的双重需求。     

基于MF-DFA的语音情感识别

针对语音情感线性参数在刻画不同情感类型特征上的不足，将多重分形理论引人语音情感识别中．通过分析不同语音情感状态下的多重分形特征，提取多重分形谱参数和广义hurst指数作为新的语音情感特征参数，并结合传统语音声学特征，采用支持向量机SVM对其进行语音情感识别．试验结果表明，该方法可使系统的准确率和稳定性得到有效提高．非线...     

语音情感特征提取和识别的研究与实现

针对语音情感识别的实时性与可用性问题,提出了利用汉明窗提取语音信号中情感特征的方法,从说话者中采集带有快乐、愤怒、惊奇、悲伤情感的语句,并从语句中提取8个情感特征参数．同时提出采用贡献分析法确定情感特征参数的权值,利用加权欧氏距离模板匹配识别语音情感．实验表明该方法识别率有提高,更适合实时识别的应用。     

基于改进最优邻接点算法的语音情感识别系统

语音是人类表达情感的重要方式之一,语音中情感信息的识别已然成为人机交互不可或缺的组成部分。目前的语音情感识别技术存在一定的问题,如冗余大、识别率低等,故提出一种改进k最优邻接点(k-nearest neighbor,KNN)识别算法。首先提取能够表征音频情感信息的特征参数,并通过优化算法对其进行筛选。然后对优化特征集运用所提算法进行识别验证。实验结果表明,所提的识别算法能够用于基于语音信号的个体情绪识别状态。     

基于SPCE061A单片机的智能小车的设计

本文设计并制作一种智能避障小车。以凌阳单片]gLSPCE06IA为核心控制部件,外围电路包括直流电机,电机驱动芯片,超声波传感器等。该系统的智能控制软件包括小车避障及路径控制软件和语音识别模块。利用SPCE06IA的语音模块,根据麦克风采集的语音信号与事先训练好的语音库的特征语音进行对比,进行语音辨识井通过语音命令小车行进．转向及倒车等操作,实现智能音控小车的运行状态。利用虹外传赢器检测路径信息,实现小车的智能避障功能。     

语音情感识别的关键技术

语音信号中的情感信息是一种很重要的信息资源,仅靠单纯的数学模型搭建和计算来进行语音情感识别就显现出不足。情感是由外部刺激引发人的生理、心理变化,从而表现出来的一种对人或事物的感知状态,因此,将认知心理学与语音信号处理相结合有益于更好地处理情感语音。首先介绍了语音情感与人类认知的关联性,总结了该领域的最新进展和研究成果,主要包括情感数据库的建立、情感特征的提取以及情感识别网络等。其次介绍了基于认知心理学构建的模糊认知图网络在情感语音识别中的应用。接着,探讨了人脑对情感语音的认知机理,并试图把事件相关电位融合到语音情感识别中,从而提高情感语音识别的准确率,为今后情感语音识别与认知心理学交叉融合发展提出了构思与展望。     

小波变换在语音信号处理上的应用

利用小波的多分辨率分析,以及其良好的空间域和频率域局部化特点,针对语音信号特征,选取适当的小波算法进行去噪和增强语音,压缩编码,提取语音信号特征等处理。通过Matlab仿真分析,得到增强后的信号图和压缩后的压缩比参数、能量保留参数、零系数比例系数,提取的信号特征。结果表明,基于小波变换的语音信号处理表现出良好的特性。     

基于TS特征选择的生理情感状态分类

针对生理信号的情感识别问题,本文提出了禁忌搜索(TS)和神经网络结合的情感状态分类方法。该方法用禁忌搜索算法选择情感生理信号特征,神经网络BP算法分类情感状态。仿真实验结果表明,BP分类器在TS选择的特征基础上达到很好的情感分类效果。     

基于SVR的情感语音变换

提出了一种新的基于支持向量回归(SVR)的情感语音的变换方法.通过提取普通话10种情感语音的韵律特征,对比分析了中性语音和情感语音之间的韵律特征差异,利用SVR建立了基频、时长、能量、停顿等韵律特征参数的预测模型,并利用Straight算法实现了由中性语音向情感语音的转换.利用这种方法变换出的10种情感语音,其情感主观平均(EMOS)得分为3.4.     

基于小波包分析和相关向量机的电路故障诊断

针对模拟电路故障变化的复杂性,提出一种小波包分析和相关向量机的电路故障诊断模型,首先采集模拟电路不同故障状态下的输出信号,将输出信号进行小波包分解,提取分解信号的归一化能量特征,然后将特征向量输入相关向量机中进行训练,建立模拟电路故障诊断模型,实现不同的故障状态分类识别;最后通过仿真实例对模型性能进行测试.测试结果表明,相对于其他模拟电路故障诊断模型,该模型不但提高了模拟电路故障诊断的正确率,而且减少了故障诊断时间.     

开发语音处理器的几个问题

本文从实践角度出发以芯片的存贮方式和语音合成方式为依据分析了一些主流语音合成芯片的特征，提出了选择芯片的原则和方法。分析了语音作为控制信号的特点，并就语音控制脉冲的取得、电路的消抖、语音和语音控制信号的分配问题提出解决措施。另外还分析了影响音质量的几个主要方面：滤波、功放电路、录音期间的回授等并就这几方面提出改善语音质量的措施。     

基于情感信息辅助的多模态情绪识别

不同于纯文本的情绪分析, 本文面向多模态数据(文本和语音)进行情绪识别研究。为了同时考虑多模态数据特征, 提出一种新颖的联合学习框架, 将多模态情绪分类作为主任务, 多模态情感分类作为辅助任务, 通过情感信息来辅助提升情绪识别任务的性能。首先, 通过私有网络层对主任务中的文本和语音模态信息分别进行编码, 以学习单个模态内部的情绪独立特征表示。接着, 通过辅助任务中的共享网络层来获取主任务的辅助情绪表示以及辅助任务的单模态完整情感表示。在得到主任务的文本和语音辅助情绪表示之后, 分别与主任务中的单模态独立特征表示相结合, 得到主任务中单模态情绪信息的完整表示。最后, 通过自注意力机制捕捉每个任务上的多模态交互特征, 得到最终的多模态情绪表示和情感表示。实验结果表明, 本文方法在多模态情感分析数据集上可以通过情感辅助信息大幅度地提升情绪分类任务的性能, 同时情感分类任务的性能也得到一定程度的提升。     

基于端到端深度神经网络的语音情感识别研究

语音情感识别是实现自然人机交互的重要组成部分,传统语音情感识别系统主要集中于特征提取和模型构建.本文提出一种将深度神经网络直接应用于原始信号的语音情感识别方法.原始语音数据携带了语音信号的情感信息、二维空间信息和时序上下文信息.建立的模型以端到端的方式进行训练,网络自动学习原始语音信号的特征表示,无需手工特征提取步骤....