基于PAD模型的级联分类情感语音识别

针对声学特征(韵律特征和MFCC特征)对情感语音的分类识别性能不理想的问题,提出了一种将声学特征与情感语音PAD数据相结合的级联分类方法用于情感语音识别。首先提取情感语音的声学特征,对特征分别单独识别与组合识别,对比建立最优特征集合。然后将声学特征组合与情感语音PAD数据相结合,分两步逐级地判断出输入语音所属的情感类型。该方法在TYUT2.0情感语音数据库上得到了较好的结果,情感分类识别率相较于传统声学特征的分类识别率提高了15.4%.     

语音数据库标注系统的初步设计

此设计旨在完成语音数据库系统的语音标注工作，定义了标注件的格式和标注系统的主要功能。     

基于PAD的个性化情感模型

基于情感计算和人工心理学理论定义了个性空间、心情空间和情感空间,并建立起了个性空间同心情空间的映射关系,提出基本情感强度的概念来描述情感空间在某一时刻所处的状态。根据心情空间中心情向量离基本情感点的距离远近关系来度量情感空间中某种情感出现的概率大小,建立起了心情空间与情感空间的映射关系,并建立了一个新的三层映射关系的个性化情感模型。通过仿真实验验证,该情感模型能较为准确地描述人类情感变化规律。     

维吾尔语语音数据库的手工标注及软件实现

附加标注信息的语音数据库在语音识别研究中的作用十分重要。本介绍了我们开发的维吾尔语音数据库手工标注系统的功能及其在实现过程中采用的一些技术,并阐明了对语音数据库进行标注的重要性及切分的基本原理。     

面向情感变化检测的汉语情感语音数据库

该文介绍了面向普通话情感变化检测的情感语音数据库CESD。该数据库的语音以对话形式录制,包括男女声情感对话语音1 200段。以生气、着急、中性、愉悦、高兴为基本情感,共包含20种情感变化模式。除语音文件外,还包含带有静音段/有效语音段、情感类别、情感变化段、情感质量等内容的标注文件。为了使更多的研究人员可以使用该数据库,利用P raat工具提取出67维常用声学特征,作为特征文件一同存储在该数据库中。对该数据库进行主观评价和情感变化检测的结果表明:语音情感状态自然、情感变化真实,能够满足语音情感识别和语音情感变化检测研究的双重需求。     

基于情感语义词典与PAD模型的中文微博情感分析

随着社交网络影响的不断增加,微博作为人类社会交流、发布观点信息的重要载体,其所包含的情感状态具有重要的研究意义。文章通过对微博文本及其包含的情感词汇的分析研究,引入神经网络语言模型和语义向量,结合心理学、情感计算领域相关知识,采用心理学PAD连续维度情感描述模型作为文本情感分析量化的基础,对微博文本所蕴含的情感状态进行分析研究,以获得更加精确的情感分析结果,达到情感分析的目的。同时实现了从个性角度的微博文本情感的可计算性。实验表明,所述方法能较好地提高微博文本情感分析的准确性和精确度,在不同主题不同情感特征中均能够得到很好的应用。     

普通话多模态情感语音数据库构建与评测

本文设计并建立了一个包含发音运动学、声学、声门和面部微表情的多模态情感语音汉语普通话数据库,分别从语料设计、被试选择、录制细节和数据处理等环节进行了详细的描述,其中信号被标记为离散情感标签(中性、愉悦、高兴、冷漠、愤怒、忧伤、悲痛)和维度情感标签(愉悦度、激活度、优势度)。本文对维度标注的数据进行统计学分析,验证标注的有效性,同时验证标注者的SCL-90量表数据并与PAD标注数据结合后进行分析,探究标注中存在的离群现象与标注者心理状况之间的内在联系。为验证该数据库的语音质量和情感区分度,本文使用SVM、CNN、DNN3种基础模型计算了7种情感的识别率。结果显示,单独使用声学数据时7种情感的平均识别率达到了82.56%;单独使用声门数据时平均识别率达到了72.51%;单独使用运动学数据时平均识别率也达到了55.67%。因此,该数据库具有较高的质量,能够作为语音分析研究的重要来源,尤其是多模态情感语音分析的任务。     

图形数据库的数据修改及公差标注

在图形数据库的尺寸实体数据中加入扩展实体数据,建立了尺寸数据与数据库中相应数据之间的联系,以图号和变量名为搜索手段,找到要修改的数据。这种方法简单,使用方便,且具有很高的安全性。用该方法编制了计算机程序,运用该程序能完成数据修改和上、下公差的标注工作。     

基于约束式双通道模型的语音情感识别

针对语音情感识别过程中特征不充分的问题,提出了约束式双通道模型,从全局和局部两方面充分挖掘特征所包含的情感信息,从而提高情感识别率.通道1是针对语音特征的全局信息,通过改进门控循环单元,构建了BAGRU(bidirectional attention gate recurrent unit)模型,提高了语音特征之间的相关性;通道2是针对语音特征的局部信息,卷积神经网络与对抗训练结合,避免了局部信息相互干扰.通过双通道融合模型,根据通道特征重要程度生成不同权重,同时引入正交约束,解决了融合时产生特征冗余的问题.研究结果表明,在IEMOCAP和EMO-DB情感语料库上分别达到了62.83%和82.19%的识别精度,表现出了良好性能.     

多级矢量量化语音波形

本文介绍了一种通用多级矢量量化器的设计方法。这种量化器能有效地克服运算复杂度与存贮器需要量随矢量维数成指数律增长的困难,因而能采用较大的矢量维数以达到较佳的数据压缩率。该方法允许任意指定量化器的级数、矢量维数、每采样码数或传输速率,并按任意指定的数目生成初始码本并将它们优化到局部最优点,然后从中挑出最佳者。该方法中误差计算为一独立模块,可通过更换不同模块来实现以不同误差测量准则来优化码本。由于该方法能方便地设计出具有各种不同参数的多级矢量量化器,故能对量化器级数、矢量维数、每采样码数及不同误差测量方法与量化器性能的关系作有效地研究模拟。本文还给出用该法设计的传输速率为16kbit/s及9.6kbit/s两个多级语音波形矢量量化器的模拟结果。     

数据库电话语音系统设计

介绍一种基于Windows、以调制解调器(modem)纽带，采用MSCOMM控件技术、全程语音TTS技术，实现数据库管理的电话语音系统的设计方法。     

人机语音交互中的情感语音处理

选取三种典型的情感状态,通过对在不同情感状态下大量取样的语音样本的基频、能量、时长及相关韵律特征参数作统计分析,基于统计结果使用PCA方法进行情感状态识别实验,识别准确率达91.67%.结合情感识别结果,使用DTW算法通过模式匹配进行小词汇表的语音识别,提高语音识别正确率;给出输出语音韵律特征参数的调整方法,使人机语音交互得到更加人性化的改进.     

基于CGRU模型的语音情感识别研究与实现

语音情感识别是人机交互、情感计算中重要的研究方向.目前普遍使用深度神经网络用于语音情感特征的提取,但使用哪种神经网络模型、如何缓解模型过拟合问题还需进一步研究.针对这些问题,提出了一种结合一维卷积(CNN)以及门控循环单元(GRU)的CGRU模型,从原始语音信号的MFCC特征中提取语音的低阶以及高阶情感特征,并通过随机森林对其进行特征选择,在三种公用的情感语料库EMODB,SAVEE,RAVDESS上分别取得了79%,69%以及75%的识别精度.通过添加高斯噪声及改变速度等方法来增加样本量实现数据扩充,进一步提高了识别精度.通过在线识别系统验证了模型在实际环境中的可用性.     

基于PAD三维情感测量的分形图评价

分形艺术图案具有抽象性和奇异性,不能用简单的词语进行评价.在应用这些图案时,往往根据用户主观判断,容易因个人偏见造成评价偏差.尝试将用户基于PAD三维情感模型的情感状态作为评价分形图案的评价指标,并利用RBF神经网络模拟用户的这种情感状态,提出了分形图案在某领域的评价模型,得到了令人满意的效果.     

情感语音变化规律的特征分析

为了探索情感语音相对于中性语音的变化规律,该文对实验室采集的中文情感语音库MASC@CCNT进行初步实验分析.首先对语音库进行听辨分析,甄选感情明显的语料,再针对含有兴高采烈、愤怒、惊慌、悲伤等4种情感的语音信号,分析它们的时间构造、能量构造、基频构造和共振蜂构造的特征,并通过和不带感情的平静语音信号特征进行比较,得出了不同情感信号特征的分布变化规律.结果表明:时间构造、频谱、能量、基音频率和元音共振峰这5种特征在分辨情感语音上有着明显的作用,而悲伤情感最易分辨;情感语音的变化没有统一的规律,因说话人的性别而异,甚至因人而异.     

基于决策树和改进SVM混合模型的语音情感识别

为有效提高语音情感识别的准确性,达到人机和谐交互的目的,本文提出了一种基于决策树和改进SVM混合模型的语音情感识别方法,有效地避免了无界泛化误差、分类器数目多、受限优化等问题,提高了悲伤、喜悦、愤怒、厌恶、惊讶、恐惧6种基本情感识别效率。实验结果表明,该方法识别准确率为87.58%,与传统的支持向量机和人工神经网络方法相比,有更高的抗噪声能力和稳定性,能得到更高的识别准确率,而且有较强的实用性和推广能力。      

语音情感识别中面向统计特征的Rxk集成模型

为提高语音情感识别的准确度,增强人机交互的和谐性,提出一种基于线性判别分析法(LDA)降维的Rxk语音情感识别模型.首先,通过Fisher准则计算投影基向量,对openSMILE提取的统计特征集作线性降维;其次,构建以随机森林、极端梯度提升(XGBoost)和k近邻为个体学习器的集成分类模型;最后,在为3个学习器分配权重的基础上,选取预测概率总和最大的标签作为分类结果.实验结果显示,该模型在EMODB数据库上对7种情感的识别率达到97.20%,对CASIA中文数据库的6种情感识别精度最高达到96.25%.可以看出,提出的模型对于不同的数据库都获得了较高的识别率,具有较好的鲁棒性.     

语音情感识别的关键技术

语音信号中的情感信息是一种很重要的信息资源,仅靠单纯的数学模型搭建和计算来进行语音情感识别就显现出不足。情感是由外部刺激引发人的生理、心理变化,从而表现出来的一种对人或事物的感知状态,因此,将认知心理学与语音信号处理相结合有益于更好地处理情感语音。首先介绍了语音情感与人类认知的关联性,总结了该领域的最新进展和研究成果,主要包括情感数据库的建立、情感特征的提取以及情感识别网络等。其次介绍了基于认知心理学构建的模糊认知图网络在情感语音识别中的应用。接着,探讨了人脑对情感语音的认知机理,并试图把事件相关电位融合到语音情感识别中,从而提高情感语音识别的准确率,为今后情感语音识别与认知心理学交叉融合发展提出了构思与展望。     

大数据语音语料库的社会标注技术

由于传统语料标注方法耗时耗力,已经难以适应大数据语料的处理,该文提出了大数据语音语料库的社会标注策略。引入了针对语音数据标注的六元组模型,将语音资源的自身特征考虑进去,并将标签对象扩展为更为广义的标记。提出基于兴趣+收获+报酬的标注模式,并建立标注质量的3层检验机制。通过工程实现和应用,验证了本文方法在标注效率、质量和成本等方面都具有明显优势。同时,该标注策略可以推广到其他语料的标注,特别是对主观性较强的翻译语料和评价型语料的标注。