情感语音数据库优化及PAD情感模型量化标注

情感语音数据库是情感语音识别研究的基础,建立包含认知心理因素在内的维度情感语音数据库对提高识别率、改善人机交互能力具有重要意义。笔者首先对前期建立的摘引型TYUT2.0数据库进行语音听辨筛选,根据认同率阈值进行数据库优化,得到的情感语音数据库包含四种情感的语句237句,其中"悲伤"62句,"愤怒"58句,"高兴"57句,"惊奇"60句。然后利用PAD三维情感模型对该数据库语音进行标注,得到维度情感语音数据库。该数据库中的每句语音都有对应的听辨认同率以及PAD值。对每句语音的PAD值进行统计分析,证明了该维度情感语音数据库的有效性,为今后研究维度情感识别奠定了基础。     

基于粗神经网络的语音情感识别

语音情感识别是从语音信号中提取一些有效的声学特征,然后利用智能计算或者识别的方法对话者的情感状态进行识别。介绍了国内外在该领域中关于语音情感数据库、特征提取、识别方法的研究现状。基于对该领域现状的了解,发现特征提取对识别率有着非常大的影响。录制了1050句语音,每句语音提取了30个特征,从而形成了一个1050×30的数据库。提出了用粗糙集理论中的信息一致性对数据库中的30个特征进行化简,最后得到了12个特征。用神经网络中的BP网络对话者的情感状态进行识别,最高识别率达到了84%。从实验结果发现不同的情感用不同的方法识别结果更好。     

机器狗情感语音识别技术的研究

近年来随着国内人工智能技术的发展,对机器狗的研究日趋深入.情感在人类的感知、决策等过程扮演着重要角色,语音作为人类和机器狗重要的交流媒介,携带着丰富的情感信息.如何使机器狗从语音中自动识别的主人情感状态受到人工智能领域研究者的关注.本文从语音情感识别所涉及的情感语音数据库、语音中的情感特征和语音情感识别算法几个重要问题出发,研究了情感语音机器狗的实现方法.     

维度语音情感识别研究综述

维度语音情感识别是语音识别技术的重要研究方向,提取最能表达语音情感的特征码并构建具有模型泛化性和鲁棒性的声学模型是语音情感识别的重要研究内容。同时,其触及领域具备较强的多样性,心理学、模式识别以及认知科学等均属于其研究范围,而这些模块是其研究的重点,开展研究的目的主要是为了让机器具备人类情感,促使人机交互更加自然灵活。基于此,该文阐述了在情感心理学的研究基础上,分析情感语音数据库与数据标注,并对情感分类与回归加以探索,希望可以为维度语音情感识别提供新的思路。     

语音情感信息可视化建模研究与探析

语音情感识别是情感计算领域的一个重要分支,研究者们尝试从多种角度对其展开不懈研究。本文从可视化的角度出发,提出了基于信息可视化的情感识别方法,原始语音情感特征经过图表示映射为包含内部数据结构信息的新型情感图特征,在一定程度上促进了语音情感识别系统的性能提高。另外,还将信息可视化技术应用到情感识别结果的表达上,实现情感信息的生动描述和高效表达。在信息可视化技术和语音情感识别研究充分融合的基础上,构建了一个完整的语音情感信息可视化模型,作为系统实现的基础。     

基于LDA+kernel-KNNFLC的语音情感识别方法

结合K近邻、核学习方法、特征线重心法和LDA算法,提出了用于情感识别的LDA+kernel-KNNFLC方法.首先针对先验样本特征造成的计算量庞大问题,采用重心准则学习样本距离,改进了核学习的K近邻方法;然后加入LDA对情感特征向量进行优化,在避免维度冗余的情况下,更好地保证了情感信息识别的稳定性.最后,通过对特征空间再学习,结合LDA的kernel-KNNFLC方法优化了情感特征向量的类间区分度,适合于语音情感识别.对包含120维全局统计特征的语音情感数据库进行仿真实验,对降维方案、情感分类器和维度参数进行了多组对比分析.结果表明,LDA+kernel-KNNFLC方法在同等条件下性能提升效果最显著.     

普通话多模态情感语音数据库构建与评测

本文设计并建立了一个包含发音运动学、声学、声门和面部微表情的多模态情感语音汉语普通话数据库,分别从语料设计、被试选择、录制细节和数据处理等环节进行了详细的描述,其中信号被标记为离散情感标签(中性、愉悦、高兴、冷漠、愤怒、忧伤、悲痛)和维度情感标签(愉悦度、激活度、优势度)。本文对维度标注的数据进行统计学分析,验证标注的有效性,同时验证标注者的SCL-90量表数据并与PAD标注数据结合后进行分析,探究标注中存在的离群现象与标注者心理状况之间的内在联系。为验证该数据库的语音质量和情感区分度,本文使用SVM、CNN、DNN3种基础模型计算了7种情感的识别率。结果显示,单独使用声学数据时7种情感的平均识别率达到了82.56%;单独使用声门数据时平均识别率达到了72.51%;单独使用运动学数据时平均识别率也达到了55.67%。因此,该数据库具有较高的质量,能够作为语音分析研究的重要来源,尤其是多模态情感语音分析的任务。     

基于特定人的语音情感识别系统构建

经公安部门统计,重复性犯罪的人数呈上升趋势。有些犯罪嫌疑人在接受民警审讯时表现得相对冷静,这就使民警单凭感觉不能准确了解其心理、情感状态。研究表明,人类语音中包含的情感特征是客观的,可以真实地反映出紧张、焦虑等负面情感。因此,构建了一个基于特定犯罪嫌疑人的语音情感识别系统,先录制若干特定犯罪嫌疑人的口供语音,通过人工听取、标记,组成一个情感语音数据库,然后为这些嫌疑人训练语音情感模型,最后在嫌疑人接受审讯时,识别他们的情感。实验结果表明,该系统具备较高的识别性能和广泛的应用前景,对案件的侦破起到较好的辅助作用。     

基于MF-DFA的语音情感识别

针对语音情感线性参数在刻画不同情感类型特征上的不足，将多重分形理论引人语音情感识别中．通过分析不同语音情感状态下的多重分形特征，提取多重分形谱参数和广义hurst指数作为新的语音情感特征参数，并结合传统语音声学特征，采用支持向量机SVM对其进行语音情感识别．试验结果表明，该方法可使系统的准确率和稳定性得到有效提高．非线...     

基于约束式双通道模型的语音情感识别

针对语音情感识别过程中特征不充分的问题,提出了约束式双通道模型,从全局和局部两方面充分挖掘特征所包含的情感信息,从而提高情感识别率.通道1是针对语音特征的全局信息,通过改进门控循环单元,构建了BAGRU(bidirectional attention gate recurrent unit)模型,提高了语音特征之间的相关性;通道2是针对语音特征的局部信息,卷积神经网络与对抗训练结合,避免了局部信息相互干扰.通过双通道融合模型,根据通道特征重要程度生成不同权重,同时引入正交约束,解决了融合时产生特征冗余的问题.研究结果表明,在IEMOCAP和EMO-DB情感语料库上分别达到了62.83%和82.19%的识别精度,表现出了良好性能.     

基于韵律语段的语音情感识别方法研究

语音情感识别领域提取情感特征时,普遍采用"不同情感类别,相同时长基准"的做法,忽略了人耳敏感的韵律段长会依情感不同而有所差异的现象。本文首先通过情感识别实验确定各类情感的最佳识别段长,作为人耳敏感韵律段长。并构造了基于韵律段特征的多重Elman网络模型,以期对不同情感基于特定敏感韵律段长进行识别和对多分类器识别结果进行有效融合,实现了对人耳情感辨识规律的模拟。结果表明,使用敏感韵律段特征的系统识别率达到67.9%,与使用定长语段特征相比有了很大的提高。     

概率神经网络在文本无关说话人识别中的应用

采用基于听觉特性的Mel频率倒谱系数作为说话人识别特征参数,对概率神经网络进行了描述,并使用该网络进行了文本无关说话人识别研究.实验表明,对20名说话人,用7秒语音训练,3秒语音识别时,该方法可达到96.7%的正确识别率.     

基于短时和长时特征的语音情感识别研究

基于语音的自动人类情感识别是近年来新兴的研究课题,它在人机通信中有广阔的应用前景。分别利用语音的短时和长时特征识别说话者的五种情感状态,即生气、高兴、悲伤、惊奇和一种无情感状态。提出了一种基于基音频率、子带频谱能量与共振峰频率的短时特征矢量和一种反映能量频谱分布及动态的长时特征参数,分别利用隐马尔可夫模型和支持矢量机两种方法进行识别。试验用的情感语音包括一个普通话情感语音库和一个丹麦语情感语音库,试验结果表明使用两类特征参数都可以得到较高的识别率。     

中英双语混合语音识别研究

介绍了针对歌曲检索中出现的中英混合现象所开发的中英双语识别系统。在双语混合语音识别中,主要面临的2个问题：①在保证双语识别率的前提下控制系统的复杂度;②有效处理插入语中原用语引起的非母语口音现象。为了解决双语混合现象以及减少统计建模所需的数据量,通过音素混合聚类方法建立起一个统一的双语识别系统。在聚类算法中,提出了一种新型基于混淆矩阵的两遍音素聚类算法（TCM）,并将该方法与基于声学似然度准则的聚类方法进行了比较。实验结果表明：利用TCM进行音素聚类的识别性能优于基于声学似然度音素聚类的性能,最终得到的中英双语识别系统在纯英文测试集上的短语错误率（PER）相对基线单英文识别系统下降7.19%;在双语混合测试集上PER相对基线混合模型下降13.78%;同时在纯中文测试集上保持了基线单中文识别系统的性能。     

基于增量方法的卷积语音情感识别网络

提出了一种新颖的语音情感识别结构,从声音文件中提取梅尔频率倒谱系数(Melscale frequency cepstral coefficients,MFCCs)、线性预测倒谱系数(linear predictive cepstral coefficients,LPCCs)、色度图、梅尔尺度频谱图、Tonnetz表示和频谱对比度特征,并将其作为一维卷积神经网络(convolutional neural network,CNN)的输入.构建由一维卷积层、Dropout层、批标准化层、权重池化层、全连接层和激活层组成的网络,并使用Ryerson情感说话/歌唱视听(Ryerson audio-visual database of emotional speech and song,RAVDESS)数据集、柏林语音数据集(Berlin emotional database,EMO-DB)、交互式情绪二元运动捕捉(interactive emotional dyadic motion capture,IEMOCAP)数据集这3个数据集的样本来识别情感.为提高分类精度,利用增量方法修改初始模型.为...     

飞行驾驶员的应答方式识别

飞机驾驶员在飞行过程中有各种各样的说话方式,如带情感的对话、快速与慢速、大声与小声等.并且在飞行的状态下还需要承受物理与心理压力,对话语音还会产生变异,如果不做任何处理,直接用于传统的说话人识别系统以及语音识别系统来处理,性能会比较差.因此,本文对识别飞行员的说话方式（style）这一副语言信息进行了研究,以辅助后续的语音识别系统以及说话人识别系统.实验数据库包含了6 925个样本,实验中提取了384维声学特征,比较了支持向量机SVM不同核函数的分类能力.实验表明,采用高斯径向基函数的SVM具有最好的性能,平均准确率达到91.62%.      

汉语耳语音库的建立与听觉实验研究

耳语音的识别和转换是个全新的课题,可应用于公共场合下的通讯和公安司法工作的某些特殊需要等方面.首先建立了一个包含1172个字和98个近音词的单人女声的汉语耳语音库.通过对两个听觉测试实验数据的统计分析,研究了人耳对汉语耳语音字和近音词声调的辨认率特征,得出人耳对孤立字四个声调的辨认率由高到低的排序为三声>四声>二声>一声.同时也得出人耳对词声调的辨认能力比字要强得多.幅值包络和音长这两个特征参量能够反映出汉语耳语音声调的特性,基于此参数对汉语耳语音字进行声调识别实验,其声调识别率已达到了人耳的平均辨认率,为连续耳语音声调识别研究打下了基础.     

从语用学的角度分析英语幽默的产生

幽默是一种言语的艺术,它的产生一方面离不开语言本身的内在规律,另一方面也在很大程度上有赖于语言在语境中的使用情况。而语用学的任务就是研究把特定的话语放在特定的语境中使用所产生的交际功能。本文试用合作原则、会话含意、关联理论等语用学的基本理论来分析英语幽默产生的规律。     

语音情感特征提取和识别的研究与实现

针对语音情感识别的实时性与可用性问题,提出了利用汉明窗提取语音信号中情感特征的方法,从说话者中采集带有快乐、愤怒、惊奇、悲伤情感的语句,并从语句中提取8个情感特征参数．同时提出采用贡献分析法确定情感特征参数的权值,利用加权欧氏距离模板匹配识别语音情感．实验表明该方法识别率有提高,更适合实时识别的应用。     

英汉交际中语调的语用功能对比研究

在英汉言语交际中,话语的语用功能可以通过词汇、语法等手段并结合语境表达出来。实际上,在这种交际中,言语的语调变化同样也是根据不同的语境表达不同的语用功能。对英汉言语中的语调变化对话语在不同语境中产生的语用功能进行对比性研究,很有意义。