鉴别性最大后验概率线性回归说话人自适应研究

为增强自适应后的声学模型的鉴别能力,提出了一种基于最大互信息(MMI)的鉴别性最大后验概率线性回归(MMI-DMAPLR)说话人自适应方法. 将最大互信息准则和最大后验概率(MAP)准则相结合,设计了一个新的目标函数来估计基于线性变换的自适应方法中的变换参数,在最大后验概率估计中加入了鉴别性. 大词汇量连续语音识别的实验结果表明,新方法在增强声学模型与测试数据的匹配性的同时,可以有效提高声学模型的鉴别能力,在少量自适应数据的情况下,其性能比最大后验概率线性回归(MAPLR)相对提高4.8%.      

利用说话人自适应实现基于DNN的情感语音合成

为了提高情感语音合成的质量,提出一种采用多个说话人的情感训练语料,利用说话人自适应实现基于深度神经网络的情感语音合成方法。该方法应用文本分析获得语音对应的文本上下文相关标注,并采用WORLD声码器提取情感语音的声学特征;采用文本的上下文相关标注和语音的声学特征训练获得与说话人无关的深度神经网络平均音模型,用目标说话人的目标情感的训练语音和说话人自适应变换获得与目标情感的说话人相关的深度神经网络模型,利用该模型合成目标情感语音。主观评测表明,与传统的基于隐马尔科夫模型的方法比较,该方法合成的情感语音的主观评分更高。客观实验表明,合成的情感语音频谱更接近原始语音。所以,该方法能够提高合成情感语音的自然度和情感度。     

基于语音识别技术的英语发音评测系统研究

利用语音识别技术,依英语发音的特有性,搭建完整合理的计算机辅助英语发音评测系统。整个系统包括3个部分:语音段验证、语音信号切割和发音评测。其中语音段验证利用置信度评估的技术,并依据置信度阀值对评测语音内容是否需要评测做出判断;语音信号切割是以预先训练好的英语发音声学模型为切割依据,通过强制对位的方式切割出正确的发音区段;英语发音评测是系统的核心,使用的评测方式是比较评测语音和标准语音的相似度,采用4个评测特征:发音完整度、韵律性、语速和准确度进行发音相似度评测。针对不同的特征参数设计合理的评测机制,并对4个特征参数进行加权运算,以建立一个完整合理的英语发音评测系统。实验证明,系统能够给出比较客观的评分,达到预期设计目标。     

基于特征语谱图和自适应聚类SOM的快速说话人识别

为获得说话人发音特征,基于仿生思想,提出一种基于语谱图统计的方法,通过对说话人短时语谱图的线性叠加获得可表征说话人稳定发音特征的特征语谱图。为解决资源受限的设备中说话人识别系统网络训练速度慢、识别效率低的问题,基于传统自组织映射(self-organizing feature map,SOM)神经网络提出了一种自适应聚类SOM (adaptive clustering-SOM,ACSOM)算法,随着待识别说话人数的增加,自动调节增加竞争层神经元个数,直至聚类数达到说话人个数。采用该AC-SOM模型对100人的自建特征语谱图样本库进行聚类识别,最大训练时间只需304 s,最大单张识别时间小于28 ms;在识别人数相同时,相对于所对比的其他识别方法,该方法大大提升了网络训练速度和识别速度,满足了边缘智能(edge intelligence)系统中对数据处理与执行的实时性的要求。     

基于说话人自适应训练的汉藏双语语音合成

根据藏语和汉语在发音上的相似性,提出了一种基于隐Markov模型(hidden Markov model,HMM)的汉藏双语语音合成方法。以声韵母为合成基元,采用多个普通话说话人和1个藏语说话人的语料库,利用说话人自适应训练,获得一个汉藏双语混合语言的平均音模型。通过说话人自适应变换,从混合语言的平均音模型获得普通话或藏语的说话人相关模型,从而合成出普通话或藏语语音。实验结果表明,在藏语训练语句较少的情况下,该方法合成的藏语语音明显优于仅采用说话人相关模型合成的藏语语音。     

说话人识别信道补偿技术HNSSM

在说话人识别系统中,训练语音与测试语音的话机类型失配会使说话人识别系统识别性能显著下降。为了提高说话人识别系统的稳健性,在说话人模型合成和话机归一化的基础上提出一种新的信道补偿方法HNSSM(handsetnormalizationinsynthesizedspeakmodel),综合模型和分数两个方面对系统进行信道补偿。1999年美国国家标准技术局说话人识别评测语音库上的实验表明,采用新的信道补偿方法使系统在等错误率和最小检测代价上比仅采用倒谱均值减的基线系统分别降低了39.4%和20.9%,而且优于只采用说话人模型合成或话机归一化补偿的系统。     

IBM GALE中文识别系统

为解决中文音频自动转成文字问题,IBM开发了GALE中文识别系统。该系统采用区分性声学模型训练方法和新颖的基于主题的语言模型自适应技术;为获得最优的识别性能,系统采用多遍解码的识别策略。该文还给出该系统在3个测试集上的识别结果:包括广播新闻和广播访谈节目,结果显示,IBM GALE中文识别系统取得了很好的识别性能;此外,该文还分析了特殊声学现象对识别结果的影响,结果显示,对识别率影响最大的3种声学现象为说话人语速过快、语音交叠和口音问题,这指示了系统下一步的改进方向。     

快速口音自适应的动态说话人选择性训练

为解决语音识别系统实用中的说话人口音快速自适应问题,提出了一种动态说话人选择性训练方法。基于说话人选择性训练方法,采用基于Gauss混合模型似然分数计算的置信测度选择训练用说话人,改变训练用说话人的绝对数目选取方式,提高了选取的效能并拓展了选取标准的推广性。根据各个训练用说话人同被适应说话人的不同似然程度,加权地合成动态说话人选择性训练的语音模型,提高了自适应训练的效果。实验表明:该方法使识别率从80.16%提高到84.12%,相对误识率降低了19.96%,在实用中提高了基线系统的识别性能。     

基于参考说话人模型和双层结构的说话人辨认

为了提高基于Gauss混合模型通用背景模型(GMM-UBM)的说话人辨认系统的运算效率,提出一种基于参考说话人模型的双层结构用于目标说话人剪枝,采用矢量量化方法从目标说话人模型集合中训练参考说话人模型,利用语音与参考说人模型的偏差来描述说话人的发音特性,将辨认语音偏差向量和目标说话人偏差向量的相似性作为距离度量来进行目标说话人剪枝。实验结果表明:在基于GMM-UBM的说话人辨认系统中,对包含5 200个目标说话人和1 000个集外说话人的测试集进行开集辨认的条件下,在提高辨认的运算效率12.5倍的同时识别率仅下降0.3%。     

适于嵌入式英语发音评价系统的英美音融合方法

为提高发音质量评价性能,并压缩声学模型规模以适于嵌入式实现,提出一种英音和美音模型的融合方法。该方法基于声学距离和替代概率将声学模型划分为可替代模型、可融合模型和孤立模型。抛弃可替代模型,保留孤立模型,基于模型插值归并可融合模型。引入最小置信度和最大支持数控制参与归并模型的数目。实验结果表明:融合模型与单口音模型相比,说话人级别的相关性提高了14.1%;融合模型与混合模型的性能相近,G auss ian分量数目压缩了10.7%。本方法在保证发音质量评价性能的条件下,明显压缩了模型数量。     

基于隐马尔可夫模型的非母语说话人口音识别

基于云南境内说话人母语为纳西语、僳僳语的汉语普通话语音，采用隐马尔可夫模型(HMM)，由标准普通话语音库训练得到基线系统的声学模型(HMMSTD)．然后以基线系统的声学模型为初始模型，分别用母语为纳西语、傈僳语的汉语普通话语音训练得到各自的声学模型(HMMNX和HMMLS)，对于未知语音，根据各识别系统的概率得分。采用最大概率准则进行口音的分类判决．实验表明，基于HMM的口音识别系统，其正确识别率达93％。     

采用长短时记忆网络的低资源语音识别方法

针对低资源环境下由于标注训练数据不足、造成语音识别系统识别率急剧下降的问题,提出一种采用长短时记忆网络的低资源语音识别(LSTM-LRASR)方法。该方法采用长短时记忆网络构建声学模型,从特征提取、数据扩展及模型优化3个方面提高低资源语音识别性能。在特征提取方面,提取语言无关的高层稳健特征参数,降低声学模型对训练数据的依赖;在数据扩展方面,对已有标注数据进行语速扰动,对无标注数据进行自动识别,从而自动获取更多标注数据;在模型优化方面,通过序贯区分性训练技术提高模型对易混淆音素的区分能力,利用最小风险贝叶斯解码对多个系统进行融合,进一步提高识别性能。对OpenKWS16评测数据的实验结果表明,采用LSTMLRASR方法搭建的低资源语音识别系统的词错率相对基线系统下降了29.9%,所有查询词的查询项权重代价提升了60.3%。     

基于HMM-BIC的说话人日志系统

该文提出一种改进的基于隐Markov模型(HMM)和Bayes信息准则(BIC)的说话人日志系统。它用来检测会议语音数据中"谁在什么时候说话"。在对说话人模型进行Gauss混合模型(GMM)建模的时候,考虑到用来建模的数据通常会比较短,首先训练一个通用背景模型,然后用最大后验概率(MAP)准则得到相应片段的模型。在NIST 2004年举办的说话人日志评测任务数据集RT-04S上的实验结果表明:该系统与国际主流系统相比有一定的优势。     

基于概率修正PLDA的说话人识别系统

为减弱注册语音与测试语音时长不一致对说话人识别性能的负面影响,提出一个概率修正PLDA建模方法.根据语音时长自适应改变传统PLDA模型中i-vector的概率分布函数,提高PLDA对每个说话人每段语音的时长表征能力,以增强说话人类别的区分度.为验证基于概率修正PLDA模型的有效性,进行了NIST SRE10 corecore测试集在3种不同时长的评测实验,以及NIST 2014 i-vector machine learning challenge测试任务.结果表明,相较于传统的PLDA训练模型,通过语音时长的约束提高了说话人识别性能.     

基于混合Gauss归一化的语音转换方法

针对非对称语料库情况下的语音转换,提出了一种基于混合Gauss归一化的语音转换方法。通过背景说话人模型,分别自适应训练得到源说话人和目标说话人模型。利用训练得到的模型自适应参数,提出了基于Gauss归一化的特征映射方法,为了进一步提高转换效果,进而提出了混合Gauss归一化的方法。针对说话人模型中未被更新的参数,采用KL散度(Kullback-Leibler divergence)方法进行了优化。最后通过主客观实验对提出的算法的有效性进行了仿真和验证。实验结果表明:该文提出的基于混合Gauss归一化的语音转换方法,在倒谱失真度、转换语音的目标倾向度以及感知质量上,都获得了接近基于对称语音库的传统Gauss混合模型(Gaussian mixture model,GMM)方法的效果。     

子空间域相关特征变换与融合的语音识别方法

为了提高语音识别准确率,提出了一种子空间域相关特征变换与融合的语音识别方法(MFCC-BN-TC方法)。该方法提取语音短时谱结构特征(BN)和包络特征(MFCC)分别描述语音短时谱结构和包络信息,并采用域相关特征变换的形式分别对BN和MFCC特征进行特征变换;然后对这种变换进行泛化扩展提出子空间域相关特征变换,以采用不同的时间颗粒度(帧和语音分段)进行多层次区分性特征表达;最后,对多种区分性特征变换后的特征进行联合表征训练声学模型,并给出了区分性特征变换与融合的一般框架。实验结果表明:MFCC-BN-TC方法比采用原始BN特征方法和采用MFCC特征基线系统方法,识别性能各自提高了0.98%和1.62%;融合MFCCBN-TC方法变换以后的语音信号特征,相比于融合原始特征,识别率提升了1.5%。     

结合高斯混合模型和VOT特征的音素发音错误检测

结合高斯混合模型(GMM)和嗓音起始时间(VOT)特征的普通话音素发音错误检测,提出了一种结合语音声道特征信息和音源特征信息的发音错误检测方法。其中GMM用于反映声道特征信息的MFCC参数的建模与评测,并直接对大部分音素的发音质量直接进行错误检测。对于少数通过MFCC参数和GMM难于检测区分的辅音音素,则通过反映VOT信息的音源特征参数进行区分。实验表明,该方法在训练数据有限的情况下取得了较好的性能,非常适合用于聋人语言康复的计算机辅助训练。     

基于DNN的声学模型自适应实验

声学模型自适应算法研究目的是缓解由测试数据和训练数据不匹配而引起的识别性能下降问题.基于深度神经网络(DNN)模型框架的自适应技术中,重训练是最直接的方法,但极容易出现过拟合现象,尤其是自适应数据稀疏的情况下.文章针对领域相关的自动语音识别任务,对典型的两种声学模型自适应算法进行了尝试,实验了基于线性变换网络的自适应方法和基于相对熵正则化准则的自适应方法,并对两种算法进行了详尽的系统性能比较.结果表明,在不同的自适应数据量下,相对熵正则化自适应方法均能表现出较好的性能.     

GMM-UBM和SVM说话人辨认系统及融合的分析

在说话人辨认任务中,Gauss混合模型-通用背景模型(Gaussian mixture model-universal backgroundmodel,GMM-UBM)采用帧向量进行建模和识别,突出了说话人个性特征,但受信道影响较大;支持向量机(support vector machine,sVM)利用帧向量在空间中分布的Gauss混合的均值进行建模和识别,对信道的鲁棒性较好,但对说话人的个性体现不够.该文分析了这2种说话人识别系统的优缺点,并采用融合方法来提高系统的性能.在美国国家标准与技术研究所(NIST)评测数据集的实验中,融合系统的等错误率从GMM-UBM系统的9.30％和SVM系统的8.26％降低到7.34％,分别相对降低了21.08％和11.14％.     

基于多特征I-Vector的说话人识别算法

针对单一声学特征无法精准高效地辨识说话人身份的问题,提出了一种基于多特征I-Vector的说话人识别算法.该算法首先采集不同的声学特征并将其构成一个高维特征向量,然后通过主成分分析法有效地剔除高维特征向量的关联,确保各种特征之间正交化,最后采用概率线性判别分析进行建模和打分,并在一定程度上降低空间维度.在TIMIT语料库上利用Kaldi进行实验,算法运行结果表明,该算法较当前流行的基于I-Vector的单一梅尔频率倒谱系数和感知线性预测系数的特征系统在等错误率上分别提高了8.18%和1.71%,在模型训练时间上分别减少了60.4%和47.5%,具有更好的识别效果和效率.