大规模词表连续语音识别引擎紧致动态网络的构建

大规模词表连续语音识别系统需要综合各种知识源,如声学模型、语言模型、发音词典等。其中,解码网络是识别引擎的基础,对提高解码器的性能有着至关重要的影响。有效综合这些知识源,构建一个紧致的解码网络,可以有效减少识别时的搜索空间和重复计算,显著提高解码速度。该文针对语音识别的动态解码网络进行研究,提出了词标志(word end,WE)节点前推算法,结合传统的前后向合并算法,实现了一个基于隐Markov模型状态为网络节点的紧凑动态解码网络。优化后的解码网络的节点数和边数分别是线性词典解码网络的1/4,是开源工具包HDecode的1/2;需要计算语言模型预测分数的节点数为HDecode的1/2。该声学模型基于三音子建模,可方便地移植到其他语种上。     

电话交谈语音识别中基于 LSTM-DNN 语言模型的重评估方法研究

近年来,神经网络语言模型的研究越来越受到学术界的广泛关注.基于长短期记忆(long short-term memory,LSTM)结构的深度神经网络(LSTM-deep neural network,LSTM-DNN)语言模型成为当前的研究热点.在电话交谈语音识别系统中,语料本身具有一定的上下文相关性,而传统的语言模型对历史信息记忆能力有限,无法充分学习语料的相关性.针对这一问题,基于LSTM-DNN语言模型在充分学习电话交谈语料相关性的基础上,将其应用于语音识别系统的重评估过程,并将这一方法与基于高元语言模型、前向神经网络(feed forward neural network,FFNN)以及递归神经网络(recurrent neural network,RNN)语言模型的重评估方法进行对比.实验结果表明,LSTM-DNN语言模型在重评估方法中具有最优性能,与一遍解码结果相比,在中文测试集上字错误率平均下降4.1％.     

基于音节的维吾尔语大词汇连续语音识别系统

维吾尔语是一种黏着语,基于单词的语言模型不太适合于维吾尔语大词汇连续语音识别任务。该文提出了适合维吾尔语的基于音节的语言模型,引入最大匹配分词算法评价音节语言模型在大词汇连续语音识别任务中的单词识别性能。实验结果表明:基于音节的语言模型在未登录词和模型复杂度等方面表现出比基于单词的语言模型更加优越的性能,并且使识别系统的单元错误率比基于单词的系统减少了50%。因此,在维吾尔语语音识别任务上可以将音节作为识别单元。     

随机轨迹模型中汉语连续语音识别基元的选取方案

在比较各种汉语语音识别基元的基础上,结合汉语语音和随机轨迹模型的特色,提出了以音素类单元作为汉语连续语音识别系统的识别基元．基于音素基随机轨迹模型的汉语连续语音识别系统的实验结果表明,该方案可行．     

随机轨迹模型中汉语连续语音识别基元的选取方案要

在比较各种汉语语音识别基元的基础上,结合汉语语音和随机轨迹模型的特色,提出了以音素类单元作为汉语连续语音识别系统的识别基元,基于音素基随机轨迹模型的汉语连续语音识别系统的实验结果表明,该方案可行。     

维吾尔语大词汇语音识别系统识别单元研究

维吾尔语是一种黏着语,单词不太适合作为维吾尔语大词汇连续语音识别系统识别单元。针对维吾尔语大词汇连续语音识别系统中的识别单元选择问题,设计更适合维吾尔语的子词识别单元,提出维吾尔语单词和子词相结合的组合识别单元构建方法,并对单词、子词和组合识别单元的语言模型和语音识别性能进行评价。实验结果表明,所提出的识别单元在单元数量、语言模型复杂度等方面表现出更加优越的性能,并且使识别系统的单词错误率比基于单词的系统相对减少22%。     

IBM GALE中文识别系统

为解决中文音频自动转成文字问题,IBM开发了GALE中文识别系统。该系统采用区分性声学模型训练方法和新颖的基于主题的语言模型自适应技术;为获得最优的识别性能,系统采用多遍解码的识别策略。该文还给出该系统在3个测试集上的识别结果:包括广播新闻和广播访谈节目,结果显示,IBM GALE中文识别系统取得了很好的识别性能;此外,该文还分析了特殊声学现象对识别结果的影响,结果显示,对识别率影响最大的3种声学现象为说话人语速过快、语音交叠和口音问题,这指示了系统下一步的改进方向。     

鲁棒语音识别技术综述

鲁棒语音识别是为了解决噪声环境所引起的语音识别系统识别和训练不匹配的情况.依据噪声对语音识别系统的影响,从信号空间、特征空间及模型空间3个层面上分别对语音增强技术、特征增强技术及语音模型补偿、增强技术进行了总结,并分析了不同方法的特点、实现及应用.     

结合主题依存特征和Bigram的汉语语言建模方法

在Bigram语言模型建模过程中，语言被看作符号集序列，没有考虑语言本身具有的语法和语义结构特征，虽然在线的文本训练数据迅速增长，但语言模型的性能却再获得大幅度的提高，基于统计方法语言建模的基本原理，提出了一种结合Bigram和主题依存特征的中文语言建模方法，初步实验结果表明，该方法可有效地补充Bigram模型提取特征的不足，通过提取远距离主题依存特征降低了语言模型的分支度。     

一种融合PLSA模型和树模型的文本病历语义分析新方法

将文本语义分析领域中的概率潜语义分析（PLSA）模型和语义树模型进行融合, 设计一种新模型, 并将其应用在文本病历语义分析上, 较好地解决了文本病历语义分析过程中存在的“多词一义”情况, 降低了语义维度, 简化了窗口语义树的结构. 通过语义分解和语义检索实验证明了该模型在文本病历语义分析上的优势.     

语义冲突及冲突处理模型的设计

自然语言是由语言、语法、语义构成的.语义常常会产生不一致,这些不一致往往需要借助语境也即语音、语法结构和上下文进行理解.本文分析了计算机处理的信息中存在的语义不一致现象,并提出了语义冲突的处理模型.     

融合语音增强与后续补偿的抗噪声语音识别方法

为了提高基于隐含Markov模型的语音识别系统在噪声环境中的稳健性,研究了一种融合语音增强与后续补偿的抗噪声语音识别方法.在前端,语音增强有效地抑制背景噪声,从而提高了输入信号的信噪比.语音增强后的剩余噪声以及语音失真是对语音识别不利的因素,其影响将通过识别阶段的并行模型合并或特征提取阶段的倒谱均值归一化得到补偿.实验结果表明,此方法能够显著地提高语音识别系统在噪声环境中,特别是低信噪比条件下的识别精度,如对-5 dB的自噪声,该方法可将识别精度从11.7%提高至71.0%.     

一种抗噪孤立字语音识别模型

论提出一种连续隐Markov模型和BP神经网络相结合的,具有两次辨识过程的抗噪孤立字识别模型,首先以连续隐Markov模型完成语音信号的时序建模并提供一次识别信息,以BP神经网络进行后处理,提取二次识别信息,识别结果由两次识别信息共同决定,实验证明,由于有效地利用了隐Markov模型的强时序信号处理能力和BP神经网络的强模式分类和泛化性能,这种识别模型明显地改善了孤立字识别系统的抗噪性能。     

利用FP-树构造多词Trigger对语言模型

在语音识别系统中,Trigger模型作为语言模型的一种,用于描述长距离词与词之间的关系,然而以往的Trigger语言模型多是针对单个词的模型,本文借鉴数据挖掘中关联规则发现的Apriori算法,利用效率比较高的FP-树算法产生多词Trigger对,由此构造多词Trigger对语言模型,这种模型能够更多地利用历史数据,弥补了传统N元文法语言模型描述距离小于N的缺点.     

中文连续语音识别系统音素建模单元集的构建

在识别系统中,建模单元能够勾画一种语言的声学和语音学特性,因此对系统性能起到至关重要的作用。该文参照一些已在大词汇量连续语音识别系统(LVCSR)中取得较好效果的建模单元集,构建了新的音素建模单元集(Ne-wPS)。另外,根据NewPS中元音及其变体对前后接音素协同发音的影响,提出了基于扩展的元音三角图设计问题集(NewQS)的方法。实验表明:NewPS和NewQS结合的识别性能超越了传统的声韵母建模单元集;并且,建模单元数目大幅度的减少给系统后续模块的处理带来了便利。     

SystemC的扩展及其在性能分析中的应用研究

在嵌入式系统的系统级建模和性能分析过程中,经常需要定量地分析和评估系统的平均延时、CPU占用率等性能指标.本文基于SystemC语言,针对嵌入式系统设计了一套性能分析评估的库函数,用于统计性能参数样本、计算期望值和置信区间,同时在性能指标满足要求的精度时终止仿真.并详细阐述了性能分析库函数的设计方法.以语音识别系统为例,设计了一个虚拟仿真平台,并使用该性能分析库函数进行性能分析,仿真结果表明,设计的库函数适用于嵌入式语音识别系统的性能分析,在一定程度上对SystemC的类库进行了扩展.     

基于UML的领域规则建模方法

为了实现领域约束规则的可视化表示,检验需求模型与领域知识之间的一致性,该文提出一种领域规则建模及需求模型验证方法.在借鉴本体定义元模型和语义网规则语言(SWRL)基础上,定义了一种领域规则定义元模型.用该元模型扩展统一建模语言,使其可用于领域规则建模.给出了领域规则模型到SWRL描述的转换方法,使需求模型验证可通过形式化推理引擎自动完成.通过模型验证案例分析,说明了该方法的可用性.     

采用长短时记忆网络的低资源语音识别方法

针对低资源环境下由于标注训练数据不足、造成语音识别系统识别率急剧下降的问题,提出一种采用长短时记忆网络的低资源语音识别(LSTM-LRASR)方法。该方法采用长短时记忆网络构建声学模型,从特征提取、数据扩展及模型优化3个方面提高低资源语音识别性能。在特征提取方面,提取语言无关的高层稳健特征参数,降低声学模型对训练数据的依赖;在数据扩展方面,对已有标注数据进行语速扰动,对无标注数据进行自动识别,从而自动获取更多标注数据;在模型优化方面,通过序贯区分性训练技术提高模型对易混淆音素的区分能力,利用最小风险贝叶斯解码对多个系统进行融合,进一步提高识别性能。对OpenKWS16评测数据的实验结果表明,采用LSTMLRASR方法搭建的低资源语音识别系统的词错率相对基线系统下降了29.9%,所有查询词的查询项权重代价提升了60.3%。     

有限态文法引导的基于连续密度HMM的连续汉语语音识别

介绍了用有限态文法引导的基于连续密度隐马尔可夫模型(HMM)的连续汉语语音识别系统.分析了系统的组成,词语的HMM的训练方法和对识别系统的测试结果。实验表明,用有限态文法辅助进行连续语音识别是一种有效的策略;连续密度HMM与基于矢量量化的HMM/VQ相比需要较大的计算量,但可明显提高识别准确率。     

借助音频数据的发音字典新词学习方法

针对已有的发音字典扩展方法只能从文本数据中学习新词而无法学习到音频数据中新词的问题,提出了一种基于混合语音识别系统的发音字典新词学习方法。该方法首先分别采用音节和字母音素对混合识别系统对音频数据进行集外词识别,利用系统间的互补性得到尽可能多的新词及其发音候选,然后借助感知器与最大熵模型对得到的新词及发音进行优化,降低错误率,最后实现发音字典的扩展,并利用语法语义信息完成对语言模型参数更新。基于华尔街日报(WSJ)语料库的连续语音识别实验表明:该方法可以有效学习到音频数据中的未知新词,采取的数据优化策略极大地提高了所得新词及发音的精度;在词错误率指标下,字典扩展后系统的识别性能相对基线系统提高约13.4%。