语谱特征的身份认证向量识别方法

针对采用梅尔频率倒谱系数(mel-frequency cepstrum coefficient,MFCC)作为身份认证向量(identity vector,i-vector)进行说话人识别存在语音信息不全的问题,提出一种基于语谱特征的身份认证向量识别说话人的方法。语音信号经过预加重、分帧加窗预处理之后,通过短时傅立叶变换转换成语谱图,语谱图被提交到高斯通用背景模型,在高维均值超向量空间中选择合适的低维线性子空间流型结构以构造符合正态分布的向量作为身份认证向量。这些获取的身份认证向量经过线性判别性分析实现降维并存储。最后采用对数似然比(log-likelihood ratio,LLR)方法对训练和测试阶段的i-vector进行评分,完成说话人识别。以TIMIT数据库为标准的数值实验结果表明,相比采用MFCC作为特征的识别方法,研究的等错误率(equal error rate,EER)更低。     

基于听觉模型特征的与文本无关说话人识别系统

基于听觉生理和心理学的感知机理,提出一种适于说话人识别的特征参数提取方法。该方法采用Gammatone滤波器组代替常用的三角形滤波器组计算出语音信号各子带能量,根据等效矩形带宽模型,确定了各个滤波器的中心频率与带宽。同时从语音信号各子频带携带的说话人个性特征信息量角度分析对滤波器子带进行加权处理,最后结合倒谱均值减方法对特征进行处理,最终生成具有较高鲁棒性的特征。采用高斯混合模型对说话人进行建模,仿真实验的结果表明:提出的特征参数对含噪语音的与文本无关说话人识别具有较好的效果,在低信噪比情况下,具有比传统特征参数更好的噪声鲁棒性。     

基于PCANN/PDP混合结构的噪声环境下说话人识别方法的研究

提出了一种基于PCANN／PDP混合结构的实际环境下说话人识别的方法。它采用相继几帧组成的特征参数矢量作为说话人识别系统的输入,能有效地在说话人识别系统中引入帧间相关信息。针对噪声往往具有帧间相关性小,能量分布频率范围广且数值较小,在语音信号主分量特征中对应于贡献率较小的分量等特点,话人识别系统的前端增加语音参数压缩的主分量分析神经网络（PCANN）。同时提出了概率DP匹配说话人识别方法。通过对噪声环境下与文本无关的说话人识别实验,这种方法的有效性得到了验证。     

说话人识别算法鲁棒性研究

由于噪声干扰问题,说话人识别算法的效率受到很大影响.为此,在美尔倒谱系数特征提取的基础上,采用半升正弦函数对特征进行修正.采用特征规整、特征弯折和特征映射三种方法对特征进行校对.为提高说话人识别率以及模型的鲁棒性,提出混合BP神经网络与混合高斯模型的方法,将高斯混合模型的概率输出作为神经网络输入,从而获取说话人间的交互信息.试验结果显示,算法的识别率高,抗噪性好.     

与文本无关的单训练样本说话人识别

针对现有的说话人识别方法对环境噪声较为敏感的问题,提出了一种与文本无关的单训练样本说话人识别方法。该方法能够提取语音时频谱的局部特征,此特征不仅对白噪声、高斯噪声、粉红噪声有很强的鲁棒性,而且能够充分反映说话人的基本发声特性。针对该局部特征的基本特点,给出了适合该局部特征的贝叶斯决策方法。对英文与汉语语音数据库的仿真实验表明,该识别方法可以实现单训练样本下的说话人识别,识别精度明显高于现有的Mel频率倒谱系数(MFCC)与线性预测编码(LPCC)语音特征,而且对白噪声等各类环境噪声有较高的鲁棒性。     

基于量子逻辑线路神经网络的说话人识别方法

 由于说话人的语音信号具有时变性、随机性,其特征参数也呈现出高维及相邻帧变化较大等特点。从量子信息处理理论出发,将一帧语音信号视为一个量子态,在传统神经网络的基础上,利用量子逻辑线路构造神经网络,实现说话人语音信号的有效聚类,探索一种基于量子逻辑线路神经网络的说话人识别模型与方法。利用模型固有的大量全局吸引子,可有效降低语音信号处理的时间及复杂度。通过在经典计算机上模拟仿真,并与BP神经网络说话人识别模型进行对比,表明该方法能够加快说话人识别模型的收敛速率,对参数变化具有更好的鲁棒性,且其系统识别率比BP神经网络方法平均提高了3.34%。     

一种新型的与文本相关的说话人识别方法研究

在与文本相关的说话人识别研究中,既要包含说话人身份的识别,又要包含语音文本内容的识别.提出一种基于语音识别的与文本相关的说话人识别方法,从而建立说话人的声纹模型和语音文本模型,与传统的仅建立一种模型的方法相比,该方法能更精确地描述说话人身份信息和语音的文本信息,较好地解决了短时语音样本识别效果不佳的问题.测试实验表明,和传统与文本相关的说话人识别方法(如基于动态时间规整、高斯混合-通用背景模型)相比,由本方法建立的系统虚警概率降低了8.9%,识别性能得到了提高.     

一种量子神经网络说话人识别方法

针对说话人语音特征空间边界存在模糊性的特点,构建了一种量子神经网络识别分类器,用于说话人识别,以改善存在交叉数据的语音特征参数的分类效果。提出了一种基于人工免疫算法的量子间隔训练方法,以改善传统量子神经网络训练算法的不足。以TIMIT语音库为测试语音,与传统BP网络和基于常规梯度下降量子间隔训练算法的量子神经网络做对比实验。实验证明,算法能有效提高说话人识别系统的识别率,同时与高斯混合模型相比,具有更好的抗噪声性能。     

一种融合全局时空特征的CNNs动作识别方法

针对基于卷积神经网络(CNNs)的人体动作识别方法通常采用空域或时域局部特征的不足,提出一种融合人体动作全局时域和空间特征的双通道CNNs动作识别模型.空间通道对动作图像进行深度学习,采用多帧融合的方式提升准确率,全局时域通道对能量运动历史图(EMHI)进行深度学习,最后融合两个通道信息识别人体动作.利用现有的大型数据集进行预训练,以解决学习过程中训练样本不足问题.在UCF101数据集和该项目小样本数据集上进行实验,结果证明了该方法的有效性.     

基于三层结构优化卷积神经网络的语音识别

目前说话人、环境及发音多样性仍是语音识别声学建模中需解决的主要难题,为了克服这些不利因素的影响,本文将经过三层结构优化后的卷积神经网络应用于语音识别,利用卷积神经网络的卷积不变性克服语音信号的多样性,采用更符合生物神经元特性的新型激活函数改进卷积层缓解梯度消失的问题;利用中间池化方法改进池化层、减小特征提取误差,使用卷...     

卷积神经网络声学模型的结构优化和加速计算

将卷积神经网络(convolutional neural networks,CNN)声学模型应用于中文大词表连续电话语音识别任务中,分析了卷积层数、滤波器参数等变量对CNN模型性能的影响,最终在中文电话语音识别测试中,CNN模型相比传统的全连接神经网络模型取得了识别字错误率1.2％的下降.由于卷积结构的复杂性,常规的神经网络加速方法如定点量化和SSE指令加速等方法对卷积运算的加速效率较低.针对这种情况,对卷积结构进行了优化,提出了2种卷积矢量化方法:权值矩阵矢量化和输入矩阵矢量化对卷积运算进行改善.结果表明,输入矩阵矢量化方法的加速效率更高,结合激活函数后移的策略,使得卷积运算速度提升了8.9倍.     

基于CGRU模型的语音情感识别研究与实现

语音情感识别是人机交互、情感计算中重要的研究方向.目前普遍使用深度神经网络用于语音情感特征的提取，但使用哪种神经网络模型、如何缓解模型过拟合问题还需进一步研究.针对这些问题，提出了一种结合一维卷积(CNN)以及门控循环单元(GRU)的CGRU模型，从原始语音信号的MFCC特征中提取语音的低阶以及高阶情感特征，并通过随机森林对其进行特征选择，在三种公用的情感语料库EMODB，SAVEE，RAVDESS上分别取得了79%，69%以及75%的识别精度.通过添加高斯噪声及改变速度等方法来增加样本量实现数据扩充，进一步提高了识别精度.通过在线识别系统验证了模型在实际环境中的可用性.     

语音识别中的DenseNet模型研究

为了解决语音识别中由网络加深导致的低层特征消失、参数量大及网络训练困难的问题,基于Inception V3网络的非对称卷积思想,提出了一种改进的密集连接卷积神经网络(densely connected convolutional neural networks, DenseNet)模型。根据语音识别的长时相关性,通过密集连接块建立起不同层之间的连接关系,从而保存低层特征、加强特征传播;为了得到尺度更丰富的声学特征,将卷积核的范围进行扩大;利用非对称卷积思想分解卷积核,以减少参数量。实验结果表明,相较经典深度残差卷积神经网络模型和原始DenseNet模型,提出的模型在THCHS30数据集上的语音识别性能更好,在保证识别率的情况下,还减少了网络参数量,提高了模型训练效率。     

基于深度神经网络和Bottleneck特征的说话人识别系统

近来,一种结合语音识别中深度神经网络(deep neural network,DNN)模型和说话人识别中身份认证矢量(identity vector,i-vector)模型的方法被证明对说话人识别十分有效。为了进一步提升系统性能,该文提出使用基于说话人标签的DNN模型提取Bottleneck特征代替该模型中的短时频谱特征来计算充分统计量,从而使统计量中包含更多有利于说话人识别的信息。在美国国家标准与技术研究院说话人识别库2008年度女性电话对电话英语测试任务上进行的实验证明了该方法的有效性。相比原来的短时频谱特征,基于Bottleneck特征的说话人识别系统在等错误率和最小检测代价上相对减小了7.65%和5.71%。     

基于张量分解模型的语音信号特征提取方法

提出了一种通过张量分解提取语音信号特征的方法. 该方法对语音信号进行预处理,然后对每帧语音信号进行小波分解得到不同尺度上的信息,对这些信息提取传统特征参数,构建一个帧结构×分解尺度×特征参数的三阶张量,并经过张量分解得到各阶投影矩阵,从而建立语音信号在高阶空间上的特征体系,以便充分表征语音信号的特征. 实验结果表明,本文提出的方法与传统特征参数体系比较,有利于语音识别系统性能的提高,并且对于带噪语音的识别具有一定的鲁棒性.      

一种新的说话人识别序列特征提取方法

针对支持向量机不能直接处理动态时间序列的语音数据问题,提出一种基于PCS-PCA分类器和AOI-Fisher分值(add original information fisher score)法的序列特征提取方法.首先利用PCA对每位注册说话人的特征向量进行维数约简,由转换矩阵得到每位说话人的主成分空间(principal component space,PCS),在此空间上快速判断出可能的R个说话人;然后在R个可能说话人的约简向量集上建立高斯混合模型;最后利用AOI-Fisher分值法进行向量定长转换的同时,为每位说话人的特征向量添加一维原始分类信息log P(X|θ).仿真实验结果表明,将该序列特征提取方法应用于SVM说话人确认系统,在不影响系统识别速度的情况下,具有较高的识别性能.     

基于话者识别的新的去噪和识别方法

为了提高系统的鲁棒性,联合二代小波和TEO一起对语音进行去噪.为了解决动态环境下的说话人识别的误识率问题,在识别阶段,把小生境粒子群算法应用于GMM之中.从实验得出,采用本文提出的参数对于说话人识别的效果较好.采用基于小生境粒子群的高斯混合模型进一步提高了识别性能.     

基于自适应帧采样算法和BLSTM的视频转文字研究

针对视频转文字(video to text)存在的建模复杂和准确率低的问题,提出了基于自适应帧采样算法和双向长短时记忆模型的视频转文字方法.自适应帧采样算法能够动态地调整采样率,以提供尽量多的特征来训练模型;结合双向长短时记忆模型,能有效学习视频中前面帧和未来帧的相关信息;同时,用于训练的特征是来自深度卷积神经网络的特征,使得这种双深度的网络结构能够学习视频帧在时空上的关联表示及全局依赖信息;帧信息的融合又增加了特征的种类,从而提升了实验效果.结果显示,在M-VAD和MPIIMD两个数据集中,文中的方法在METEOR中的评分均值分别为7.8%和8.6%,相对原S2VT模型分别提高了16.4%和21.1%,也提升了视频转文字的语言效果.     

GMM-UBM和SVM说话人辨认系统及融合的分析

在说话人辨认任务中,Gauss混合模型-通用背景模型(Gaussian mixture model-universal backgroundmodel,GMM-UBM)采用帧向量进行建模和识别,突出了说话人个性特征,但受信道影响较大;支持向量机(support vector machine,sVM)利用帧向量在空间中分布的Gauss混合的均值进行建模和识别,对信道的鲁棒性较好,但对说话人的个性体现不够.该文分析了这2种说话人识别系统的优缺点,并采用融合方法来提高系统的性能.在美国国家标准与技术研究所(NIST)评测数据集的实验中,融合系统的等错误率从GMM-UBM系统的9.30％和SVM系统的8.26％降低到7.34％,分别相对降低了21.08％和11.14％.     

一种新的电能质量扰动识别方法

针对电能质量扰动信号数据多、识别速度慢、识别过程复杂等问题,提出一种基于压缩感知理论和一维卷积神经网络的电能质量扰动信号识别分类方法,该方法通过离散傅里叶变换、高斯矩阵获取原始扰动信号的稀疏向量,利用正交匹配追踪算法重构扰动信号,将原始扰动信号和稀疏向量输入一维卷积神经网络分类模型;由仿真结果可知,可充分降低现有识别方法所需处理的扰动信号的数据量,实现了以较少的数据量表达扰动信号的特征信息,对有、无噪声情况下的14种单一、复合扰动信号具有很高的识别率,表明了方法具有采样数据少、特征提取方便、高识别率和较好的噪声鲁棒性的特点。