交通信息标准条款BLSTM和CNN链式模型分类方法

为了有效获取交通运输信息标准中的一致性条款,简化标准测试方法,针对现有文本分类方法中卷积神经网络存在的缺少上下文含义和循环神经网络存在的梯度消失及梯度弥散等问题,提出一种基于BLSTM的文本增强表示方法和基于CNN网络的语句分类相结合的方法进行一致性条款分类.其核心思想是将BLSTM前向和后向过程产生的向量相加,然后与原文本向量拼接作为文本的向量表示,将文本向量作为CNN网络的输入进行文本分类.为验证所提模型的有效性,设置了与传统机器模型TF-IDF+SVM、单CNN、BLSTM神经网络模型及经典混合模型的对比试验.通过构造的交通运输信息标准条款数据集测试表明,基于改进的BLSTM和CNN的链式混合神经网络模型准确率达到93.77%.     

基于RBF神经网络的射频功放器件大信号建模方法研究

基于多层前向神经网络对任意非线连续函数有较好的逼近效果,对BP(反向传播算法)神经网络和RBF(径向基函数)神经网络作了理论上的分析比较,并采用实际数据进行训练,说明了RBF神经网络在逼近精度和速度上都要优于BP神经网络.最后,以RBF神经网络作为函数逼近器对射频功率器件建立了大信号特征模型,并进行了模型检验,证明了基于RBF网络的建模方法具有较高的精度.     

基于RBF神经网络的射频功放器件大信号建模方法研究

基于多层前向神经网络对任意非线性连续函数有较好的逼近效果，对BP(反向传播算法)神经网络和RBF(径向基函数)神经网络作了理论上的分析比较。并采用实际数据进行训练。说明了RBF神经网络在逼近精度和速度上都要优于BP神经网络。最后，以RBF神经网络作为函数逼近器对射频功率器件建立了大信号特征模型，并进行了模型检验，证明了基于RBF网络的建模方法具有较高的精度。     

基于卷积循环神经网络的语音逻辑攻击检测

语音合成和语音转换等技术正逐渐成为合成语音的主流方法,合成语音对社会稳定和国家安全都具有潜在的风险。为进一步提高合成、转换伪造语音检测的准确率,从混合网络模型,特征选择出发,提出了基于CNN-RNN-DNN网络的3种混合网络模型,分别为CNN-LSTM-DNN、CNN-GRU-DNN、CNN-BiLSTM-DNN。模型中卷积神经网络(convolutional neural network, CNN)部分可以进行下采样,循环神经网络(recurrent neural network, RNN)部分解决语音中的时序问题,深度神经网络(deep neural network, DNN)部分则实现分类功能。每种混合网络模型包含20层网络层。对提取的6种声学特征进行实验,其中CNN-LSTM-DNN+MFCC的组合表现最优,等错误率为5.79%,比ASVspoof2019提供的B02基线系统低28.43%。比较了3种混合网络结合6种特征的表现并增加了其与4种单独网络的对照实验,结果表明本文提出的混合网络模型具有性能稳定、准确率高等优点且梅尔频率倒谱系数(mel-frequency cepstr...     

基于双向长短时记忆模型的中文分词方法

中文分词是中文自然语言处理中的关键基础技术之一.目前,传统分词算法依赖于特征工程,而验证特征的有效性需要大量的工作.基于神经网络的深度学习算法的兴起使得模型自动学习特征成为可能.文中基于深度学习中的双向长短时记忆(BLSTM)神经网络模型对中文分词进行了研究.首先从大规模语料中学习中文字的语义向量,再将字向量应用于BLSTM模型实现分词,并在简体中文数据集(PKU、MSRA、CTB)和繁体中文数据集(HKCity U)等数据集上进行了实验.实验表明,在不依赖特征工程的情况下,基于BLSTM的中文分词方法仍可取得很好的效果.     

多层前向小世界神经网络的逼近与容错性能

基于Watts-Strogatz网络模型的构造思想,对多层前向神经网络中的规则连接依重连概率进行重连,构建了一种多层前向小世界神经网络模型.对该网络模型进行简要的数学描述,并以函数逼近和网络容错仿真考察了构建的小世界神经网络的性能.结果表明,与规则或随机连接的网络相比,当重连概率处于0.1～0.2时,小世界神经网络具有更优的逼近性能,且当网络学习速率参数在0.1～0.3之间时,对小世界神经网络的逼近性能影响较小.此外,当网络权值故障率小于30%时,重连概率不大于0.8的小世界神经网络与规则网络同样具有较优的容错性能,而当故障率大于40%时,重连概率较大的小世界神经网络和随机连接的神经网络的容错性能要明显优于规则网络.     

基于BiLSTM_CRF模型的藏文分词方法

藏文分词是实现藏文语音合成和藏文语音识别的关键技术之一。提出一种基于双向长短时记忆网络加条件随机场(bidirectional long-short-term memory with conditional random field model, BiLSTM_CRF)模型的藏文分词方法。对手工分词的语料经过词向量训练后输入到双向长短时记忆网络(bidirectional long-short-term memory, BiLSTM)中,将前向长短时记忆网络(long-short-term memory, LSTM)和后向LSTM学习到的过去输入特征和未来输入特征相加,传入到线性层和softmax层进行非线性操作得到粗预测信息,再利用条件随机场(conditional random field, CRF)模型进行约束性修正,得到一个利用词向量和CRF模型优化的藏文分词模型。实验结果表明,基于BiLSTM_CRF模型的藏文分词方法可取得较好的分词效果,分词准确率可达94.33%,召回率为93.89%,F值为94.11%。     

基于注意力机制的卷积循环网络语音降噪

不同噪声在频谱上具有不同的特性,为了解决卷积神经网络对含有不同噪声的语音降噪的局限性,通过引入通道注意力机制作为卷积循环网络的中间层,将卷积层中不同功能的卷积核赋予不同的权重,使模型在训练时能够对输入数据更有针对性地去除噪声部分,从而达到更好的降噪效果。针对含有15种噪声的含噪语音分别应用循环神经网络、编解码卷积网络和卷积循环神经网络等三种模型进行降噪处理,结果表明引入注意力机制的模型相比于其他两种模型,在感知语音质量评价(perceptual evaluation of speech quality, PESQ)和短时客观可懂度(short time objective intelligibility, STOI)评分上都有所提高,且引入注意力机制的模型能够更好地保留语音的谐波信息。     

基于RBF神经网络的射频功放器件大信号建模方法研究

基于多层前向神经网络对任意非线性连续函数有较好的逼近效果，对BP（反向传播算法）神经网 络和RBF（径向基函数）神经网络作了理论上的分析比较，并采用实际数据进行训练，说明了RBF神经网 络在逼近精度和速度上都要优于BP神经网络。最后，以RBF神经网络作为函数逼近器对射频功率器件建 立了大信号特征模型，并进行了模型检验，证明了基于RBF网络的建模方法具有较高的精度。     

基于发音特征DBN模型的嘴部动画合成

具有真实感的面部动画合成是虚拟现实的重要研究内容,在传统的基于多流隐马尔可夫模型(MSHMM)的可视语音合成中,由于MSHMM不能为发音器官的运动关系建模,合成的嘴部图像模糊且缺乏细节变化.提出了结合发音特征的多流动态贝叶斯网络语音模型(AF_AVDBN),定义了各节点的条件概率分布,使得发音特征(如嘴唇、舌体和声门/软腭)之间可以异步,并在此基础上推导了基于极大似然估计原理的嘴部最优参数学习算法.嘴部动画合成实验结果表明,基于AF_AVDBN的合成方法能够得到非常逼真的嘴部图像,效果远远优于基于MSHMM的可视语音合成方法,能够更好地应用于人机交互等领域.     

基于深层神经网络(DNN)的汉语方言种属语音识别

将深层神经网络(Deep Neural Network)应用于汉语方言种属语音识别.基于优化的QuickNet软件,为方言识别实现了一种有监督的DNN逐层预训练方法.在训练时,从3层开始逐层做有监督的神经网络训练,每增长一层的初始权值包含前一层训练好的部分权值和输出端的随机权值.在得到最大层的初始权值后,再进行传统的BP网络训练.该方法和普通神经网络相比识别率有较大提升,可用于移动互联网标准语音识别人口、方言口音鉴识等领域.     

基于Laguerre正交基神经网络的动态手势识别

提出一种基于Laguerre正交基前向神经网络的动态手势识别方法.首先根据多项式逼近和矩阵理论,构造了一种以Laguerre正交多项式作为隐含层神经元激励函数的多输入、多输出三层前向神经网络模型,在网络权值迭代计算公式基础上推出一种基于伪逆的直接计算网络权值方法,避免求取权值的反复迭代过程;提出一种快速的基于颜色的指尖...     

语音识别中的DenseNet模型研究

为了解决语音识别中由网络加深导致的低层特征消失、参数量大及网络训练困难的问题,基于Inception V3网络的非对称卷积思想,提出了一种改进的密集连接卷积神经网络(densely connected convolutional neural networks, DenseNet)模型。根据语音识别的长时相关性,通过密集连接块建立起不同层之间的连接关系,从而保存低层特征、加强特征传播;为了得到尺度更丰富的声学特征,将卷积核的范围进行扩大;利用非对称卷积思想分解卷积核,以减少参数量。实验结果表明,相较经典深度残差卷积神经网络模型和原始DenseNet模型,提出的模型在THCHS30数据集上的语音识别性能更好,在保证识别率的情况下,还减少了网络参数量,提高了模型训练效率。     

基于目标逼近特征和双向联想贮存器的情感语音基频转换

提出了一种用于情感语音合成的基频转换方法.该方法使用定量目标逼近(q TA)特征作为语音音节层的基频描述,并用高斯双向联想贮存器(GBAM)实现中性合成语音音节层q TA参数向目标情感语音音节层q TA参数的转换.在模型训练阶段,首先基于中性语料库和统计参数语音合成方法构建中性语音合成系统;然后利用少量情感录音数据,将从情感语音文本对应的中性合成语音中提取的q TA参数作为源数据,将情感录音中提取的q TA参数作为目标数据,进行GBAM转换模型的训练.在情感语音合成阶段,利用训练得到的GABM模型,实现中性合成语音基频特征向目标情感的转换.实验结果表明,该方法在目标情感数据较少的情况下可以取得比最大似然线性回归(MLLR)模型自适应方法更好的情感表现力.     

LM算法在神经网络语音识别中的应用

输入语音信号中声音的特征提取和分类识别可以通过多层前馈神经网络大量学习实现,但基于误差反向传播的前馈神经网络(BP神经网络)标准算法收敛速度慢,在训练中效率不高。采用一种快速稳定的Levenberg-Marquardt算法进行语音识别,通过对语音信号的预处理、特征提取和网络结果优化,建立了网络训练样本集,用MATLAB进行了仿真,仿真结果表明,该算法优于传统的BP算法,具有更好的收敛性。     

一种新型前向神经网络用于汉语四声识别

提出了一种新型的前向神经网络，并研究了其在语音识别中的应用。该神经网络为只含一层非线性隐层的前向神经网络，以线性的输出层代替一般ＢＰ网络的非线性输出层，可以更准确地，范围更大地完成非线性函数估值功能。该神经网络采用了包括反向传播算法及最小均方算法的混合算法进行训练，可以减少落入局部最小点的概率以及提高收敛速度。     

基于GERBF神经网络非线性预测的ADPCM算法控制系统中的应用

用神经网络建立非线性预测模型对语音信号进行处理,采用后向预测建模,不增加传输码率。采用一种改进的广义径向基函数网络(GERBF),利用正交最小二乘法训练速度快的优点,降低算法的复杂性。实验表明:基于GERBF预测器的语音编码系统在嵌入维数很少时亦能较好地去除语音信号相关性,其恢复语音质量优于CCITT,建议G.721中的ADPCM算法。     

基于CNN-BLSTM的食品舆情实体关系抽取模型研究

食品舆情实体关系抽取是构建食品舆情知识图谱的关键技术,也是当前信息抽取领域的重要研究课题。针对食品舆情中常出现的实体对多关系问题,在卷积神经网络(convolutional neural network,CNN)中引入基于位置感知的领域词语义注意力机制;在双向长短时记忆(bidirectional long short-term memory,BLSTM)网络中引入基于位置感知的语义角色注意力机制,构建基于CNN-BLSTM的食品舆情实体关系抽取模型。在食品舆情数据集上进行了对比实验,实验结果表明:基于CNN-BLSTM的食品舆情实体关系抽取模型在食品舆情数据集上准确率比常用的几种深度神经网络模型高出8.7%~13.94%,验证了模型的合理性和有效性。     

基于循环神经网络的人体行为识别

使用4种类型的循环神经网络模型(RNN、GRU、LSTM、BLSTM)处理手机传感器采集的异构时间序列数据,用于人体行为识别研究.针对4种模型,分别构建自动特征提取方法,并对参数设置进行优化.在公开数据集UCI HAR上进行了行为识别测试实验,实验结果表明,BLSTM模型的识别精度高达95.7%,可以有效地用于行为识别,其识别率和性能优于其他3种循环神经网络,且高于卷积神经网络深度学习方法.     

基于回声状态网络的声环境中目标信号增强方法

基于声信道特点和回声状态神经网络建模,提出了一种通过抑制环境回声而相应增强目标语音的信号处理方法.仿真实验表明,对应于模型最好的泛化能力,其储备池规模(N)及其稀疏连接度(p)的N×p取值(为储备池中互相连接的神经元数量)是极值;其训练数据量(即足够的训练时间)存在一个下限值.训练建模后,该模型不仅达到通过抑制环境回声而相应增强输出目标语音信号的目的,而且麦克风接收信道改变时,也保持有效的处理效果.