基于BERT-IDCNN-CRF的中文命名实体识别方法

预训练语言模型能够表达句子丰富的句法和语法信息,并且能够对词的多义性建模,在自然语言处理中有着广泛的应用,BERT(bidirectional encoder representations from transformers)预训练语言模型是其中之一。在基于BERT微调的命名实体识别方法中,存在的问题是训练参数过多,训练时间过长。针对这个问题提出了基于BERT-IDCNN-CRF(BERT-iterated dilated convolutional neural network-conditional random field)的中文命名实体识别方法,该方法通过BERT预训练语言模型得到字的上下文表示,再将字向量序列输入IDCNN-CRF模型中进行训练,训练过程中保持BERT参数不变,只训练IDCNN-CRF部分,在保持多义性的同时减少了训练参数。实验表明,该模型在MSRA语料上F1值能够达到94.41%,在中文命名实体任务上优于目前最好的Lattice-LSTM模型,提高了1.23%;与基于BERT微调的方法相比,该方法的F1值略低但是训练时间大幅度缩短。将该模型应用于信息安全、电网电磁环境舆情等领域的敏感实体识别,速度更快,响应更及时。     

多特征中文命名实体识别

命名实体识别任务是对文本中的实体进行定位,并将其分类至预定义的类别中.目前主流的中文命名实体识别的模型是基于字符的命名实体识别模型.该模型在使用句法特征之前,需先进行分词,不能很好的引入句子的句法信息.另外,基于字符的模型没有利用词典中的先验词典信息,以及中文偏旁部首蕴含的象形信息.针对上述问题,论文提出了融合句法和多粒度语义信息的多特征中文命名实体识别模型.实验证明论文模型相对目前主流模型有了较大的提高,同时论文还通过实验分析了各种特征对模型识别效果的影响.     

基于ERNIE与多特征融合的中文命名实体识别

【目的】在中文命名实体识别中,传统命名实体识别方法中词向量只能将其映射为单一向量,无法表征一词多义,在特征提取过程中易忽略局部特征。针对以上问题,提出一种基于知识增强语义表示(enhanced reprsentation through knowledge integration, ERNIE)与多特征融合的实体识别方法。【方法】首先,通过预训练模型ERNIE获得词向量;然后将词向量并行输入双向长短时记忆网络(bidirectional long short-term memory network, BiLSTM)与膨胀卷积神经网络(iterated dilated convolutional neural network, IDCNN)中提取特征,再将输出特征向量进行融合;最后通过条件随机场(conditional random field, CRF)解码获取最佳序列。【结果】本研究所提出的模型优于其他传统模型,在微软亚洲研究院(Microsoft Research Asia, MSRA)数据集上的F₁值达到了95.18%,相比基准模型BiLSTM-CRF F<...     

融合笔画特征的命名实体识别方法

汉字是象形文字,其字形特征对于中文命名实体识别有着重要的作用。针对双向长短期记忆模型（bi-directional long short-term memory,BiLSTM）提取部首,命名实体识别准确率不高的问题,提出笔画组成编码器,用于获取汉字的字形特征,并将笔画字形特征向量和预训练的语言表征模型（bidirectional encoder representation from transformers,BERT）输出的字向量进行拼接,将拼接后的向量放入双向长短期记忆模型与条件随机场（conditional random field,CRF）相连的标注模型（BiLSTM-CRF）中进行命名实体识别。实验表明,所提的方法在Resume数据集上命名实体识别准确率有显著提升。相较于用卷积神经网络做编码器提取汉字字形特征,准确率高出0.4%。相较于使用BiLSTM提取的部首特征模型和加入词典的长短期记忆模型(Lattice LSTM)模型其准确率分别提升了4.2%、0.8%。     

词典信息分层调整的中文命名实体识别方法

在中文命名实体识别任务中,字信息融合词汇信息能丰富文本特征,但一个字可能对应多个候选词汇,容易产生词汇冲突,融合无关词汇信息会影响模型的识别效果,对此提出了词典信息分层调整的中文命名实体识别方法。首先将所有潜在词语按照词语长度进行分层,通过高层词语反馈调整低层词语的权重来保留更有用的信息,以此缓解语义偏差问题和降低词汇冲突影响;然后将词汇信息拼接到字信息来增强文本特征表示。在Resume和Weibo数据集上的实验结果表明,本文方法与传统方法相比具有更优的效果。     

中文医疗命名实体识别方法研究综述

电子医疗系统中的医疗健康数据为医学研究和医疗实践奠定了强大的数据基础,如何充分利用这些数据进行探索和分析,更好地支持临床决策和大众健康仍然面临着诸多挑战.因此,对中文医疗命名实体识别方法和研究现状进行归纳分析,对于医学研究具有一定的指导意义.本文阐述了医疗命名实体识别任务的定义,分析并提出了中文医疗命名实体识别的研究热...     

多准则融合的中文命名实体识别方法

为提高中文命名实体识别任务的识别率,提出了一种多准则融合模型.采用基于字的BERT语言模型作为语言信息特征提取层,将其接入多准则共享连接层和条件随机场(CRF)层,得到融合模型.建立大规模中文混合语料库,优化模型参数,使用单GPU设备完成BERT语言模型的预训练.将融合模型在MSRA-NER和RMRB-98-1实体标注...     

结合位置感知的命名实体识别方法

命名实体识别(Named Entity Recognition,NER)的性能影响自然语言处理中诸多下游任务。跨度分类是命名实体识别常用的方法,由于其需要枚举每一个跨度,因此存在高复杂度和大量负实例问题。此外,对每个跨度的独立预测不仅忽略了词与词之间的依赖关系和位置信息,而且导致模型获取的语义信息较为单一,从而忽略了全局信息。针对上述问题,本文提出结合位置感知的命名实体识别方法。具体来说,首先使用位置编码增强词与词之间的位置特征,序列融合了绝对位置信息和相对位置信息,从而得到关注语序的语义信息,预测可能的实体边界;然后对候选实体边界进行匹配组合并过滤生成带有标签信息的候选实体实例;最后使用具有局部信息感知的标签注意力机制和多层感知机联合判断候选实体的标签。实验结果表明,本文提出模型在ACE2005、GENIA和CoNLL-2003数据集上的F1分数分别达到90.02%、81.33%和94.52%,该结果充分验证了所提模型在不同数据集上的有效性,进一步证明了其在命名实体识别任务中的优越性能。     

融合多特征的中文产品命名实体识别

针对中文产品命名实体,提出了一种基于多种特征融合的识别方法。该方法以词为标注粒度,将多种特征融合到条件随机场模型中,采用递增式学习策略选取最优的特征模板,实现了从中文自由文本中识别产品命名实体。实验表明,该方法获得了令人满意的实验效果,准确率、召回率和F值分别达到94.87%、92.50%和93.67%。     

FCNN深度学习模型及其在动物语音识别中的应用

为解决使用语音信号准确识别动物以保护和研究野生动物的问题,提出一种全连接算法与稀疏连接算法相结合的全卷积神经网络(FCNN: Fully Convolutional Neural Network),用于语音的自动识别.利用全连接算法提取更多的组合特征,稀疏连接算法筛选重要特征可加快收敛速度.同时给出了具体的模型结构及算...     

结合上下文词汇匹配和图卷积的材料数据命名实体识别

材料领域的文献中蕴含着丰富的知识, 利用机器学习和自然语言处理等手段对文献进行数据挖掘是研究热点. 命名实体识别(named entity recognition, NER)是高效利用挖掘和抽取数据中信息的首要步骤. 为了解决现有实体识别方法中存在的向量表示无法解决一词多义、模型常提取上下文特征而忽略全局特征等问题, 提出了一种基于上下文词汇匹配和图卷积命名实体识别方法. 该方法首先利用 XLNet 获取文本的上下文动态特征, 其次利用长短期记忆网络并结合文本上下文匹配词汇的图卷积神经网络(graph convolutional network, GCN)模型分别获取上下文特征与全局特征, 最终经过条件随机场输出标签序列. 2 种不同语料对模型进行验证的结果表明, 该方法在材料数据集上的精确率、召回率和 F1 值分别达到 90.05%、88.67% 和 89.36%, 可有效提升命名实体识别的准确率.     

结合上下文词汇匹配和图卷积的材料数据命名实体识别

材料领域的文献中蕴含着丰富的知识, 利用机器学习和自然语言处理等手段对文献进行数据挖掘是研究热点. 命名实体识别(named entity recognition, NER)是高效利用挖掘和抽取数据中信息的首要步骤. 为了解决现有实体识别方法中存在的向量表示无法解决一词多义、模型常提取上下文特征而忽略全局特征等问题, 提出了一种基于上下文词汇匹配和图卷积命名实体识别方法. 该方法首先利用 XLNet 获取文本的上下文动态特征, 其次利用长短期记忆网络并结合文本上下文匹配词汇的图卷积神经网络(graph convolutional network, GCN)模型分别获取上下文特征与全局特征, 最终经过条件随机场输出标签序列. 2 种不同语料对模型进行验证的结果表明, 该方法在材料数据集上的精确率、召回率和 F1 值分别达到 90.05%、88.67% 和 89.36%, 可有效提升命名实体识别的准确率.     

Chinese Speech Recognition Model Based on Activation of the State Feedback Neural Network

IntroductionIn recentyears,speech recognition has made greatprogress.Commercial systems such as Via Voice( IBM Company) and Naturally Speaking 1 .0( Dragon System Company ) lead the field.Although the recognition ratio has greatlyimproved,many issues still need further research,such as,real- time in processing,systemcomplexity[4 6] ,very large scale integrated circuit( VLSI) implementation,etc.Among these issues,the implementation in VLSI is the most criticalchallenge for wide use of s…     

面向低资源命名实体识别的BiLSTM-Att-BCRF模型

在低资源场景下,由于受训练数据量少的限制,现有模型的参数不能拟合到预期效果,所以导致模型识别实体的性能不佳.该文提出一种融入伯努利分布(Bernoulli distribution)的新型损失函数,使模型能较好拟合数据.此外,该文在BiLSTM-CRF模型基础上融合多层字符特征信息和自注意力机制,并结合基于伯努利分布的新型损失函数,构建了BiLSTM-Att-BCRF模型.BiLSTM-Att-BCRF模型在20%的CONLL2003和20%的BC5CDR的数据集上,F₁值在BiLSTM-CRF模型基础上分别提升了7.00%和4.08%,能较好地适应低资源命名实体识别任务.     

新神经网络结构及其在数码语音识别中的应用

为了提高人工神经网络处理动态信号能力 ,在时延神经网络 ( TDNN )和卷积神经网络 ( CNN)的基础上 ,针对孤立音节的特点 ,提出了一个新的网络结构 ,研究了其学习算法。新网络在进一步改进后用于汉语孤立数码语音识别 ,对特定人和非特定人任务 ,分别达到了 97.7%和 95 .6%的正确识别率 (无拒识 ) ,其性能远远高于多层前向感知机( ML P)和时延神经网络 ,与传统的隐马尔科夫模型 ( HMM)方法是可以相比的。     

语音识别中的DenseNet模型研究

为了解决语音识别中由网络加深导致的低层特征消失、参数量大及网络训练困难的问题,基于Inception V3网络的非对称卷积思想,提出了一种改进的密集连接卷积神经网络(densely connected convolutional neural networks, DenseNet)模型。根据语音识别的长时相关性,通过密集连接块建立起不同层之间的连接关系,从而保存低层特征、加强特征传播;为了得到尺度更丰富的声学特征,将卷积核的范围进行扩大;利用非对称卷积思想分解卷积核,以减少参数量。实验结果表明,相较经典深度残差卷积神经网络模型和原始DenseNet模型,提出的模型在THCHS30数据集上的语音识别性能更好,在保证识别率的情况下,还减少了网络参数量,提高了模型训练效率。     

神经网络文字识别系统的研制

研究人工神经网络技术在文字识别上的应用．阐述了该系统的基本原理、模型,并运用反向传播（ＢＰ）模型进行文字识别系统的模型,以探求解决集合庞大、字形复杂并且存在大量相似结构的汉字的高速自动输入途径     

基于增量方法的卷积语音情感识别网络

提出了一种新颖的语音情感识别结构,从声音文件中提取梅尔频率倒谱系数(Melscale frequency cepstral coefficients,MFCCs)、线性预测倒谱系数(linear predictive cepstral coefficients,LPCCs)、色度图、梅尔尺度频谱图、Tonnetz表示和频谱对比度特征,并将其作为一维卷积神经网络(convolutional neural network,CNN)的输入.构建由一维卷积层、Dropout层、批标准化层、权重池化层、全连接层和激活层组成的网络,并使用Ryerson情感说话/歌唱视听(Ryerson audio-visual database of emotional speech and song,RAVDESS)数据集、柏林语音数据集(Berlin emotional database,EMO-DB)、交互式情绪二元运动捕捉(interactive emotional dyadic motion capture,IEMOCAP)数据集这3个数据集的样本来识别情感.为提高分类精度,利用增量方法修改初始模型.为...