融合知识图谱信息的命名实体识别方法

在大规模文本语料库上预先训练的BERT等神经语言表示模型可以很好地从纯文本中捕获丰富的语义信息.但在进行中文命名实体识别任务时,由于中文命名实体存在结构复杂、形式多样、一词多义等问题,导致中文命名实体识别效果不佳.考虑到知识图谱可以提供丰富的结构化知识事实,从而更好地进行语言理解,提出了一种融合知识图谱信息的中文命名实体识别方法,通过知识图谱中的信息实体增强语言的外部知识表示能力.实验结果表明,与BILSTM-CRF、BERT等方法相比,所提出的方法有效提升了中文命名实体的识别效果,在MSRA与搜狐新闻网标注数据集上,F1值分别达到了95. 4%与93. 4%.     

基于分层ERNIE模型的中文嵌套命名实体识别

近年来中文嵌套命名实体识别的相关研究进展缓慢，BERT和RoBERTa等预训练模型在处理中文语言时，导致模型只能学习到不完整的语义表示.针对以上两个问题，首先使用现有的中文命名实体基准语料库ACE2004和ACE2005,依照原始语料的中心词和外延的关系自动构造嵌套命名实体；然后使用分层ERNIE模型在构建好的中文语料库上进行中文嵌套命实体识别的研究，相较于BERT等模型，ERNIE模型则是通过对中文实体语义单元的掩码，使得模型学习完整概念的语义表示.实验结果表明，分层ERNIE模型在ACE2004和ACE2005两个中文嵌套命名实体语料库上F1值分别为84.5%和85.9%,性能优于BERT和RoBERTa模型.     

面向化学资源文本的命名实体识别

针对化学资源文本中的命名实体,提出一种适合于化学资源文本的命名实体识别方法,旨在将化学物质、属性、参数、量值4种命名实体进行识别.该方法根据化学资源文本的语言规律及特点,建立BLSTM-CRF模型对命名实体进行初步识别,并使用基于词典与规则相结合的方法对识别结果进行校正.实验结果表明,该方法在化学资源文本中能够较好地完成命名实体识别任务,在测试语料上的F1值最高能达到94.26%.     

融合领域词向量的实体识别研究

以字为切分单位的BERT预训练模型在实体识别任务中表现优异,但其忽略粗粒度的领域词汇作为整体的语义表示信息,对于教育领域课程文本中存在大量嵌套实体的识别效果不佳。针对上述问题,提出动态融合字、词级别词向量的LEBERT-CRF教育领域课程文本实体识别方法,利用词典适配器将领域词典特征高效融入BERT模型中,以提升BERT模型对实体词边界的识别效果,更好地适应课程知识抽取任务。结果表明,LEBERT-CRF模型相较其他主流的实体识别模型表现更好,F1达到95.47%。     

基于BERT和双向RNN的中文林业知识图谱构建研究

为了融合碎片化林业文本数据,解决目前林业网络知识散乱、无序和关联性不强的问题,将深度学习与知识图谱相结合,提出一种基于改进BERT和双向RNN的模型用于林业实体识别和实体关系抽取。通过基于实体Mask的BERT词向量处理,自动提取出序列中与研究领域相关的词级和语义特征,将词向量输入命名实体识别模型和实体关系提取模型训练。在通用数据集上,实体关系抽取BERT-BiGRU-Attention模型效果更优,F1值提升1%,准确率在90%以上;实体识别BERT-BiLSTM-CRF模型各项指标比传统模型提高2%。在林业数据集上,模型准确率达到80%以上。表明基于BERT和双向RNN模型构建中文林业知识图谱是可行的。在此模型的基础上搭建中文林业知识图谱智能系统,可以优化林业信息管理方法,促进林业发展。     

基于BERT-BLSTM-CRF的政务领域命名实体识别方法

政务领域的命名实体通常是一些政务事项名,这类实体与开放域实体比较,具有长度较长、实体并列、别称等特点,目前还未见公开可用的训练数据集。构建了具有25 176个句子的政务领域命名实体识别数据集,并提出一种基于BERT-BLSTM-CRF的神经网络识别模型,该模型在不依赖人工特征选择的情况下,使用BERT中文预训练模型,然后采用BLSTM-CRF识别实体。实验结果表明,该模型识别效果优于CRF,BLSTM-CRF,CNN-BLSTMCRF,F1值达到92. 23%。     

融合注意力机制的BERT-BiLSTM-CRF中文命名实体识别

针对目前中文命名实体识别无法表征一词多义以及未能深入捕捉文本潜在语义特征的问题,提出一种融合注意力机制的BERT-BiLSTM-CRF中文命名实体识别方法。首先,通过BERT模型预训练,获得含有丰富语义的词向量;其次,传送到BiLSTM中,获取文本的上下文特征;然后,将上层的输出结果再传向注意力层,对文本中不同文字赋予不同的权重,增强当前信息和上下文信息之间潜在的语义相关性,捕捉文本的潜在语义特征;最后,将结果输入到条件随机场进行解码标注。实验结果表明,在1998年人民日报数据集上取得了较好的识别效果。     

面向中文微博命名实体识别的对比研究

命名实体识别是自然语言处理的重要基础,同时也是信息抽取,机器翻译等应用的关键技术.近年来,网络媒体微博的迅速发展,为命名实体识别研究提供了全新的载体.针对中文微博文本短、表达不清、网络化严重等特点,对目前命名实体识别两种应用比较广泛的方法,基于最大熵模型的识别方法和基于条件随机场模型的识别,进行对比研究.在真实的微博数据上进行对比实验.通过实验结果的对比得出这两种方法在中文微博命名实体识别上的优缺点.     

面向网络文本的中文产品命名实体识别

分析电子数码领域的产品命名实体识别的难点和特点,提出了一种基于知识库的最大熵模型的产品命名实体识别方法,实现了从中文网络文本中抽取产品命名实体.实验表明,该系统在电子数码领域中能较好地识别出产品命名实体,对产品命名实体的F1值识别性能达到86.91%.     

结合多头自注意力机制与 BiLSTM-CRF的中文临床实体识别

命名实体是电子病历中相关医学知识的主要载体,因此,临床命名实体识别(Clinical Named Entity Recognition,CNER)也就成为了临床文本分析处理的基础性任务之一.由于文本结构和语言等方面的特殊性,面向中文电子病历(Electronic Medical Records,EMRs)的临床命名实体识别依然存在着巨大的挑战.本文提出了一种基于多头自注意力神经网络的中文临床命名实体识别方法.该方法使用了一种新颖的融合领域词典的字符级特征表示方法,并在BiLSTM-CRF模型的基础上,结合多头自注意力机制来准确地捕获字符间潜在的依赖权重、语境和语义关联等多方面的特征,从而有效地提升了中文临床命名实体的识别能力.实验结果表明本文方法超过现有的其他方法获得了较优的识别性能.     

基于BERT-BiLSTM-CRF模型的中文实体识别研究

中文文本实体识别,是自然语言处理的关键问题.传统的语言处理模型无法有效表示文本中的上下文语义信息,无法处理一词多义的不同语境,影响实体识别效果.提出了一种BERT-BiLSTM-CRF的实体识别模型,BERT预处理语言模型生成表征上下文语义信息的词向量,通过双向长短期记忆网络对生成的向量进行特征提取,自注意力机制能够有效获取文本语句中的长距离依赖,最后通过CRF进行解码生成实体标签序列.实验结果表明,该模型在微软亚洲研究院MSRA语料库和人民日报语料库上都取得了优异成绩,F1分别达到96.12％和95.88％.     

体育赛事命名实体识别研究

为了准确地从中文文本中识别出复杂体育赛事命名实体,提出了一种基于双层条件随机场模型的命名实体识别方法.该方法首先在低层条件随机场模型中识别出简单体育赛事命名实体,然后在高层条件随机场模型中识别出嵌套了简单体育赛事命名实体的复杂命名实体如赛事名、参赛球队名和比赛场馆名.在对大规模真实语料进行的开放测试中,赛事名、参赛球队名和比赛场馆名识别的F值分别达到97.09%,97.81%和98.03%.     

基于CRFs的多策略生物医学命名实体识别

生物医学命名实体识别是生物医学文本挖掘的基本任务.机器学习方法是生物医学命名实体研究的主流方法,选取有效的机器学习算法和采取有效的识别策略是提高生物医学命名实体识别性能的关键,鉴于条件随机域算法在自然语言处理领域的优势,本文采用该算法并结合多种识别策略对生物医学命名实体识别进行研究.实验取得了良好的效果,F测度达到了70.52%,与其它相关系统比较,识别性能有了明显提高.     

融合领域词典嵌入的航空不安全事件命名实体识别

针对航空不安全事件领域命名实体识别任务,以航空安全信息周报为数据源,分析并构建航空不安全事件命名实体识别数据集和领域词典。为解决传统命名实体识别模型对于捕获领域实体边界性能较差的问题,基于BERT(bidirectional encoder representations from transformers)预训练语言模型提出融合领域词典嵌入的领域语义信息增强的方法。在自建数据集上进行多次对比实验,结果表明：所提出的方法可以进一步提升实体边界的识别率,相较于传统的双向长短期记忆网络-条件随机场(bi-directional long short term memory-conditional random field, BiLSTM-CRF)命名实体识别模型,性能提升约5%。     

基于BERT-IDCNN-CRF的中文命名实体识别方法

预训练语言模型能够表达句子丰富的句法和语法信息,并且能够对词的多义性建模,在自然语言处理中有着广泛的应用,BERT(bidirectional encoder representations from transformers)预训练语言模型是其中之一。在基于BERT微调的命名实体识别方法中,存在的问题是训练参数过多,训练时间过长。针对这个问题提出了基于BERT-IDCNN-CRF(BERT-iterated dilated convolutional neural network-conditional random field)的中文命名实体识别方法,该方法通过BERT预训练语言模型得到字的上下文表示,再将字向量序列输入IDCNN-CRF模型中进行训练,训练过程中保持BERT参数不变,只训练IDCNN-CRF部分,在保持多义性的同时减少了训练参数。实验表明,该模型在MSRA语料上F1值能够达到94.41%,在中文命名实体任务上优于目前最好的Lattice-LSTM模型,提高了1.23%;与基于BERT微调的方法相比,该方法的F1值略低但是训练时间大幅度缩短。将该模型应用于信息安全、电网电磁环境舆情等领域的敏感实体识别,速度更快,响应更及时。     

基于BERT的数控机床故障领域命名实体识别

针对数控机床(computer numerical control,CNC)故障领域命名实体识别方法中存在实体规范不足及有效实体识别模型缺乏等问题,制定了领域内实体标注策略,提出了一种基于双向转换编码器(bidirectional encoder representations from transformers,BERT)的数控机床故障领域命名实体识别方法。采用BERT编码层预训练,将生成向量输入到双向长短期记忆网络(bidirectional long short-term memory,BiLSTM)交互层以提取上下文特征,最终通过条件随机域(conditional random field,CRF)推理层输出预测标签。实验结果表明,BERT-BiLSTM-CRF模型在数控机床故障领域更具优势,与现有模型相比,F1值提升大于1.85%。     

基于条件随机场和知识库的手机短信命名实体识别

针对手机短信的口语化特点,对手机短信中命名实体识别进行了研究.在对手机短信语料研究与分析的基础上,提出了一种针对手机短信口语化语料进行命名实体识别的方法.实验表明,这种方法对手机短信语料中的命名实体具有较好的识别结果.     

基于BERT和多头注意力的中文命名实体识别方法

针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题，提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注，提取出命名实体。在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明，改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明，BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition，NER)任务。     

地理信息服务领域的实体自动化识别

针对地理信息服务领域(Geographic Information Services,GIServices)在实体自动识别方面存在缺乏语料、多种实体嵌套、语义稀疏等问题,本文设计了一套地理信息服务文献实体标注规范,构建了地理信息服务领域的语料;在传统实体识别模型BiLSTM-CRF的基础上,引入了BERT(Bidirectional Encoder Representaions from Transformers)预训练模型及卷积层(Convolutional layer),构建了 BERT-1DCNN-BiLSTM-CRF模型,提升了地理信息服务文献实体识别的准确率.该模型在词嵌入层以BERT预训练模型取代了传统的静态语言模型,从而有效地解决了地理信息服务领域因缺乏大量训练语料而无法表达更丰富句子语义信息的问题;此外,在BERT模型之后还加入了字间卷积特征,提升了句子局部特征的表示能力,降低了句子语义稀疏的干扰.实验结果表明,融合了 BERT模型与CNN模型的GIServices文献实体识别方法效果优于传统深度学习的方法,模型准确率达到了 0.826 8,能够较好地实现GIServices文献自动化实体识别,同时也能较好地体现基于BERT的深度学习模型在实体自动化识别方面的有效性.     

东盟十国新闻文本的命名实体识别研究

为构建东盟十国知识图谱,需要对相关文本进行命名实体识别工作。设计一种基于双向GRU-CRF的神经网络模型对中国驻东盟十国大使馆中文新闻数据进行命名实体识别。以预训练的领域词向量为输入,利用双向GRU网络从向量化的文本中提取语义特征,再通过CRF层预测并输出最优标签序列。为了进一步改善结果,在双向GRU和CRF层之间添加两层隐藏层。在数据预处理方面,提出一种数据集划分算法对文本进行更加科学合理的划分。在东盟十国数据集上将该模型与几种混合模型进行对比,结果显示所提模型在人名、地名、组织机构名识别任务中拥有更好的识别性能。