Bert-BLSTM-CRF模型的中文命名实体识别

中文命名实体识别方法中采用较多的是神经网络模型,但该模型在训练过程中存在字向量表征过于单一的问题,无法很好地处理字的多义性特征.因此,提出一种基于Bert-BLSTM-CRF模型的中文命名实体识别研究方法,使用Bert预训练语言模型,根据字的上下文信息来丰富字的语义向量,将输出的字向量序列作为输入送入BLSTM-CRF模型进行训练.实验结果表明,此方法在中文命名实体识别任务上其准确率、召回率和F1值分别取得了94.80％、95.44％和95.12％的成绩,相较于其他传统方法,效果显著.     

基于BERT-BiGRU-CRF的电子简历命名实体识别

针对现有的中文电子简历命名实体识别任务中,模型在训练过程中出现字向量表示单一和无法较好地处理字的多义性问题,提出了一种基于BERT的中文电子简历命名实体识别模型。该模型将电子简历的文本数据通过BERT进行字符级编码,根据上下文语境丰富字的语义信息,有效解决了一词多义的问题;将得到的字向量输入到双向门控循环单元进行特征提取,获取文本的上下文特征;利用条件随机场进行解码并生成标签序列,得到命名实体。实验结果表明,该模型能够有效提高中文电子简历命名实体识别的准确率。     

联合实体边界检测的命名实体识别方法

针对传统命名实体识别方法无法有效利用实体边界信息的问题,提出一种联合实体边界检测的命名实体识别方法,即将实体边界检测作为辅助任务,增强模型对实体边界的判断能力,进而提升模型对实体的识别效果。首先,利用Bert预训练语言模型对原始文本进行特征嵌入获取词向量,并引入自注意力机制增强词对上下文信息的利用;其次,在命名实体识别任务的基础上,添加实体边界检测辅助任务,增强模型对实体边界的识别能力;再次,对比联合实体边界检测的命名实体识别方法与基线方法的有效性,并对测试结果进行消融实验;最后,进行样例分析,分析损失权重β对实体边界检测的影响。实验结果表明,在英文社交媒体数据集Twitter-2015上,联合实体边界检测的命名实体识别方法相较于基线模型取得了更高的精准率、召回率和F1值,其中F1值达到了73.57%;并且,边界检测辅助任务提升了基线方法的检测效果。所提方法能有效利用实体边界信息,从而获得更好的实体识别效果,促进了人机交互系统的发展,对自然语言处理下游任务有重要意义。     

基于双向GRU-CRF的中文包装产品实体识别

为了实现包装行业的信息自动抽取,需要对文本中的包装产品进行命名实体识别工作。设计了一种基于双向GRU-CRF的中文包装产品实体识别方法。以预训练的领域词向量为输入,通过双向GRU网络对上下文语义信息进行建模,并使用输出端的CRF层对最佳标签序列进行预测。将该模型与传统的序列标注模型以及循环神经网络模型在包装产品文本数据集上进行了对比,实验结果表明,本文模型具有较少人工特征干预、更高准确率和召回率等优点。     

基于ELECTRA与神经网络模型的中文医疗知识图谱实体识别

如今随着互联网的发展,数据呈现的方式大不相同,然而知识图谱的出现,给人们提供了一种更好地组织、管理和理解海量信息的能力.知识图谱质量的高低与实体以及实体之间的关系存在密不可分的关系,从实体角度出发,研究实体识别方法.如今大多数深度学习模型对实体识别效果不错,但在语义信息方面没有考虑上下文信息,并且模型体积庞大,参数数量多,导致模型预测结果与真实结果误差大,能耗高.提出了一种ELECTRA模型与神经网络模型结合来进行命名体识别的方法,该方法降低能耗以及提升训练速度,同时又提高了实体识别的准确率等.该组合模型分为三块：首先对ELECTRA模型进行改进,输入文本进行[cls]以及[seq]处理,避免实体边界模糊问题.然后进行随机15%的Mask机制,经生成器预测,再经判别器判别,形成字向量.其次将字向量引入双向长短期记忆网络BiLSTM中,进行上下文语义增强后将句子序列打分.最后通过条件随机场CRF层找到最优的序列标签.实验结果表明,该方法在医疗语料库进行实体识别时,准确率为97.94%、召回率为95.41%、F1值为95.44%、精确率为95.46%,与已有的方法相比,提出的方法效果提升明...     

基于ERNIE-BiGRU-CRF-FL的中文命名实体识别方法

目的 解决中文命名实体识别任务中存在的一词多义以及标签分类不均衡问题。方法 提出一种融合焦点损失(Focal Loss)函数的ERNIE-BiGRU-CRF-FL实体识别方法。使用ERNIE预训练模型获取动态词向量,解决一词多义问题;双向门控循环单元(BiGRU)捕捉双向语义信息;条件随机场(CRF)解码得到命名实体标签;同时引入Focal Loss对CRF进行优化,缓解序列标注中标签分类不均衡的问题。结果 经过在MSRA语料库中进行实验,ERNIE-BiGRU-CRF-FL模型的实体识别效果优于其它模型,其精确率、召回率和F₁值分别达到了94.45%、94.37%和94.41%。结论 ERNIE-BiGRU-CRF-FL模型能更好地识别出中文文本中的命名实体,具有一定的实用价值。     

基于语义边界增强的司法命名实体识别

法律文书命名实体识别是智慧司法的关键任务。现有的序列标注模型仅关注字符信息,导致在法律文书命名实体识别任务中无法获得语义和词语的上下文信息,且无法对实体的边界进行限制。因此,该文提出了一个融合外部信息并对边界限制的司法命名实体识别模型(semantic and boundary enhance named entity recognition, SBENER)。该模型收集了40万条盗窃罪法律文书,首先,预训练模型,将获得的司法盗窃罪词向量作为输入模型的外部信息;其次,设计Adapter,将司法盗窃罪的信息融入字符序列以增强语义特征;最后,使用边界指针网络对实体边界进行限制,解决了序列标注模型丢失词语信息及缺少边界限制的问题。该模型在CAILIE 1.0数据集和LegalCorpus数据集上进行实验,结果表明,SBENER模型在2个数据集上的F₁值(F₁-score)分别达88.70%和87.67%,比其他基线模型取得了更好的效果。SBENER模型能够提升司法领域命名实体识别的效果。     

词典信息分层调整的中文命名实体识别方法

在中文命名实体识别任务中，字信息融合词汇信息能丰富文本特征，但一个字可能对应多个候选词汇，容易产生词汇冲突，融合无关词汇信息会影响模型的识别效果，对此提出了词典信息分层调整的中文命名实体识别方法。首先将所有潜在词语按照词语长度进行分层，通过高层词语反馈调整低层词语的权重来保留更有用的信息，以此缓解语义偏差问题和降低词汇冲突影响；然后将词汇信息拼接到字信息来增强文本特征表示。在Resume和Weibo数据集上的实验结果表明，本文方法与传统方法相比具有更优的效果。     

基于词向量聚类的中文微博产品命名实体识别

随着微博等社交平台的兴起,如何针对微博数据进行产品命名实体识别成为了自然语言处理领域研究的热点之一,也是实现舆情监督和商业智能的基础.传统的命名实体识别技术没有考虑中文微博口语化、不规范等特点,且忽略了深层语义对命名实体识别的重要作用.因此,考虑中文微博的特殊性,提出一种融合全局上下文信息的词向量特征选择方法,分别采用主题模型和神经网络词向量聚类两种方法获取深层语义信息,并结合层叠条件随机场进行中文微博的命名实体识别.实验结果表明,基于词向量聚类的中文微博产品命名实体识别方法取得了较好的效果.     

融合注意力机制的BERT-BiLSTM-CRF中文命名实体识别

针对目前中文命名实体识别无法表征一词多义以及未能深入捕捉文本潜在语义特征的问题,提出一种融合注意力机制的BERT-BiLSTM-CRF中文命名实体识别方法。首先,通过BERT模型预训练,获得含有丰富语义的词向量;其次,传送到BiLSTM中,获取文本的上下文特征;然后,将上层的输出结果再传向注意力层,对文本中不同文字赋予不同的权重,增强当前信息和上下文信息之间潜在的语义相关性,捕捉文本的潜在语义特征;最后,将结果输入到条件随机场进行解码标注。实验结果表明,在1998年人民日报数据集上取得了较好的识别效果。     

基于迁移学习的维吾尔语命名实体识别

针对维吾尔语命名实体识别存在无法关注词序列依赖关系等问题,提出一种基于迁移学习的联合深度模型(TBIBC).首先通过BERT(Bidirectional Encoder Representations from Transformers)预训练中文数据集生成具有语义信息的词向量,再将词向量序列通过空洞卷积神经网络(IDCNN)进行膨胀操作以减少神经元层数和参数,输出向量输入到双向门控循环单元(BiGRU)进行上下文语义信息提取,然后通过CRF层得到最优标签序列.模型采用共享深度神经网络隐藏层的方法将训练好的中文实体识别模型迁移到维吾尔语模型上.结果表明,该模型的准确率为91.39%,召回率为90.11%,F1值达到90.75%,能显著提升维吾尔语命名实体识别性能.     

融合深度学习与规则的民族工艺品领域命名实体识别

提出了一种融合深度学习与规则的民族工艺品领域实体识别方法.首先通过BERT预训练语言模型获得语义向量;然后将其输入到BiLSTM-CRF序列标注模型中训练并预测初步结果;最后根据领域特点提出相应的规则对错误预测结果校正.实验结果表明,在自建的民族工艺品数据集上获得的准确率、召回率和F1值分别为95.43%、90.88%和93.10%,可以有效地提取民族文本中命名实体信息.     

融合动态掩码预训练与膨胀卷积的实体识别

针对传统的BERT模型在使用中文语料进行预训练时无法获取词的信息问题,本文中在预训练阶段引入基于动态掩码的RoBERTa预训练模型;该预训练模型所生成的语义表示含有词的信息,能够表达句子丰富的句法和语法信息,并且能够对词的多义性建模,更适用于中文命名实体识别任务;同时通过字在上下文中能形成词的词向量对相应的字向量进行了增强;为了提高模型的效率,在序列建模层引入膨胀卷积神经网络。实验表明,该模型在多尺度上下文和结构化预测方面比传统CNN有更好的容量,在常用中文实体识别任务语料库上,验证了模型的有效性。     

基于双向编码器表示模型和注意力机制的食品安全命名实体识别

针对于目前传统的命名实体识别模型在食品案件纠纷裁判文书领域的准确率不足的问题,在双向长短时记忆网络的基础上提出一种基于双向编码器表示模型(bidirectional encoder representations from transformers,Bert)和注意力机制的命名实体识别模型.模型通过Bert层进行字向量预训练,根据上下文语意生成字向量,字向量序列输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)层和Attention层提取语义特征,再通过条件随机场(conditional random field,CRF)层预测并输出字的最优标签序列,最终得到食品案件纠纷裁判文书中的实体.实验表明,该模型在食品纠纷法律文书上面的准确率和F1值分别达到了92.56％和90.25％,准确率相较于目前应用最多的BiLSTM-CRF模型提升了6.76％.Bert-BiL-STM-Attention-CRF模型通过对字向量的预训练,充分结合上下文语意,能够有效克服传统命名实体识别模型丢失字的多义性的问题,提高了食品案件纠纷裁判文书领域命名实体识别的准确率.     

基于ERNIE与多特征融合的中文命名实体识别

【目的】在中文命名实体识别中,传统命名实体识别方法中词向量只能将其映射为单一向量,无法表征一词多义,在特征提取过程中易忽略局部特征。针对以上问题,提出一种基于知识增强语义表示(enhanced reprsentation through knowledge integration, ERNIE)与多特征融合的实体识别方法。【方法】首先,通过预训练模型ERNIE获得词向量;然后将词向量并行输入双向长短时记忆网络(bidirectional long short-term memory network, BiLSTM)与膨胀卷积神经网络(iterated dilated convolutional neural network, IDCNN)中提取特征,再将输出特征向量进行融合;最后通过条件随机场(conditional random field, CRF)解码获取最佳序列。【结果】本研究所提出的模型优于其他传统模型,在微软亚洲研究院(Microsoft Research Asia, MSRA)数据集上的F₁值达到了95.18%,相比基准模型BiLSTM-CRF F<...     

基于特征增强的中医本草命名实体识别方法

传统中医本草文献含有丰富的中医知识,是中医理论研究的重要载体.为了更好地挖掘中医本草知识,精准地实现中医本草文献命名实体识别任务,提出了一种基于特征增强的Bert-BiGRU-CRF中医本草命名实体识别模型,使用特征融合器拼接Bert生成的词向量与实体特征作为输入,以双向门控循环单元(bi-directional gated recurrent unit, BiGRU)为特征提取器,以条件随机场(conditional random fields, CRF)进行标签预测,通过特征增强的方法更好地识别中医本草的药名、药性、药味、归经等实体及其边界信息,完成中医本草命名实体任务.在中医本草数据集上的实验结果表明,融入特征的模型F1值达到了90.54%,证明了所提出的方法可以更好地提高中医本草命名实体识别精度.     

面向高中化学试题的命名实体识别

中文化学命名实体结构没有严格的构词规律可循,识别实体中包含字母、数字、特殊符号等多种形式,传统字向量模型无法有效区分化学术语中存在的嵌套实体和歧义实体。为此,将高中化学试题资源的命名实体划分为物质、性质、量值、实验四大类,并构建化学学科实体词汇表辅助人工标注。通过ALBERT预训练模型提取文本特征并生成动态字向量,结合BILSTM-CRF(Bidirectional Long Short-Term Memory with Conditional Random Field)模型对高中化学试题文本进行命名实体识别。实验结果表明,该模型的精确率、召回率和F1值分别达到了95.24%、95.26%、95.25%。     

多神经网络协作的军事领域命名实体识别

互联网公开数据蕴含着大量高价值的军事情报,成为获取开源军事情报的重要数据源之一。军事领域命名实体识别是进行军事领域信息提取、问答系统、知识图谱等工作的基础性关键任务。相比较于其他领域的命名实体,军事领域命名实体边界模糊,界定困难;互联网媒体中军事术语表达不规范,随意性的简化表达现象较普遍;现阶段面向军事领域的公开语料鲜见。该文提出一种考虑实体模糊边界的标注策略,结合领域专家知识,构建了基于微博数据的军事语料集MilitaryCorpus;提出一种多神经网络协作的军事领域命名实体识别模型,该模型通过基于Transformer的双向编码器(bidirectional encoder representations from transformers, BERT)的字向量表达层获得字级别的特征,通过双向长短时记忆神经网络(bi-directional long short-term memory, BiLSTM)层抽取上下文特征形成特征矩阵,最后由条件随机场层(conditional random field, CRF)生成最优标签序列。实验结果表明:相较于基于CRF的实体识别模型,应用该文提出的BERT-BiLSTM-CRF模型召回率提高28.48%,F值提高18.65%;相较于基于BiLSTM-CRF的实体识别模型,该文模型召回率提高13.91%,F值提高8.69%;相较于基于CNN (convolutional neural networks)-BiLSTM-CRF的实体识别模型,该文模型召回率提高7.08%,F值提高5.15%。     

基于深度学习和多特征融合的中文电子病历实体识别研究

电子病历实体识别是医疗领域人工智能和医疗信息服务中非常关键的基础任务.为了更充分地挖掘电子病历中的实体语义知识以提升中文医疗实体识别效果,提出融入外部语义特征的中文电子病历实体识别模型.该模型首先利用语言模型word2vec将大规模的未标记文本生成具有语义特征的字符级向量,接着通过医疗语义资源的整合以及实体边界特征分析构建了医疗实体及特征库,将其与字符级向量相拼接以更好地挖掘序列信息,最后采用改进的Voting算法将深度学习结果与条件随机场(Conditional Random Fields,CRF)的结果加以整合来纠正标签偏置.实验表明,融入外部语义特征的改进模型的F值达到94. 06%,较CRF高出1. 55%.此外,还给出了模型最佳效果的各项参数.     

基于对抗迁移的复合材料检测领域命名实体识别

命名实体识别(named entity recognition, NER)可整合复合材料检测领域相关数据精准提取关键实体信息,促进产业信息化,为行业发展提供技术支撑。针对复合材料检测领域专业名词过多及边界混淆等问题,提出了一种基于对抗训练(adversarial training)和BERT(bidirectional encoder representations from transformers)嵌入相结合的领域命名实体识别模型(BERT-AdBC)。首先,复合材料检测领域数据规模较小,BERT嵌入增强了领域迁移能力,通过融合字向量获取充分的语义表示;其次,领域语句繁杂冗长,引入自注意力机制结合双向长短期记忆网络(Bi-LSTM)模型增强了上下文之间语义关系的获取;最后,对抗训练利用分词任务与实体识别任务的共享信息解决了边界混淆问题。实验结果表明,本文所提出的BERT-AdBC模型对复合材料检测领域实体识别的效果要优于传统模型,综合评价指标F₁最高提升6.48%。