基于多源数据的中文产科知识图谱构建

以产科专业叙词表、临床路径和诊疗规范等为数据来源构建了中文产科知识图谱(Chinese obstetric knowledge graph, COKG)。以产科疾病为核心,依据术语标准及已有主题词表,确立了概念分类体系及关系描述体系,形成了COKG模式层;在Bi-LSTM-CRF和PCNN模型的基础上,通过医学专家的指导对多来源的200余万字非结构化文本进行人工校对,并对多源数据进行知识融合,形成了COKG数据层。所构建的COKG包括2 343种疾病、15 249个实体关系,可以为医疗问答系统和智能辅助诊疗等应用提供结构化的知识支持。     

基于BERT-BiLSTM-CRF模型的中文实体识别研究

中文文本实体识别,是自然语言处理的关键问题.传统的语言处理模型无法有效表示文本中的上下文语义信息,无法处理一词多义的不同语境,影响实体识别效果.提出了一种BERT-BiLSTM-CRF的实体识别模型,BERT预处理语言模型生成表征上下文语义信息的词向量,通过双向长短期记忆网络对生成的向量进行特征提取,自注意力机制能够有效获取文本语句中的长距离依赖,最后通过CRF进行解码生成实体标签序列.实验结果表明,该模型在微软亚洲研究院MSRA语料库和人民日报语料库上都取得了优异成绩,F1分别达到96.12％和95.88％.     

基于知识图谱的广西文化旅游问答系统研究与实现

当前的旅游咨询服务还只是为用户提供自主网络搜索返回的碎片化信息,尚未能将地方特色文化智能反馈给用户。针对此实际情况,本研究基于广西民族文化旅游知识图谱,对广西民族文化旅游问答系统的关键技术加以研究,并设计相应的问答系统,在解决实际需求的同时,尝试提高用户咨询体验满意度。根据问答系统（Question Answering System,QA）结构,本研究设计并实现了基于BERT的命名实体识别模块（BERT based Entity_identification Model,BEiM）,基于模版的关系抽取模块（Template based Relationship_extraction Module,TReM）和基于知识图谱的匹配推理模块（Knowledge Graph based Matching Module,KGMM）。在上述关键技术基础上,实现了广西文化旅游问答系统,并给出相关实验测试和应用效果。本研究构建的知识问答系统能够帮助游客高效地找到当地旅游的相关知识,提高游客自助服务的效率。对于人工智能助力广西旅游业的发展而言,本研究无疑是一项具有重要意义的工作。     

基于BERT和多头注意力的中文命名实体识别方法

针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题，提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注，提取出命名实体。在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明，改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明，BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition，NER)任务。     

基于多头注意力机制的医学文本实体研究

医学文本实体识别过程存在多义性和复杂性等特点，这导致传统的语言处理模型无法有效获取医学文本语义信息，从而影响了医学实体识别效果。本文提出了一种基于全词MASK的医学文本实体识别模型，其能有效处理中文文本。其中，BERT预处理层能够生成表征上下文语义信息的词向量，Bi-LSTM层对输入的词向量进行双向特征信息提取，注意力机制层对输出的特征向量进行权重分配，从而有效获取文本语句中的长距离依赖，最后通过CRF解码以生成实体标签序列。实验结果表明，该模型在中文简历语料库和CCKS2017语料库中表现优异，F1值分别为96.14%和92.68%。     

辽代历史文化资源知识图谱构建研究

目前网络上关于辽代历史信息化智能查询服务系统资源相对缺乏,关于辽代历史介绍文本篇幅冗长,不方便大众进行阅读观看.为了便于大众能更加快速准确了解相关的辽代历史知识,基于百度百科、搜狗百科以及基于爬虫技术等形式获取了与辽代历史相关的文本数据,采用BiLSTM-CRF模型进行实体抽取,通过关系抽取模型抽取实体间的关系,通过知识融合等技术对得到的数据进行实体对齐以及本体构建.最终构建辽代历史文化领域知识图谱,并在此知识图谱的基础上开发了可视化查询系统.     

基于双向GRU-CRF的中文包装产品实体识别

为了实现包装行业的信息自动抽取,需要对文本中的包装产品进行命名实体识别工作。设计了一种基于双向GRU-CRF的中文包装产品实体识别方法。以预训练的领域词向量为输入,通过双向GRU网络对上下文语义信息进行建模,并使用输出端的CRF层对最佳标签序列进行预测。将该模型与传统的序列标注模型以及循环神经网络模型在包装产品文本数据集上进行了对比,实验结果表明,本文模型具有较少人工特征干预、更高准确率和召回率等优点。     

基于法院判决文书的法律知识图谱构建和补全

由于法律领域知识图谱专业性强、结构复杂,而现有的关系抽取方法因各个领域的需求和术语不同,无法适用于法律领域知识图谱的构建和补全.首先,提出了基于StanfordNLP关系抽取机制的法律知识图谱构建方法;然后,构建基于设置谓语导向词的深度学习模型对法律知识图谱进行补全;最后,选用典型案例(伪卡盗刷判决书)作为文本对象验证...     

基于BERT的金融文本情感分析模型

在金融领域,越来越多的投资者选择在互联网平台上发表自己的见解.这些评论文本作为舆情的载体,可以充分反映投资者情绪,影响投资决策和市场走势.情感分析作为自然语言处理(natural language processing,NLP)中重要的分支,为分析海量的金融文本情感类型提供了有效的研究手段.由于特定领域文本的专业性和大标签数据集的不适用性,金融文本的情感分析是对传统情感分析模型的巨大挑战,传统模型在准确率与召回率上表现较差.为了克服这些挑战,针对金融文本的情感分析任务,从词表示模型出发,提出了基于金融领域的全词覆盖与特征增强的BERT(bidirectional encoder representations from Transformers)预处理模型.     

基于规则的中文人名识别与抽取关键技术研究

新兴媒体时代的发展使大量的信息涌入了我们的视线和大脑,广大网名用户在面对网上的信息时需要找寻符合自己的资料,在这种情况下,信息抽取发展起来了。国内的信息抽取技术起步时间较短,又由于中文信息的复杂性,所以在中文信息抽取领域,此技术还不是特别的成熟。在本文中,作者对基于规则的中文人名抽取技术进行了初步探索和研究。     

基于BERT的多特征融合的医疗命名实体识别

针对传统字向量难以表达上下文语义以及抽取的特征较为单一等问题,提出基于BERT的多特征融合模型BERT-BiLSTM-IDCNN-Attention-CRF,通过BERT建模字向量的上下文语义关系,并融合双向长短期记忆网络(BiLSTM)和迭代膨胀卷积(IDCNN),分别抽取的上下文特征和局部特征,使两种特征进行互补以...     

嵌入知识图谱信息的命名实体识别方法

在大规模文本语料库上预先训练的BERT(bidirectional encoder representation from transformers,BERT)等神经语言表示模型可以较好地从纯文本中捕获丰富的语义信息.但在进行中文命名实体识别任务时,由于命名实体存在结构复杂、形式多样、一词多义等问题,识别效果不佳.基于...     

多准则融合的中文命名实体识别方法

为提高中文命名实体识别任务的识别率,提出了一种多准则融合模型.采用基于字的BERT语言模型作为语言信息特征提取层,将其接入多准则共享连接层和条件随机场(CRF)层,得到融合模型.建立大规模中文混合语料库,优化模型参数,使用单GPU设备完成BERT语言模型的预训练.将融合模型在MSRA-NER和RMRB-98-1实体标注集上进行独立训练和混合训练,得到各语料库独立的单准则中文命名实体识别模型和多准则融合中文命名实体识别模型.结果表明,多准则融合中文命名实体识别模型能够挖掘语料库间的共有信息,提高中文命名实体的识别率,MSRA-NER和RMRB-98-1实体标注集上的F₁值分别为94.46%和94.32%,优于其他现有模型.     

融合知识图谱信息的命名实体识别方法

在大规模文本语料库上预先训练的BERT等神经语言表示模型可以很好地从纯文本中捕获丰富的语义信息.但在进行中文命名实体识别任务时,由于中文命名实体存在结构复杂、形式多样、一词多义等问题,导致中文命名实体识别效果不佳.考虑到知识图谱可以提供丰富的结构化知识事实,从而更好地进行语言理解,提出了一种融合知识图谱信息的中文命名实...     

基于BERT的危险化学品命名实体识别模型

针对危险化学品实体识别及关系识别的问题,本文基于双向长短期记忆网络连接条件随机场(Bidirectional Long Short-Term Memory with Conditional Random Field, BiLSTM-CRF)模型,通过引入双向编码器表示(Bidirectional Encoder Representation from Transformers, BERT)模型结合多头自注意力机制,提出了一种预训练命名实体模型BERT-BiLSTM-self-Attention-CRF,通过对危险化学品的文本进行字符级别编码,得到基于上下文信息的字向量,增强了模型挖掘文本全局和局部特征的能力。实验结果表明,在自行构建的数据集上,本文模型优于其他传统模型,其F1值为94.57%。     

融入BERT的企业年报命名实体识别方法

自动提取企业年报关键数据是企业评价工作自动化的重要手段.针对企业年报领域关键实体结构复杂、与上下文语义关联强、规模较小的特点,提出基于转换器的双向编码器表示-双向门控循环单元-注意力机制-条件随机场(BERT-BiGRU-Attention-CRF)模型.在BiGRU-CRF模型的基础上,首先引入BERT预训练语言模型...     

基于BERT-IDCNN-CRF的中文命名实体识别方法

预训练语言模型能够表达句子丰富的句法和语法信息,并且能够对词的多义性建模,在自然语言处理中有着广泛的应用,BERT(bidirectional encoder representations from transformers)预训练语言模型是其中之一。在基于BERT微调的命名实体识别方法中,存在的问题是训练参数过多,训练时间过长。针对这个问题提出了基于BERT-IDCNN-CRF(BERT-iterated dilated convolutional neural network-conditional random field)的中文命名实体识别方法,该方法通过BERT预训练语言模型得到字的上下文表示,再将字向量序列输入IDCNN-CRF模型中进行训练,训练过程中保持BERT参数不变,只训练IDCNN-CRF部分,在保持多义性的同时减少了训练参数。实验表明,该模型在MSRA语料上F1值能够达到94.41%,在中文命名实体任务上优于目前最好的Lattice-LSTM模型,提高了1.23%;与基于BERT微调的方法相比,该方法的F1值略低但是训练时间大幅度缩短。将该模型应用于信息安全、电网电磁环境舆情等领域的敏感实体识别,速度更快,响应更及时。     

基于BERT模型的司法文书实体识别方法

采用手工分析案件卷宗，容易产生案件实体遗漏现象及提取特征效率低下问题.为此，使用基于双向训练Transformer的编码器表征预训练模型.在手工标注的语料库中微调模型参数，再由长短时记忆网络与条件随机场对前一层输出的语义编码进行解码，完成实体抽取.该预训练模型具有巨大的参数量、强大的特征提取能力和实体的多维语义表征等优势，可有效提升实体抽取效果.实验结果表明，本文提出的模型能实现89%以上的实体提取准确度，显著优于传统的循环神经网络和卷积神经网络模型.