结合语义和依存关系的药物相互作用关系抽取

从生物医学文本中抽取药物相互作用对可以快速更新药物数据库,具有非常重要的意义与医学应用价值.现有的神经网络模型往往仅从句子序列或其他外部信息中学习到单一片面的特征,难以充分挖掘句中潜在的长距离依赖特征获得全面的特征表示.本文提出一种结合语义和依存关系的药物相互作用关系抽取方法,该方法在利用Bi-GRU网络分别从句子序列和目标药物实体的最短依存路径序列中学习语义特征表示的同时,进一步结合多头自注意力机制挖掘单词之间潜在的依存关系,通过充分融合多源特征来有效提升生物医学文本中药物相互作用对的识别和抽取性能.在DDIExtraction-2013数据集上的实验结果表明,该方法超过现有的药物相互关系抽取方法获得了75.82%的F1值.     

融合词性和注意力机制的舆情本体非分类关系抽取研究

针对目前大多数非分类关系抽取方法忽略词性和部分局部特征的问题,提出融合词性信息和注意力机制的BiLSTM模型.利用预训练词向量和词性标注工具,将舆情信息语义词向量和词性词向量作为BiLSTM的输入来获取句子高维语义特征,解决长距离依赖问题.利用词语层注意力机制计算2个概念与上下文词语的相关性,获取句子的上下文语义信息....     

基于字词混合和GRU的科技文本知识抽取方法

知识抽取任务是从非结构化的文本数据抽取三元组关系(头实体-关系-尾实体)。现有知识抽取方法分为流水式方法和联合抽取方法。流水式方法将命名实体识别和实体知识抽取分别用各自的模块抽取,这种方式虽然有较好的灵活性,但训练速度较慢。联合抽取的学习模型是一种通过神经网络实现的端到端的模型,同时实现实体识别和知识抽取,能够很好地保留实体和关系之间的关联,将实体和关系的联合抽取转化为一个序列标注问题。基于此,本文提出了一种基于字词混合和门控制单元(Gated Recurrent Unit, GRU)的科技文本知识抽取(MBGAB)方法,结合注意力机制提取中文科技资源文本的关系;采用字词混合的向量映射方式,既在最大程度上避免边界切分出错,又有效融入语义信息;采用端到端的联合抽取模型,利用双向GRU网络,结合自注意力机制来有效捕获句子中的长距离语义信息,并且通过引入偏置权重来提高模型抽取效果。     

一种基于句子结构特征的领域术语上下位关系获取方法

针对领域本体构建中概念上下位关系获取难的问题,提出融合句子结构特征的概念上下位语义关系抽取方法。首先利用层叠条件随机场（cascaded conditional random fields, CCRFs）算法建模实现概念上下位实体识别,然后通过对句子结构特征分析得出融合概念上下位关系的句子结构特征,最后利用融入句法特征基于支持向量机（support vector machine,SVM）建模的方法实现概念上下位关系抽取。为验证提出方法的有效性,以旅游领域上下位实体关系抽取为例进行了相关实验。实验结果表明：基于CCRFs模型的识别效果相对于现有的单层模型有较大改进, 其F值提高了6.57％;加入句法特征基于SVM概念上下位关系抽取方法较现有的基于条件随机场(conditional random fields,CRFs)概念上下位关系抽取方法更有效,其F值提高了4.68％。     

基于BERT和双向RNN的中文林业知识图谱构建研究

为了融合碎片化林业文本数据,解决目前林业网络知识散乱、无序和关联性不强的问题,将深度学习与知识图谱相结合,提出一种基于改进BERT和双向RNN的模型用于林业实体识别和实体关系抽取.通过基于实体Mask的BERT词向量处理,自动提取出序列中与研究领域相关的词级和语义特征,将词向量输入命名实体识别模型和实体关系提取模型训练...     

基于乘性一致性调整算法的二元语义决策模型

为了提高专家评价信息的准确性和有效性,在二元语义的环境下,提出了一种基于乘性一致性调整算法的二元语义决策模型.首先,简单回顾二元语义偏好关系(2-TLPR)的概念;其次,为提升2-TLPR的一致性,构造局部调整的乘性一致性改进模型;通过上述算法,进一步重新构造全新的二元语义偏好关系,并运用二元语义算术平均算子进行集结;最后,将二元语义决策模型运用到公共卫生突发事件的决策问题中,并与现有方法的对比,验证了该决策模型的可行性与有效性.     

结合问题-关系注意力和特征视图匹配的关系检测方法

问答系统作为信息检索的一种高级形式,已成为人工智能和自然语言处理领域中一个备受关注的研究方向。本文聚焦于知识图谱问答(Knowledge Graph Question Answering, KGQA)研究中的关系检测,针对现有方法中未能较好兼顾全局语义和局部语义信息,以及复杂问题准确率不高的问题,提出了一种结合问题-关系注意力和特征视图匹配的关系检测方法。该方法从问题和知识库中提取多粒度的特征,将提取特征构造成特征对视图作为关系检测模型的输入,视图内部利用双边多视角匹配(Bilateral Multi-Perspective Matching, BiMPM)进行比较匹配,得出关系预测结果。为验证本文提出的方法,在SimpleQuestions、WebQSP数据集上,与6种主流基线方法进行对比实验,本方法的准确率分别提升3.42个和0.45个百分点。     

一种融合关系抽取的推荐系统

针对现有基于内容的推荐方法中存在的知识利用不充分问题,提出了一种融合关系抽取的推荐系统,在用word2vec模型对物品知识进行编码的基础上,用补充模板特征的关系抽取模型对物品知识进行了更深层次的挖掘,构建了增强知识图谱,进而获得增强实体特征,与文本特征、基础实体特征融合后构建物品特征.实验证明,融合关系抽取的推荐系统推荐效果优于同类模型,并且各个部分的改进都是有效的.     

基于多特征融合的新疆旅游领域关系抽取研究

通过结合2 738个领域词汇组成的词典对新疆旅游领域语料进行预处理操作，对文本信息进行实体关系抽取研究，提出基于旅游领域的词典信息，融合多级特征的Bi-LSTM、CNN和Attention机制的领域级关系抽取模型.该模型首先使用预训练模型生成含较强的语义表征能力的词向量；再使用Bi-LSTM获取更好的语义信息和词向量拼接以捕获长距离的语义特征；用CNN进行特征提取，加强局部特征的学习，并使用注意力池化层(Attentive-pooling)用以强化特征的表达；最后通过Softmax完成关系抽取任务.结果表明：该模型在SemEval-2010 Task 8公开数据集中F1值达到83.46%,证明了其有效性.且模型在新疆旅游领域语料的关系抽取任务中的F1值达到92.73%,优于目前的主流关系抽取模型.     

基于注意力机制的特征融合序列标注模型

序列标注任务是自然语言处理领域的重要问题,包括命名实体识别、词性标注、意见抽取等具有重要应用价值的子任务。目前,长短期记忆网络-条件随机场模型(LSTM-CRF)作为序列标注任务的主流框架,虽然取得了很好的性能并被广泛使用,但仍存在局部依赖性以及受限于序列化特征学习的缺点。为了同步建模句子中每个词的局部上下文语义与全局语义,并将两部分语义进行有效融合,提出基于注意力机制的特征融合序列标注模型。具体地,本模型利用多头注意力机制建模句子中任意两个词之间的语义关系,得到每个词应关注的全局语义。考虑到LSTM学习的局部上下文信息和注意力机制学习的全局语义具有互补性,进一步设计了三种特征融合方法将两部分语义深度融合以得到更丰富的语义依赖信息。为验证模型的有效性,在四个数据集上进行了大量的实验,实验结果表明本模型达到较优的性能。     

基于事实和语义一致性的生成文本检测

文本生成技术的恶意滥用问题日益严重,因此生成文本检测技术至关重要. 现有的检测方法依赖于基于特定数据集的统计异常特征,从而导致方法的泛化能力较差. 本文考虑不同种类生成文本均易出现的事实错误、语义冲突问题,提出了一种基于事实和语义一致性的生成文本检测方法. 该方法通过实体将文本和外部知识库进行比较,得到文本的事实一致性特征. 另一方面,该方法借助文本蕴含技术对文本上文与下文进行关系推理,得到文本的语义一致性特征. 最后将这两类特征与RoBERTa的输出隐藏向量拼接,输入到线性分类层进行预测. 实验结果表明,该方法比当前的检测方法具有更高的准确率和泛化能力.     

基于BERT与多通道卷积神经网络的细粒度情感分类

为了分析突发事件期间网络舆论的情感倾向,以更有效地调节人们的情绪,维护社会稳定。本文提出了一种融合BERT模型和多通道卷积神经网络的深度学习方法用于细粒度情感分类,以获取更加丰富的文本语义特征信息。通过BERT 对输入的文本进行编码,以增强文本的语义特征表示,再通过具有多个不同大小的卷积核的并行卷积层来学习文本特征,捕获文本的深层次特征,提升模型在文本分类的性能。对比实验表明,该模型在准确性、召回率和F1值方面均优于传统的情感分类模型,并能显著改善细粒度情感分类的性能。除此之外,本文还探究了表情符号对细粒度情感分类模型的影响,实验结果表明表情符号转换成文字后可以增强文本的情感特征提取能力,提升模型分类性能。     

基于知识增强的深度新闻推荐网络

在新闻推荐场景下,传统的基于文本特征的新闻推荐模型只考虑了词的共现关系,无法捕获词语的隐含词义和关联知识;而基于深度学习的推荐模型在融合知识图谱信息中仅仅考虑实体的信息,忽略了远距离实体之间的联系,造成实体之间的关联信息和深层次语义联系的缺失.针对该问题提出了一种基于知识增强的深度新闻推荐网络（deep knowledge-enhanced network,DKEN）,利用长短期记忆网络提取知识图谱中的实体路径特征,补充到注意力网络中,然后针对不同的候选新闻动态地构建用户的特征.实验表明该实体路径信息能提高模型的效果,在F₁指标上提升大约1%.      

多状态图神经网络文本分类算法

为了提高模型在文本分类任务中的分类性能,针对图神经网络中存在的过度平滑问题,同时增强模型在处理文本特征与文本表示方面的能力,提出了一种基于多状态图神经网络的文本分类算法(multi-state graph neural network, MSGNN)。多状态图神经网络是利用网络层的多个历史状态信息对图神经网络进行强化,构建合理的文本图结构数据作为模型输入。在缓解网络层过度平滑问题的同时,结合2种改进后的不同类型的图神经网络来增强模型的特征提取与特征聚合能力。利用多头自注意力机制对文本关键词的挖掘与利用能力,从多个文本子空间来生成高质量的文本表示,进而完成文本分类。通过在几个公开的文本分类数据集上进行实验分析,相较于其他神经网络的文本分类算法,该方法取得了较好的分类准确率。     

采用特征识别技术的MBD模型自动语义标注方法

为了解决设计重用过程中基于模型的产品数字化定义(MBD)模型的问题,采用特征识别技术,对MBD模型自动添加语义标注,从而提高关键字检索的准确性.首先,对MBD模型的构成原理与模型要素进行分析,并在融合关键信息的基础上建立零件模型的属性面邻接图(AAG),根据零件模型上加工特征,将特征划分为螺钉头部特征、螺钉功能特征和材料特征.其次,通过顶点属性结合邻接矩阵重构图的顶点序列,动态编码结合距离匹配,求出最大公共子图,得出MBD模型之间的相似度.最后,利用聚类法实现对MBD模型的自动语义标注.实验结果表明:文中方法可以实现MBD模型的自动语义标注,很大程度上提高语义标注的自动化程度.     

基于时间关系的Bi-LSTM+GCN因果关系抽取

针对传统时间关系只应用在机器学习方向关系抽取的问题,提出一种基于序列标注实体识别的关系抽取方法.先构建双向长短期记忆网络(Bi-LSTM)模型进行特征提取,再输入时间关系作为特征矩阵进行图卷积.实验结果表明:时间关系能提高因果关系抽取效果,并且包含时间关系的Bi-LSTM+GCN模型能有效抽取因果事件;带有时间关系的B...     

基于语义特征提取与层次结构的问题生成方法

针对传统端到端模型在输入文本语义较复杂情况下生成的问题普遍存在语义不完整的情形,提出一种基于语义特征提取的文本编码器架构.首先构建双向长短时记忆网络获得基础的上下文信息,然后采用自注意力机制及双向卷积神经网络模型分别提取语义的全局特征和局部特征,最后设计一种层次结构,融合特征及输入自身信息得到最终的文本表示进行问题生成.在数据集SQuAD上的实验结果表明,基于语义特征提取与层次结构进行问题生成效果显著,结果明显优于已有方法,并且语义特征提取和层次结构在任务的各评价指标上均有提升.     

基于位置注意力机制的字词双维度CNN违法违规行为语义分类模型

针对核辐射安全监管部门检查建议所含违法违规行为自动识别并分类难的问题,建立语义分类自动研判模型,辅助有关部门丰富智能化管理体系,依靠数据进行科学决策,实现监管效率及质量的有效提高。将词和字符两个不同嵌入级别的特征向量输入到双路卷积神经网路（Convolutional Neural Networks, CNN）中,并引入语义位置注意力机制,建立基于字词双维度语义分析的违法违规研判模型。该方法不仅能够有效防止信息丢失,还能提取出更丰富的文本特征,强化领域关键词汇对分类准确率的帮助。实验结果表明本文建立的模型优于传统语义分类模型,能够有效提高分类准确度。     

基于事理图谱的突发事件网络舆情演化模型构建

通过构建突发事件网络舆情事理图谱，揭示舆情事件之间的逻辑关联与演化路径，为突发事件的分析与应对提供参考。首先，基于规则模板提取突发事件网络舆情中的事件逻辑关系，构建事理图谱。其次，将事件向量化表示后进行泛化处理，采用K-Means++算法对相似事件进行聚类和抽象以构建网络舆情抽象事理图谱，最后在此基础上对目标事件进行推演和预测。结果表明：突发事件事理图谱中的事件关系类型主要为因果、并列和顺承关系，大部分事件的逻辑链条较短，且与其他事件无明显关联；构建突发事件事理图谱有利于分析事件的演化脉络、把握关键事件节点并预测事件发展方向。     

融合BiLSTM的双图神经网络文本分类模型

采用图神经网络模型为整个语料库构建异构图处理文本分类任务时，存在难以泛化到新样本和词序信息缺失的问题。针对上述问题，提出了一种融合双图特征和上下文语义信息的文本分类模型。首先，为每个文本独立构建共现图和句法依存图，从而实现对新样本的归纳式学习，从双图角度捕获文本特征，解决忽略单词间依存关系的问题；其次，利用双向长短期记忆网络（bi-directional long short-term memory，BiLSTM）编码文本，解决忽略词序特征和难以捕捉上下文语义信息的问题；最后，融合双图特征，增强图神经网络模型的分类性能。在MR，Ohsumed，R8，R52数据集上的实验结果表明，相较于经典的文本分类模型，该模型能够提取更丰富的文本特征，在准确率上平均提高了2.17%，5.38%，0.61%，2.48%。