基于实体信息和图神经网络的药物相互作用关系抽取

药物相互作用是指药物与药物之间相互促进或抑制.针对现有的药物关系抽取方法利用外部背景知识和自然语言处理工具导致错误传播和积累的问题,以及现有大多数研究在数据预处理阶段对药物实体进行盲化,忽略了有助于识别关系类别的目标药物实体信息的问题.论文提出了基于预训练生物医学语言模型和词汇图神经网络的药物相互作用关系抽取模型,该模型通过预训练语言模型获得句子的原始特征表示,在基于数据集构建的词汇图上进行卷积操作获得与句子相关的全局特征信息表示,最后与药物目标实体对特征进行拼接从而构建药物相互作用关系提取任务的特征表示,在获得丰富的全局特征信息的同时避免了使用自然语言处理工具和外部背景知识,提升模型的准确率.论文的模型在DDIExtraction 2013数据集上的F₁值达到了83.25%,优于目前最新方法2.35%.     

基于预训练模型和多视角循环神经网络的电力文本匹配模型

针对传统方法未能考虑词向量的动态性及句子间交互不充分等问题,提出基于BERT预训练模型及多视角循环神经网络的文本匹配模型。通过BERT-whitening方法对BERT输出的句向量进行线性变换优化,并利用多视角循环神经网络将两句子不同位置的BERT动态词向量进行双向交互计算;将句向量与词粒度交互向量进行融合后计算结果。实验结果表明,提出的模型相较于对比模型有明显性能提升,实用性良好。     

基于预训练模型和图神经网络的藏文文本分类研究

在少数民族语言信息处理领域,由于文本分类标注数据的稀缺,相关研究工作进展缓慢.为了充分利用有限的标注数据,更有效地挖掘出文本之间的关系,本文对藏文提出一种基于预训练模型和图卷积神经网络的长文本分类方法CINO-GCN.首先利用在实验数据集上经过微调的少数民族多语言预训练模型(Chinese Minority Pretrained Language Model, CINO)得到藏文长文本的初始文档向量和藏文音节向量.然后根据整个数据集范围的音节共现关系与音节和文档间的TF-IDF值来对藏文文本图进行建模.最后将文本图和结点特征一同输入至图卷积神经网络(graph convolutional networks, GCN)层,得到的文档表示经过Softmax得到分类结果.将该方法在公开的TNCC藏文新闻文本分类数据集上与当前几种主流的深度学习模型进行了多组对比实验,分类准确率达到73.51%,远优于其他基线模型;同时设计了消融实验验证模型各部分对分类结果的增益.实验结果表明,该文提出的模型能够结合预训练词向量和图神经网络的优势,显著提高藏文文本分类的准确率.     

基于Bert和卷积神经网络的人物关系抽取研究

通过构造人物关系数据集,将人物关系定义为14类,提出了基于Bert-BiGRU-CNN的人物关系抽取网络模型.该模型首先通过Bert预训练模型获取上下文语义信息的词向量,利用双向门限循环单元网络(BiGRU)进一步获取相关的文本特征,然后加入卷积神经网络(CNN)获取局部文本特征,最后通过全连接层加Softmax分类器...     

基于BoBGSAL-Net的文档级实体关系抽取方法

文档级实体关系抽取的主要任务是提取文档中实体之间的关系.相较于句内实体关系提取,文档级实体关系抽取需要对文档中多个句子进行推理.为了解决文档中不同实体之间的复杂信息交互问题,提出一个混合提及级图MMLG (Mixed Mention-Level Graph)策略,用于拟合文档中不同实体之间的复杂信息交互,提高模型对于文档级实体关系的感知能力.此外,为了应对实体关系中存在的关系重叠问题,构建了实体关系图ERG (Entity Relation Graph)模块,该模块融合了路径推理机制,主要针对实体间的多个关系路径进行推理学习,更准确地识别提及级节点实体及关系.通过将MMLG策略与ERG模块聚合到实体关系抽取模型中,构建BoBGSAL-Net (Based on Bipartite Graph Structure Aggregate Logic Network)模型,并在公开数据集DocRED和作者实验室构建的数据集AlSiaRED上开展实验,结果证明BoBGSAL-Net在文档级实体关系抽取任务中性能得到提升,其中BoBGSAL-Net+BERT模型在AlSiaRED数据集上的关系抽取...     

基于多特征注意力卷积神经网络的旅游领域实体关系抽取

针对关系抽取任务中文本特征提取不充分及核心词表现弱的问题,提出了一种多特征注意力卷积神经网络的实体关系抽取方法.利用位置、词性及实体标签作为输入特征,充分捕获文本信息,构建注意力模型,获得单词与目标实体之间的相关性,并将注意力机制与卷积神经网络相融合以进行关系预测.以新疆旅游领域为研究对象,总结归纳15种实体关系.采用...     

结合预训练和自训练的法律信息抽取增强式方法

在“智慧法院”的建设中,法律信息抽取是法律人工智能任务中最基本的任务。目前,法律信息抽取方法主要基于深度神经网络的监督学习模型。由于现有的监督学习模型需要大量的标签数据,而人工标注的方式会提高法律信息抽取任务的成本,存在只有少样本情况下模型学习性能较差的问题。针对上述问题,提出一种结合预训练和自训练的法律信息抽取增强式方法。首先,利用大规模预训练模型和标签数据训练出一个教师模型;然后,利用改进的文本相似度计算公式从法律文书库中寻找出与训练集相似的无标签法律文本数据,再结合训练完成的教师模型对其生成伪标签数据;最后,将有标签数据和伪标签数据混合起来重新训练出一个学生模型用于下游的法律信息抽取任务。本文在2021法研杯提供的信息抽取数据集上进行验证。与基线模型进行对比,本文提出的结合预训练和自训练的法律信息抽取增强式方法取得了较好的抽取效果。     

融合对抗训练和胶囊网络的食品安全关系抽取模型

为解决食品安全领域关系抽取数据集体量小且关系种类复杂,普通网络模型无法充分进行特征学习的问题,提出了一种融合对抗训练和胶囊网络的食品安全领域关系抽取模型GAL-CapsNet。该模型使用双向长短期记忆网络提取文本序列的全局特征,并通过胶囊网络的动态路由机制获取高层次的局部特征,具有较强的特征提取能力,同时在嵌入层加入对抗训练提升模型的鲁棒性,从而有效提高了关系抽取任务的效果。在本文所用的食品安全领域数据集上的实验结果显示：对比其他深度神经网络方法,GAL-CapsNet在关系抽取任务中的精确率、召回率和F₁值均有明显提升,分别达到了85.91%、82.82%、84.33%,证明了模型在食品安全领域数据集上的有效性。     

预训练模型下航天情报实体识别方法

为了快速处理航天情报,基于数据驱动的深度学习技术,提出融合多源异构知识标注中文航天情报数据集的方法流程,以及基于预训练(pre-training)模型的航天情报实体识别(AIER)方法;通过对航天情报进行命名实体识别,达到对航天情报进行信息抽取的目的.通过融合BERT(bidirectional encoder representation from transformers)预训练模型和条件随机场(CRF)模型构建AIER模型(BERT-CRF模型),将其与隐马尔可夫模型(HMM)、条件随机场(CRF)模型、双向长短期记忆网络加条件随机场(BiLSTM-CRF)模型进行实体识别对比实验.结果表明:基于预训练模型的AIER模型能够取得93.68%的准确率、97.56%的召回率和95.58%的F₁值;相比于其他方法,基于预训练模型方法的性能得到提高.     

基于自注意力与分段卷积神经网络的实体关系抽取

远程监督通过已有知识库的关系三元组和自然语言文本语料库进行启发式匹配,获得数据来完成关系抽取任务,解决有监督学习方法完全依赖人工标注数据的问题,但远程监督数据中会存在大量噪声关系标签.针对以上问题,提出了一种结合自注意力机制和分段卷积神经网络的实体关系抽取模型SAPCNN,首先通过自注意力机制捕获词与词之间的全局相关性...     

中文嵌套命名实体关系抽取研究

为了解决嵌套命名实体关系抽取研究缺乏相关语料库这一问题, 在现有中文命名实体语料库的基础上, 将人工标注与机器学习相结合来抽取其语义关系。人工标注一个中文嵌套命名实体关系语料库, 然后分别采用支持向量机和卷积神经网络等方法, 进行中文嵌套实体关系抽取实验。实验结果表明, 在人工标注实体的中文嵌套命名实体语料上, 嵌套实体关系抽取的性能非常好, F1指数达到95%以上, 而在自动识别实体上的抽取性能尚不理想。     

基于LVQ神经网络的医学图像识别研究

以医学肝脏CT图为研究对象,设计了一种基于LVQ神经网络的医学图像识别方法。基本思想是首先确定图像ROI区域,并作灰度映射变换。接着提取其颜色、纹理和形状特征构成表征医学图像的特征矢量,最后将特征归一化后利用LVQ神经网络进行识别。通过与其他典型神经网络识别方法的实验比较,结果表明,设计的方法能取得更为理想的识别效果。     

基于神经网络的中文姓名抽取技术

设计了一个中文姓名抽取系统, 该系统采用神经网络进行汉语句子的分词处理, 根据姓名后置特征词进行姓名的抽取, 成功解决了尾字和下文成词的姓名抽取问题. 以1998年1月份《人民日报》语料库中含有此类姓名的语句作为测试数据,结果表明, 姓名抽取的召回率和精确度较现有方法都有很大提高.     

融合角色指代的多方对话关系抽取方法研究

在前期基于图网络的模型基础上,引入角色指代信息,提出融合角色指代的多方对话关系抽取模型.在构建图节点时加入角色节点,将其与对应角色指代的词节点进行连接,并使用图注意力网络进行编码.在DialogRE数据集上的实验效果与基线模型相比,F1值在验证集上提升2.9％,在测试集上提升4.6％.     

基于神经网络的案例推理医疗诊断

在医疗诊断中,案例推理是一种有效的思维方式,但在实际应用中,存在许多难点,如大型案例 案例的表示和相似案例高效检索问题,结合前向神经网络的特点,来实现案例检索,为减少多层前向网络进行局部极小的机会,改进网络的性能,提出了神经元和前向神经网络集成,构成一种增强型神经网络结构,数学和仿真证明这种网格能减少进入局部极小的机会。此外,借助于数据库技术和多级索引方法,设计了一个医疗诊断专家系统,结果表明上述     

基于灰关联分析Elman网络的网上购物意向预测模型

利用灰关联方法分析了消费者网上购物意向与各影响因子的关系,建立了预测消费者网上购物意向的Elman神经网络模型.结果表明,根据灰关联度的计算得出消费者网上购物意向的影响程度由强到弱的顺序,与实测值吻合,表明利用所建立的Elman神经网络模型能有效地预测消费者网上购物意向.     

基于分形和神经网络的B超图像识别

为了给脂肪肝的辅助诊断提供科学依据,提高临床诊断的准确性,利用分形方法对脂肪肝和正常肝脏的B超图像进行了分析对比,获得两类肝脏图像具有多重分形的特性,并利用RBP神经网络进行分类,对提高脂肪肝诊断的正确率收到较好效果,具有一定的实际意义和理论价值.     

基于脉冲耦合神经网络的目标特征抽取方法

为解决待识别目标的特征抽取问题,提出了一种脉冲耦合神经网络结合形状信息的图像混合特征抽取方法。该方法利用脉冲耦合神经网络将图像空域信号转化为时域信号的特性,结合物体形状信息,对图像的灰度和形状进行了统一描述。实验结果证明,该方法在一定程度上对物体的形变、平移、缩放不敏感,对目标识别系统是一种很好的特征抽取方法。     

基于卷积神经网络和Kmeans的中文新闻事件检测与主题提取

中文新闻事件检测的主要任务是从大量新闻中自动检测出潜在的新事件。人工构建事件特征词进行检测费时费力。单纯依靠密度聚类或谱聚类方法进行事件检测,存在不同事件的触发词相关性高时,容易误判为同一事件。为此,提出基于卷积神经网络和K-means结合的中文新闻事件检测与主题提取,将新闻中的文本向量化,通过深度学习抽取文本深层特征。实验结果表明:所提方法构建的模型准确率、召回率优于单一聚类方法,可对中文新闻事件准确识别,快速检测新事件,提取新事件主题。     

基于神经网络的人脸主特征提取

提出了用神经网络提取人脸图象主特征的方法，并对主特征在分类识别中的作用作了详细的分析，理论和实验证明，主特征不仅具有较强的分类能力而且具有很强的独立描述图象的能力。