基于时间关系的Bi-LSTM+GCN因果关系抽取

针对传统时间关系只应用在机器学习方向关系抽取的问题,提出一种基于序列标注实体识别的关系抽取方法.先构建双向长短期记忆网络(Bi-LSTM)模型进行特征提取,再输入时间关系作为特征矩阵进行图卷积.实验结果表明:时间关系能提高因果关系抽取效果,并且包含时间关系的Bi-LSTM+GCN模型能有效抽取因果事件;带有时间关系的B...     

基于注意力机制归纳网络的小样本关系抽取模型

针对小样本关系抽取问题,提出一种基于注意力机制的归纳网络.首先,利用归纳网络中的动态路由算法学习类别表示;其次,提出实例级别的注意力机制,用于调整支持集,并获取支持集与查询集样本之间的高级信息,进而获得与查询实例更相关的支持集样本.该模型很好地解决了训练数据不足时如何进行关系抽取的问题.在小样本关系抽取数据集FewRel上进行实验,得到的实验结果为：5-way 5-shot情形下准确率为(88.38±0.27)%,5-way 10-shot情形下准确率为(89.91±0.33)%, 10-way 5-shot情形下准确率为(77.92±0.44)%, 10-way 10-shot情形下准确率为(81.21±0.39)%.实验结果表明,该模型能适应任务并且优于其他对比模型,在小样本关系抽取中取得了优于对比模型的结果.     

基于BERT的因果关系抽取

针对传统关系抽取模型依赖特征工程等机器学习方法, 存在准确率较低且规则较繁琐等问题, 提出一种BERT+BiLSTM＋CRF方法. 首先使用BERT(bidirectional encoder representations from transformers)对语料进行预训练; 然后利用BERT根据上下文特征动态生成词向量的特点, 将生成的词向量通过双向长短期记忆网络（BiLSTM）编码; 最后输入到条件随机场（CRF）层完成对因果关系的抽取. 实验结果表明, 该模型在SemEval-CE数据集上准确率比BiLSTM+CRF+self-ATT模型提高了0.054 1, 从而提高了深度学习方法在因果关系抽取任务中的性能.     

基于实体信息和图神经网络的药物相互作用关系抽取

药物相互作用是指药物与药物之间相互促进或抑制.针对现有的药物关系抽取方法利用外部背景知识和自然语言处理工具导致错误传播和积累的问题,以及现有大多数研究在数据预处理阶段对药物实体进行盲化,忽略了有助于识别关系类别的目标药物实体信息的问题.论文提出了基于预训练生物医学语言模型和词汇图神经网络的药物相互作用关系抽取模型,该模型通过预训练语言模型获得句子的原始特征表示,在基于数据集构建的词汇图上进行卷积操作获得与句子相关的全局特征信息表示,最后与药物目标实体对特征进行拼接从而构建药物相互作用关系提取任务的特征表示,在获得丰富的全局特征信息的同时避免了使用自然语言处理工具和外部背景知识,提升模型的准确率.论文的模型在DDIExtraction 2013数据集上的F₁值达到了83.25%,优于目前最新方法2.35%.     

基于自训练的蛋白质相互作用关系抽取方法

基于有监督机器学习算法的蛋白质相互作用关系抽取方法仍然面临一个问题:标注数据集有限,导致算法无法得到充分学习。该文首先构造了一个丰富的特征空间,包括句法、词汇、词性等特征;然后,该文对不同数据集数据分布的不一致性进行了分析,在此基础上提出了一种基于自训练的数据添加算法,通过不断从未标注数据集中选择置信度高的样本加入到已标注数据集中,扩大数据集规模,提高算法效率。实验结果表明:在5个常用的蛋白质相互作用关系数据集上,该方法均有助于提高抽取性能。     

结合语义和依存关系的药物相互作用关系抽取

从生物医学文本中抽取药物相互作用对可以快速更新药物数据库,具有非常重要的意义与医学应用价值.现有的神经网络模型往往仅从句子序列或其他外部信息中学习到单一片面的特征,难以充分挖掘句中潜在的长距离依赖特征获得全面的特征表示.本文提出一种结合语义和依存关系的药物相互作用关系抽取方法,该方法在利用Bi-GRU网络分别从句子序列和目标药物实体的最短依存路径序列中学习语义特征表示的同时,进一步结合多头自注意力机制挖掘单词之间潜在的依存关系,通过充分融合多源特征来有效提升生物医学文本中药物相互作用对的识别和抽取性能.在DDIExtraction-2013数据集上的实验结果表明,该方法超过现有的药物相互关系抽取方法获得了75.82%的F1值.     

基于组合神经网络的中文事件抽取

中文事件抽取通常使用循环神经网络(recurrent neural network, RNN)来进行事件和事件要素的抽取, 但 RNN 在处理长度较长的词语时容易丢失重要信息, 为此提出一种组合卷积神经网络(convolutional neural network, CNN)与双向长短期记忆(bidirectional long short-term memory, Bi-LSTM)网络的中文事件抽取模型 CNN-Bi-LSTM-CRF, 其中 CRF (conditional random field) 为条件随机场. 采用基于注意力机制和语义特征生成的字词联合向量, 使用 CNN 和 Bi-LSTM 模型对字词联合向量进行处理, 以获取其隐含表示, 最后通过 CRF 得出预测结果. 实验结果表明, 所提出的方法与其他现有的中文事件抽取方法相比, 准确率有明显提升.     

子句级别的自注意力机制的情感原因抽取模型

情感原因抽取(ECE)是情感分析领域的一项重要子任务,旨在识别给定文档中某种情绪表达所对应的原因.现有的一些工作将该任务定义为子句分类任务,关注了文档和子句之间的联系,而忽略情感描述子句与情感原因子句的直接语义联系,同时存在标签不平衡问题,使得情感原因子句位置难以定位.因此,提出了一个基于子句的自注意力机制同时结合了子...     

基于自注意力机制的多特征融合槽抽取模型

在任务型人机对话系统中,槽抽取任务是至关重要的一个环节.为了提高槽抽取模型的识别准确率,该文提出了一种利用自注意力机制融合文本的多特征维度特征的方法.该方法在常规的双向长短期记忆模型(Bi-directional long short-term memory,Bi-LSTM)和条件随机场(Conditional ran...     

基于字词混合和GRU的科技文本知识抽取方法

知识抽取任务是从非结构化的文本数据抽取三元组关系(头实体-关系-尾实体)。现有知识抽取方法分为流水式方法和联合抽取方法。流水式方法将命名实体识别和实体知识抽取分别用各自的模块抽取,这种方式虽然有较好的灵活性,但训练速度较慢。联合抽取的学习模型是一种通过神经网络实现的端到端的模型,同时实现实体识别和知识抽取,能够很好地保留实体和关系之间的关联,将实体和关系的联合抽取转化为一个序列标注问题。基于此,本文提出了一种基于字词混合和门控制单元(Gated Recurrent Unit, GRU)的科技文本知识抽取(MBGAB)方法,结合注意力机制提取中文科技资源文本的关系;采用字词混合的向量映射方式,既在最大程度上避免边界切分出错,又有效融入语义信息;采用端到端的联合抽取模型,利用双向GRU网络,结合自注意力机制来有效捕获句子中的长距离语义信息,并且通过引入偏置权重来提高模型抽取效果。     

基于改进信息熵和LSTM网络的轴承故障诊断

针对传统的时频域故障诊断方法无法对故障实现自适应识别和分类,且准确率较低的问题,提出一种基于改进信息熵(improved information entropy, IIE)的长短时记忆网络(long-short time memory network, LSTM)方法。首先对原始信号分别进行集合经验模态分解(ensemble empirical mode decomposition, EEMD)和变分模态分解(variational mode decomposition, VMD);将包含故障信息的所有本征模式分量(intrinsic mode functions, IMF)进行信息熵的求取;通过信息熵反映IMF的信息量和峭度指标对描述冲击成分的优势改进信息熵,构成特征向量;最后结合LSTM处理非线性数据的优势,利用组合特征训练LSTM网络建立诊断模型。实验结果表明：该方法能准确、高效地识别多种故障,准确率要比单一的EEMD-LSTM、VMD-LSTM、人工神经网络等传统方法更高。     

融合外部知识和图卷积神经网络的生物医学事件联合识别

利用自然语言处理技术从生物医学文本中抽取药物治疗、疾病诊断等事件以及事件中涉及的疾病、药物等实体,对于生物医学领域相关学术研究以及各类生物医学应用系统具有重要意义。目前相关研究者对于生物医学事件抽取技术已经进行了较为广泛的研究,但在生物医学事件的触发词识别以及关系抽取方面依旧存在诸多挑战。针对生物医学文本中的缩略词及专业术语难以识别和生物医学语义关系难以嵌入的问题,本文提出了一种融合外部知识和图卷积神经网络的生物医学信息联合识别模型。图卷积神经网络构建了包含实体和语义关系的异构图,能够迭代地融合本地知识图和外部知识图中的交互信息,根据得到的交互信息来进行生物医学实体对之间关系的抽取任务。预训练编码后利用图卷积神经网络构建本地和外部知识两个知识图,获得两个图中每个节点的特征表示,并且通过注意力实体链接的方法将两个图进行融合与信息迭代,进而抽取其最后一层隐藏层来完成最终的分类识别。其中UMLS被用作实体消歧的外部知识库,实体链接器根据注意力权重选择对应实体。通过在MLEE语料库上进行的实验表明,联合任务能够实现事件抽取和触发词、元素识别的综合性能。     

基于长短期记忆法的换流站阀冷系统参数预测

在对换流站阀冷系统的内冷水流量、进出阀温度、主泵及回水压力等参数进行采样时,时常发生数据缺失或异常的情况;同时,由于阀冷系统的上述运行参数具有时序性,对内冷水系统的入水温度等关键参数完善并进行有效预测可以更准确地评估阀冷系统冷却能力。提出了一种基于均值填补的采样值处理方法,使样本集更完善、更贴合换流站阀冷系统的实际运行情况;分析了阀冷系统运行参数的时序属性,提出一种基于主成分分析的长短期记忆网络模型的时间序列预测方法,通过对换流阀关键运行参数的预测实现对系统冷却能力的有效判断。经实例验证,所建立的预测模型的平均绝对百分比误差约为4.96%,证明了所建模型的有效性。     

使用AVL数据的公交到站时间CEEMD-LSTM预测模型

准确的公交到站时间预测具有重要意义,但现实公交运行受突发路况影响,运行速度具有非平稳性,本文结合时序特征处理技术和深度学习,建立一种使用AVL数据预测公交到站时间的互补集合经验模态分解-长短期记忆神经网络模型。模型收集公交自动车辆定位数据,经预处理后引入互补集合经验模态分解平稳化公交运行速度,再借助Adam参数寻优后的长短期记忆神经网络对福州市303路公交某日早高峰公交到站时间进行预测。结果表明：优化的公交到站时间预测模型平均绝对误差比单一模型低了1.69min,预测精度高于长短期记忆神经网络模型和经验模态分解的到站时间预测模型,可有效地为安装车载自动车辆定位系统的公交线路预测公交到站时间提供参考。     

基于BLSTM-CRF模型的安全漏洞领域命名实体识别

非结构化文本资源提供了大量与漏洞相关的信息,传统的特定领域实体识别依赖特征模板和领域知识来识别相关实体,其识别性能很大程度上依赖于人工选取的特征函数质量.如何利用机器挖掘文本隐含的特征,而不需要人工详细地制定领域术语的特征表达是一项具有挑战性的任务.该文针对安全漏洞领域,提出一种双向长短期记忆网络BLSTM与条件随机场CRF相结合的安全漏洞领域实体识别模型,并使用基于词典的方法对结果进行校正,F值可达到85%以上.实验表明,该方法在提高实体识别的准确率和召回率的同时,能够显著地降低人工选取特征的工作量.     

基于结构树的网页正文内容抽取方法

网页文本抽取是一种在互联网上运用广泛的数据挖掘技术。主要目的是把一个网页的主题内容抽取出来,为Web数据挖掘提供好的基础数据。本文基于网页树形结构进行改进,首先对网页进行分块,把每一块存储在树形结构当中,然后通过对所有块进行方差和阈值计算,选择出主题信息。该方法相比传统的基于正则表达式的抽取方法, 具有简单, 实用的特点, 实验结果表明, 该抽取方法准确率达到 96%以上, 有一定的实用价值。     

一种基于常识的图片验证码设计方法

为了防止非法用户对在线系统的恶意攻击,提出了一种简单高效基于常识的图片验证码设计方法。通过不同难度层次的常识构建常识库,设计生成的图片验证码质量较高,用户根据图片验证码的常识问题推理得到答案,将答案作为密匙进行认证,而不是直接输入图片验证码上面的字符,可以有效杜绝非法用户对系统的攻击,弥补当前诸多验证方法的不足,同时又兼顾了验证码设计的可用性和安全性准则,适用于普通在线系统的身份认证。     

基于设计方案树和知识库的产品设计方法研究

针对现有产品设计系统中由设计人员按经验决定装配概念模型的局限性,提出了一种基于设计方案树和知识库的产品快速设计方法.将设计过程中的公式及经验,优选原则等信息存入知识库中,采用树结构,以产品属性为节点,将产品概念设计与零部件详细设计相结合,在原理综合的同时对产品的各部件进行筛选和详细设计,生成设计方案树.再运用基于层次分析法(AHP)赋权的理想解法(TOPSIS)对备选方案集排序,在获取最优解的同时增加了备选方案的多样性,降低了产品的成本.以启闭机设计为例,验证了该算法的可靠性和实用性.     

基于LDA-MFCC的藏语语音特征提取技术研究

藏语特征提取算法是藏语语音识别系统中最为关键的一个环节。文章在分析藏语发音特点的基础上,建立了基于模拟人耳听觉系统的Mel倒谱系数（MFCC）特征提取算法,然后通过LDA信息压缩算法,对提取的特征数据进行压缩,在降低维数的同时提高了识别率和运算效率,总结出了符合藏语语音特点的LDA-MFCC特征提取算法。     

基于自动编码器和长短时记忆网络的智能汽车故障诊断方法研究

智能汽车故障诊断技术对于保障智能汽车安全行驶具有重要意义,本文针对智能汽车传感器数据异常检测和车辆运动的异常检测提出了一系列故障诊断方法. 针对非时序传感器数据,采用基于超限学习框架的自动编码器,对正常数据进行特征压缩学习其特征表示,再利用压缩的特征重构数据,根据重构误差的大小判断数据是否异常. 针对时序传感器数据,采用多层长短时记忆网络学习时序数据之间的时间依赖关系来预测当下时刻的数据值,根据预测误差的大小判断数据是否异常. 提出一种阈值随误差大小动态变化的自适应阈值确定方法,使得决策变量对于异常值相对敏感. 进一步地,采用车辆自行车运动学模型和Kalman滤波,利用Jarque-Bera测试对预测值和量测值残差的正态性进行检验来检测车辆运动是否异常. 实际场地测试验证了本文所提出的方法可以有效检测非时序或时序传感器数据的异常,并对车辆运动是否异常进行检测.