基于BERT的因果关系抽取

针对传统关系抽取模型依赖特征工程等机器学习方法, 存在准确率较低且规则较繁琐等问题, 提出一种BERT+BiLSTM＋CRF方法. 首先使用BERT(bidirectional encoder representations from transformers)对语料进行预训练; 然后利用BERT根据上下文特征动态生成词向量的特点, 将生成的词向量通过双向长短期记忆网络（BiLSTM）编码; 最后输入到条件随机场（CRF）层完成对因果关系的抽取. 实验结果表明, 该模型在SemEval-CE数据集上准确率比BiLSTM+CRF+self-ATT模型提高了0.054 1, 从而提高了深度学习方法在因果关系抽取任务中的性能.     

基于多特征融合的新疆旅游领域关系抽取研究

通过结合2 738个领域词汇组成的词典对新疆旅游领域语料进行预处理操作，对文本信息进行实体关系抽取研究，提出基于旅游领域的词典信息，融合多级特征的Bi-LSTM、CNN和Attention机制的领域级关系抽取模型.该模型首先使用预训练模型生成含较强的语义表征能力的词向量；再使用Bi-LSTM获取更好的语义信息和词向量拼接以捕获长距离的语义特征；用CNN进行特征提取，加强局部特征的学习，并使用注意力池化层(Attentive-pooling)用以强化特征的表达；最后通过Softmax完成关系抽取任务.结果表明：该模型在SemEval-2010 Task 8公开数据集中F1值达到83.46%,证明了其有效性.且模型在新疆旅游领域语料的关系抽取任务中的F1值达到92.73%,优于目前的主流关系抽取模型.     

基于BERT-GCN的因果关系抽取

针对自然语言处理中传统因果关系抽取主要用基于模式匹配的方法或机器学习算法进行抽取,结果准确率较低,且只能抽取带有因果提示词的显性因果关系问题,提出一种使用大规模的预训练模型结合图卷积神经网络的算法BERT-GCN.首先,使用BERT(bidirectional encoder representation from transformers)对语料进行编码,生成词向量;然后,将生成的词向量放入图卷积神经网络中进行训练;最后,放入Softmax层中完成对因果关系的抽取.实验结果表明,该模型在数据集SEDR-CE上获得了较好的结果,且针对隐式的因果关系效果也较好.     

基于组合神经网络的中文事件抽取

中文事件抽取通常使用循环神经网络(recurrent neural network, RNN)来进行事件和事件要素的抽取, 但 RNN 在处理长度较长的词语时容易丢失重要信息, 为此提出一种组合卷积神经网络(convolutional neural network, CNN)与双向长短期记忆(bidirectional long short-term memory, Bi-LSTM)网络的中文事件抽取模型 CNN-Bi-LSTM-CRF, 其中 CRF (conditional random field) 为条件随机场. 采用基于注意力机制和语义特征生成的字词联合向量, 使用 CNN 和 Bi-LSTM 模型对字词联合向量进行处理, 以获取其隐含表示, 最后通过 CRF 得出预测结果. 实验结果表明, 所提出的方法与其他现有的中文事件抽取方法相比, 准确率有明显提升.     

基于Bi-LSTM和Max Pooling的答案句抽取技术

针对传统问答系统答案抽取方式对答案片段的分词和上下文语义理解准确性的依赖严重,抽取过程耗费大量的人力和时间的问题,提出采用分步抽取答案的方法,先从答案片段中抽取包含答案的句子,再从提取的答案句中进行最终答案的抽取方式。在答案句抽取过程中使用Bi-LSTM( Bi-directional Long Short-Term Memory)和Max Pooling 结合的方法构建答案句抽取模型。实验结果表明,在答案句的抽取中,该模型的MＲＲ( Mean Average Precision) 指数接近0． 75。     

基于层叠跳跃链条件随机场模型的因果关系标注

针对因果关系事件中对象、属性及其相互作用关系抽取工作的不足和因果关系中的长距离依赖问题,定义了创新问题的因果关系表达方式,提出了基于层叠跳跃链条件随机场的因果关系标注方法.首先通过低层线性链条件随机场模型对预处理过的候选集进行因果关系边界标注,其次对标注结果进行降噪和扩充,将其作为新的特征传递给高层跳跃链条件随机场模型用于识别因果角色,最后对高层结果进行指代消解和降噪.对多种类别的真实语料进行了实验,结果表明应用本方法可取得较好的标注效果.     

基于注意力机制的远程监督实体关系抽取

关系抽取是许多信息抽取系统中的一个关键步骤, 旨在从文本中挖掘结构化事实. 在应用传统的远程监督方法完成实体关系抽取任务时存在 2 个问题: ① 远程监督方法将语料库中的文本与已标注实体和实体间关系的知识库启发式地对齐, 并将对齐结果作为文本的标注数据, 这必然会导致错误标签问题; ② 目前基于统计学的方法过于依赖自然语言处理工具, 提取特征处理过程中生成的噪声积累严重影响抽取结果. 为了解决远程监督存在的弊端, 提出了一种基于注意力机制的端到端的分段循环卷积神经网络(convolutional neural network, CNN)模型. 为了检测更加细微的特征, 在网络输入层添加了注意力机制, 自动学习句子中与关系抽取相关的内容; 基于位置特征和词向量特征对句子进行编码, 并使用分段卷积神经网络(piecewise CNN, PCNN)抽取句子特征进行分类, 在网络中使用了效率较高的最大边界损失函数来衡量模型的性能. 该方法在 New York Times (NYT)数据集上的准确率比经典的 PCNN+MIL 模型提高了 2.0%, 比经典的 APCNN+D 模型提高了 1.0%, 与其他几种基线模型相比, 该模型准确率表现出色.     

融合多粒度特征和标签语义共现的多标签分类

为了从文本中可以更加准确地分析其蕴含的内容,给人们的生产生活提供建议,在基于深度学习的传统多标签分类方法的基础上,提出一种融合多粒度特征和标签语义共现的多标签分类模型。该模型利用双向长短时记忆网络双向长短时记忆网络(bidirectional long short-term memory network, Bi-LSTM)提取多粒度的文本特征,获得不同层次的文本特征;并通过计算pmi的方式构建标签关系图,利用图卷积网络(graph convolution network, GCN)深入提取标签的隐藏关系,获得具有标签信息的文本表示;最终融合多粒度文本特征,进行多标签文本分类。在AAPD和news数据集上进行实验。结果表明：所提出模型的Micro-F1值分别达到0.704和0.729,验证了模型的有效性。     

基于自注意力机制的多特征融合槽抽取模型

在任务型人机对话系统中,槽抽取任务是至关重要的一个环节.为了提高槽抽取模型的识别准确率,该文提出了一种利用自注意力机制融合文本的多特征维度特征的方法.该方法在常规的双向长短期记忆模型(Bi-directional long short-term memory,Bi-LSTM)和条件随机场(Conditional ran...     

城市交通网格集群的Bi-LSTM的流量预测

为提升交通流预测精度，深层次地挖掘交通流数据的时空特征，提出一种基于双向长短时记忆网络(Bi-LSTM)的城市交通网格集群流量预测模型。将所获得的网约车轨迹数据集网格化；考虑人为确定集群个数对结果的影响，用贝叶斯信息准则进行参数估计确定集群数，利用高斯混合模型对交通状况相似的网格进行聚类得到不同交通网格集群；利用集群内部交通网格的输入时间序列的相互影响设计多对多模型，构建Bi-LSTM模型预测不相交集群上的流量；以经典多元线性回归模型(MLRA)作为对照组进行实验验证，采用平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)和动态时间规整(DTW)这四类评价指标对预测结果进行综合评价，验证基于Bi-LSTM模型的城市交通网格集群流量预测的可行性。实验结果表明：MLRA模型和Bi-LSTM模型对城市交通网格集群流量的预测值小于真实值，早高峰时段尤为明显；各交通网格集群的交通状态态势相似，集群的簇内相关性较强，两类模型均可实现较好的流量预测效果，Bi-LSTM表现更优； MLRA和Bi-LSTM预测模型的精度MAE、RMSE、MAPE分别为3.2011、4.4009、0.3187，3.0687、4.2943、0.3045，Bi-LSTM与MLRA相比，模型精度分别提高了4.14%、2.40%、4.46%，说明所构建的Bi-LSTM交通流网格集群流量预测精度高、误差低，要优于MLRA模型，表现出较好的泛化性能； MLRA和Bi-LSTM的DTW结果分别为52938.6356、54815.1055，构建的Bi-LSTM模型较MLRA模型各自工作日和节假日时间序列相似性DTW结果提高3.42%，表现出更好的鲁棒性。利用城市交通流量的特点和交通轨迹数据网格化的优点，基于Bi-LSTM模型的城市交通网格集群流量预测与MLRA交通流量预测模型相比，具有精度高、误差低的特点。同时，DTW指标方面，基于Bi-LSTM对城市交通网格集群流量模型与真实流量变化趋势一致，表现出较好的鲁棒性。     

基于NER的石油非结构化信息抽取研究

随着"智能油田"的建设加快,构建基于海量石油数据的智能分析系统意义重大。然而,由于石油生产过程中产生的文本数据往往无结构且类型多样,从中抽取关键信息进行分析成为一个研究热点,而信息抽取又需要高质量的语义实体做支撑。根据这一特定问题,提出基于命名实体识别（Named Entity Recognition,NER）技术针对石油非结构化文本进行信息抽取,构建双向长短时记忆（Bidirectional Long Short-Term Memory,Bi LSTM）网络模型提取语料特征,并结合条件随机场（Conditional Random Field,CRF）做分类器,构建了基于Bi LSTM+CRF的高精度NER模型,针对石油工业领域的非结构化文本进行命名实体抽取。通过在修井作业文本数据集上进行对比实验表明,本方法具有较高的精确率和召回率。     

基于DTW-SC与Bi-LSTM网络的电动公交短期充电负荷预测

对电动公交车进行较为精准的短期充电负荷预测,有利于电网合理调度,从而在一定程度上缓解大规模电动公交车接入对电网冲击的影响。因此,提出一种基于DTW-SC与Bi-LSTM网络的电动公交短期充电负荷预测方法,以提高负荷预测精度。首先,结合电动公交车充电负荷具有的间歇性和波动性特点,提出基于动态时间规整(dynamic time warping, DTW)的改进谱聚类(Spectral Clustering, SC)方法,对公交车日充电负荷曲线进行聚类;其次,对每类负荷综合考虑时间、日类型、温度及历史负荷值等影响因素,利用双向长短期记忆(bi-directional-long short-term memory, Bi-LSTM)构建电动公交车短期充电负荷预测模型;最后,利用某市实际天气数据和历史负荷数据进行仿真验证,并与其它预测方法进行对比分析。实验结果表明,所提方法能提高短期充电负荷预测准确度。     

中国卫生总费用与GDP协整和引导关系的实证分析

为了深入探讨中国卫生总费用增长变化的趋势,本文利用协整理论,对我国卫生总费用与GDP的内在关系进行了实证分析.结果表明:中国卫生总费用与GDP均为一阶单整序列,两者之间存在动态均衡关系,并且经过引导检验,GDP的增长和卫生总费用的增长具有Grange因果关系.这一结果比传统计量经济模型方法所得结果更加深刻.     

论我国交通客运量与国民经济关系 ——基于时间序列模型的分析

为研究我国交通客运量与国民经济之间的关系,建立了客运量、旅客周转量、国内生产总值(GDP)的ARIMA模型,采用Johansen的极大似然估计法对这3个序列进行协整关系检验,运用格兰杰因果分析法对三者之间的因果关系进行研究,并建立了矢量自回归模型,利用脉冲响应函数进一步分析了三者之间的短期动态关系。研究结果表明:交通客运量与国内生产总值之间没有协整关系,国内生产总值是客运量和旅客周转量的格兰杰原因,而客运量和旅客周转量都不构成对国内生产总值的格兰杰因果关系。脉冲响应函数分析结果表明:我国客运量和旅客周转量的增长对国内生产总值的增长有明显促进作用,国民经济的发展对我国旅客运输业的长期发展有着一定的推动作用,同时也决定着交通运输业的发展规模。