基于语义共现与注意力网络的问题分类方法

针对汽车故障问答文本特征稀疏、语义信息不全、深层次语义特征较难提取等问题,提出基于问题-答案语义共现的多层次注意力卷积长短时记忆网络模型(co-occurrence word attention convolution LSTM neural network,CACL)的问题分类方法。通过向量空间模型计算问题与答案文本中语义相似的共现词,使用注意力机制聚焦问题文本中的共现词特征,输入卷积神经网络(convolutional neural network,CNN)提取问题局部特征,通过长短时记忆网络(long short-term memory network,LSTM)及词级别注意力机制提取长距离依赖特征及其更高层次的文本特征,采用Softmax进行问题分类。结果表明,相比较于主流的问题分类方法,该方法有效提高了问题分类的精度,最高提升了10.04%的准确率。同时,试验发现当选用11个有效共现词且共现词来自问题文本时,模型的处理精度最佳。合理利用问题-答案文本语义相似的共现词,能有效提升汽车故障问题的分类性能,且共现词的个数、来源对问题的分类精度有一定的影响。     

基于编码解码器与深度主题特征抽取的多标签文本分类

本文提出了一种基于编码解码器与深度主题特征的模型,实现了多标签文本分类.针对传统多标签文本分类方法的特征语义缺失的问题,采用一种长短时记忆(long short-term memory,LSTM)网络提取文本的局部特征与主题模型(latent dirichlet allocation,LDA)提取文本的全局特征的深度主题特征提取模型(deep topic feature extraction model,DTFEM),得到具有文本深层语义特征的语义编码向量,并将该编码向量作为解码器网络的输入.解码器网络将多标签文本分类的任务看作序列生成的过程,解决了多标签文本分类的标签相关性的问题,并加入attention机制,计算注意力分布概率,突出关键输入对输出的作用,改进了由于输入过长导致的语义缺失问题,最终实现多标签文本分类.实验结果表明,该模型能够获得比传统的多标签文本分类系统更优的结果.另外,实验证明使用深度主题特征的方法可以提高多标签文本分类的性能.     

融合多粒度特征和标签语义共现的多标签分类

为了从文本中可以更加准确地分析其蕴含的内容,给人们的生产生活提供建议,在基于深度学习的传统多标签分类方法的基础上,提出一种融合多粒度特征和标签语义共现的多标签分类模型。该模型利用双向长短时记忆网络双向长短时记忆网络(bidirectional long short-term memory network, Bi-LSTM)提取多粒度的文本特征,获得不同层次的文本特征;并通过计算pmi的方式构建标签关系图,利用图卷积网络(graph convolution network, GCN)深入提取标签的隐藏关系,获得具有标签信息的文本表示;最终融合多粒度文本特征,进行多标签文本分类。在AAPD和news数据集上进行实验。结果表明：所提出模型的Micro-F1值分别达到0.704和0.729,验证了模型的有效性。     

基于深度强化学习的文本相似语义计算模型

语义相似计算是自然语言处理领域一个常见问题,现有的基于深度学习的语义相似计算模型大多数是通过卷积网络或者长短时记忆模型来提取语义特征,但是这种语义特征的提取方式存在语义信息丢失的问题。提出两点改进传统深度学习模型在提取语义特征时的语义丢失现象。首先是改进注意力相互加权模型。基于相互加权方式做出改进,使用多个加权权重矩阵加权语义,同时提出新的正则项计算方法。其次在语义相似计算模型中引入强化学习的方法对文本进行自动分组处理,在语义相似计算领域最常用的Siamese Network模型上使用强化学习算法,改善长短时记忆模型在提取句子的语义时所面临的语义丢失现象。通过实验验证,改进的方法处理中文句子有不错的效果。     

一种双向长短时记忆循环神经网络的问句语义关系识别方法

提出一种基于双向长短时记忆循环神经网络的问句语义关系识别方法.利用循环神经网络直接从词学习问句的语义特征表示,不需要自然语言处理工具进行特征抽取,有效避免了误差传递问题.同时,在网络中加入双向结构和长短时记忆模块,有效改善传统循环神经网络在训练过程中的"梯度弥散"问题.加入基于主实体位置的分段最大池化操作,相对于传统单一最大池化,能保留问句文本中的有效语义特征.通过在电力领域真实问题集上实验比较,本方法相对于传统方法能有效提升问句语义关系识别的性能,问句语义关系分类结果F1值提高4.5%.     

基于递归神经网络的文本分类研究

使用基于长短项记忆（LSTM）和门阀递归单元（GRU）计算节点的双向递归神经网络提取文本特征,然后使用softmax对文本特征进行分类。这种基于深度学习的神经网络模型以词向量作为基本输入单元,充分考虑了单词的语义和语法信息,并且在神经网络的计算过程中严格遵守单词之间的顺序,保留原文本中语义组合的方式,可以克服传统文本分类方法的不足。使用本文所提方法在第三届自然语言处理和中文计算会议（NLPCC 2014）公布的新华社新闻分类语料和路透社RCV1-v2语料上进行实验,其分类F1值分别达到了88.3%和50.5%,相较于传统的基线模型有显著的提升。由于该方法不需要人工设计特征,因此具有很好的可移植性。     

基于语义特征提取与层次结构的问题生成方法

针对传统端到端模型在输入文本语义较复杂情况下生成的问题普遍存在语义不完整的情形,提出一种基于语义特征提取的文本编码器架构.首先构建双向长短时记忆网络获得基础的上下文信息,然后采用自注意力机制及双向卷积神经网络模型分别提取语义的全局特征和局部特征,最后设计一种层次结构,融合特征及输入自身信息得到最终的文本表示进行问题生成.在数据集SQuAD上的实验结果表明,基于语义特征提取与层次结构进行问题生成效果显著,结果明显优于已有方法,并且语义特征提取和层次结构在任务的各评价指标上均有提升.     

Senti-LSTM:一个基于递归神经网络的情感分析模型

针对文本情感分析中情感极性的问题,提出一种改进型长短期记忆网络模型Senti-LSTM,该模型在现有LSTM网络单元中添加情感门,架构于Senti-LSTM之上的深度神经网络模型充分利用文本上下文信息、文本结构与情感语义等信息,实现更加有效的文本情感表示学习.实验结果表明,Senti-LSTM能够有效提升文本情感分类准确率,同时具有较强的鲁棒性.     

融合文本内容和标签引导文本编码的分类方法

针对当前文本分类算法未能充分利用标签的语义表示导致文本表示学习与分类预测割裂的问题,提出一种融合文本内容编码和标签引导文本编码的文本分类方法.在文本内容编码部分,通过长短时记忆网络获得文本序列累计语义表示,通过自注意力机制捕获和强化文本长距离语义依赖.在标签引导文本编码部分,设计交互注意力机制,通过标签引导得到经由标签的语义表示过滤下文本的新表示.最后将两部分输出融合,得到同时具有本地内容语义信息和全局任务指导信息的文本表示,使得模型在文本表示阶段即对分类任务具有早期感知力.实验结果表明本研究方法在真实数据集上可有效提升文本分类任务性能.     

融合实体信息的图卷积神经网络的短文本分类模型

提出一种融合实体信息的图卷积神经网络模型（ETGCN），用于短文本分类.首先，使用实体链接工具抽取短文本中的实体；然后，利用图卷积神经网络对文档、实体和单词进行建模，丰富文本的潜在语义特征；将学习到的单词节点表示与BERT词嵌入进行拼接，通过双向长短期记忆网络，进一步挖掘文本上下文语义特征，再与图神经网络模型得到的文本特征进行融合，用于分类.实验结果表明，该模型在数据集AGNews、R52和MR上的分类准确率分别为88.38%、93.87%和82.87%，优于大部分主流的基线方法.     

基于混合神经网络的中文隐式情感分析

隐式情感分析是情感计算的重要组成部分,尤其是基于深度学习的情感分析近年来成为了研究热点.本文利用卷积神经网络对文本进行特征提取,结合长短期记忆网络(LSTM)结构提取上下文信息,并且在网络中加入注意力机制,构建一种新型混合神经网络模型,实现对文本隐式情感的分析.混合神经网络模型分别从单词级和句子级的层次结构中提取更有意义的句子语义和结构等隐藏特征,通过注意力机制关注情绪贡献率较大的特征.该模型在公开的隐式情感数据集上分类准确率达到了77%.隐式情感分析的研究可以更全面地提高文本情感分析效果,进一步推动文本情感分析在知识嵌入、文本表示学习、用户建模和自然语言等领域的应用.     

基于改进果蝇算法和长短期记忆神经网络的油田产量预测模型

产量预测是油田生产动态开发研究的重要内容之一。油田的长期生产积累了大量数据,但是波动幅度很大,直接应用长短期记忆神经网络预测油田的生产指标,会出现神经网络泛化性很差的问题。因此,首先利用双层长短期记忆神经网络(long-short term memory,LSTM)和随机式失活对神经网络架构进行调整,建立了深度学习神经网络模型;并提出了一种新的果蝇聚集方法,通过改进的果蝇优化算法对所建立的神经网络模型进行优化,避免其陷入局部最优解,搜寻解空间的最优解;最后,油田实例验证表明,优化后的深度学习网络的网络泛化能力和预测精度有了较大提高,对于油田波动性较大的数据也能较好地拟合。所建立油田产量预测模型可应用于矿场开发实际。     

LSTM模型在耕地面积预测领域的构建与应用

 长短期记忆（LSTM）模型广泛应用于系统故障、交通流量、股票指数、紧急事件、碳排放、石油产量、农区地下水位等多个领域,均表现了出色的预测性能。为了丰富耕地面积预测方法、提升耕地预测精度,将LSTM模型引入耕地面积预测。选择常用的趋势外推模型、指数平滑模型、灰色模型、移动平均自回归、支持向量机、NAR动态神经网络等6类模型进行对比,并以耕地变化趋势比较复杂的黑龙江省和变化趋势比较单一的辽宁省、吉林省作为案例进行分析,以验证LSTM模型耕地面积预测效果。结果表明,从均方根误差（RMSE）、平均绝对误差（MAPE）这2个指标的综合评价来看, LSTM模型拟合和预测效果均为最优。根据LSTM模型预测, 2018-2030年黑龙江、吉林、辽宁3省的耕地面积将呈持续减少的趋势,耕地减少速度均有放缓之势。     

基于长短时记忆与多影响因子的滑坡位移动态预测

针对传统滑坡位移预测模型存在对历史数据遗忘的问题,提出了一种基于长短时记忆（LSTM）网络的滑坡位移动态预测模型。首先,将滑坡累计位移分解为趋势项位移与波动项位移,利用多项式拟合预测趋势项位移;然后,通过灰色关联度筛选外界诱发因子并运用LSTM模型预测波动项位移;最后,叠加周期项位移与波动项位移,得到累计位移。以新滩滑坡为例,并与RNN模型以及传统静态神经网络模型BP、ELM进行对比分析,采用平均百分比误差（MAPE）,均方根误差（RMSE）,拟合优度（R2）分别对其进行评价。应用结果表明：相比于传统静态模型,LSTM与RNN均适用于滑坡位移动态预测;对比结果显示,LSTM模型具有较好的预测精度,MAPE与RMSE值分别为1.026%、0.327 mm,拟合优度R2为0.978。     

基于改进信息熵和LSTM网络的轴承故障诊断

针对传统的时频域故障诊断方法无法对故障实现自适应识别和分类,且准确率较低的问题,提出一种基于改进信息熵(improved information entropy, IIE)的长短时记忆网络(long-short time memory network, LSTM)方法。首先对原始信号分别进行集合经验模态分解(ensemble empirical mode decomposition, EEMD)和变分模态分解(variational mode decomposition, VMD);将包含故障信息的所有本征模式分量(intrinsic mode functions, IMF)进行信息熵的求取;通过信息熵反映IMF的信息量和峭度指标对描述冲击成分的优势改进信息熵,构成特征向量;最后结合LSTM处理非线性数据的优势,利用组合特征训练LSTM网络建立诊断模型。实验结果表明：该方法能准确、高效地识别多种故障,准确率要比单一的EEMD-LSTM、VMD-LSTM、人工神经网络等传统方法更高。     

基于LSI和自组织神经网络的高效文本聚类方法

根据隐含语义索引(LSI)理论和动态自组织映射神经网络理论,提出了一种文本聚类的新方法.应用动态自组织映射神经网络来实现文本聚类,不必预先给定聚类个数,可以在任意合适的位置生成一个新的类,具有聚类灵活和精度高等特点,对于高维的文本特征向量来说,聚类速度很低;该方法应用LSI理论来建立文本集的向量空间模型,在词条的权重中引入了语义关系,消减了原词条矩阵中包含的"噪声"因素,从而更加突出了词和文本之间的语义关系.通过奇异值分解(SVD),有效地降低了向量空间的维数,克服了自组织神经网络的聚类缺陷,提高了文本聚类的精度和速度.     

基于视觉的水面背景下目标检测与跟踪算法

为解决清漂船在复杂水面背景下对漂浮物体积较小或被遮挡的检测与跟踪问题,提出了一种基于视觉的水面背景下目标检测与跟踪算法,通过利用YOLO改进的多粒度特征融合方法使得模型在最终检测时所提取的特征向量考虑更多底层的特征,并引入K邻域搜索感兴趣区域模块,与长短期记忆神经网络(long-short term memory, LSTM)相结合,弥补了卷积神经网络的时序关联性差的缺陷,根据目标当前帧语义特征和运动特征预测下一帧中目标所在位置,能够更快地提取目标的特征,并且有效地去除复杂背景的干扰。实验结果表明：该算法的跟踪平均成功率、平均准确率和平均速度分别为57.1%、71.1%、45.4帧/s。较好解决因被检测目标过小的问题,提升在跟踪目标被遮挡的情况下的跟踪性能。     

基于学习者能力的注意力机制知识追踪方法

基于学习者能力,针对基于循环神经网络（RNN）和长短期记忆（LSTM）网络的深度知识追踪（DKT）算法对早期知识点关注的不足,提出一种加入注意力机制的DKT算法,并用时隙聚类的方法对不同能力学习者动态分组并赋予不同的注意力权值,以建立更平衡、更客观的知识记忆程度权重分布模型.常用公开数据集上的实验结果表明：该模型优于2种基准模型和2种消融实验模型,说明所提出的模型能更好地表现学习者的知识状态.     

具有选择性局部注意力和前序信息解码器的代码生成模型

提出一种基于语法的代码生成模型, 该模型具有选择性局部注意力和包含前序信息的长短期记忆(LSTM)神经网络解码器, 通过更改上下文向量的计算范围, 并在解码过程中融合更多的前序信息, 增强单词之间的相关性。在Hearthstone和Django两个数据集上进行的代码生成实验证实了所提模型的有效性, 与最新的模型相比, 所提模型不仅表现出更出色的准确率和双语评估学习成绩, 还可以使计算工作量最小化。     

指数趋势预测的BP-LSTM模型

本文根据股指、股价等数据的时序特征将人工神经网络(ANN)与深度学习中的循环神经网络(RNN)引入股指预测,基于BP神经网络模型与长短期记忆(LSTM)神经网络模型构建了BP-LSTM模型.基于上证指数,本文进行了进行数值实验.结果表明BP-LSTM预测模型的准确率相比传统机器学习模型有明显提升,与普通LSTM模型相比也有较大提升.