基于双编码器利用在线社交网络信息的股票价格预测

设计了双编码器-解码器模型,在模型的双编码器端分别对情绪变量和技术指标进行单独编码,以提高两类信息输入时编码器-解码器模型对股价的预测准确率.首先,对模型的编码和解码,基于门控循环单元(GRU)进行改进,通过去掉重置门,使用更新门代替重置门的功能,将激活函数tanh替换为ReLU激活函数,以达到提高网络训练速度和模型精度的效果.其次,将市场情绪看作离散时间的随机过程,当固定时间时,市场情绪是服从某个概率分布的变量,对其概率分布进行估计,可得市场情绪关于积极、消极和中立的概率估计.进一步的,基于构建伪标签的情感分类器,建立情绪得分公式,并基于Bagging集成的方法对市场情绪的概率分布进行估计,作为投资者情绪变量的补充.另一方面,对多个超参数调整选优,设计正交试验,大大缩短了模型选参时间.实验结果表明,两输入的双编码器-解码器,不仅提升了编码器-解码器框架的股价预测效果,还通过引入投资者情绪,提高了模型的准确率和鲁棒性.     

基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络（LSTM）基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.     

短期风力发电负荷预测的新方法

以陆上风力发电负荷数据作为研究对象,将注意力机制引入双向长短期记忆与卷积神经网络（CNN）的混合模型来预测短期电力负荷．结果显示:1）注意力机制通过对不同时步的输入进行加权,能够显著提升双向长短期记忆网络的预测性能;2）双向长短期记忆网络-CNN结构比CNN-双向长短期记忆网络结构更适用于短期负荷预测,前者相较后者能够充分利用时序信息,不会在输入初期就丢失关键信息;3）基于注意力机制的双向长短期记忆网络-CNN混合模型的均方根误差（RMSE）、平均绝对百分比误差（MAPE）分别达到了575.35和7.02%,比次佳模型（基于注意力机制的双向长短期记忆网络-CNN混合模型）分别降低了2.75%和9.65%,其在风电短期负荷预测方面有很好的应用前景．      

基于注意力机制的DGA域名检测算法

DGA域名(Domain Generation Algorithm)检测是恶意CC通信检测的关键技术之一。已有的检测方法通常基于域名构成的随机性进行检测,存在误报率高等问题,对于低随机性DGA域名的检测准确率较低,主要是因为此类方法未能有效提取低随机性DGA域名中的部分高随机性,为此提出了域名的多字符随机性提取方法。采用门控循环单元(GRU)实现多字符组合编码及其随机性提取;引入注意力机制,加强域名中部分高随机性特征。构建了基于注意力机制的循环神经网络的DGA域名检测算法(ATT-GRU),提升了低随机性DGA域名识别的有效性。实验结果表明,ATT-GRU算法在检测DGA域名上取得了比传统方法更高的检测精确率和更低的误报率。     

基于ACapsGRU的短时交通流预测研究

针对交通流预测中的时空相关性进行研究．首先,根据城市交通路网建立速度矩阵,将每个时刻的速度矩阵输入胶囊网络进行空间特征的提取;其次,利用注意力机制结合近期交通流数据生成注意力权重;最后,将带有注意力权重的数据输入到门控循环单元学习交通流的时间特征,进行组合模型的短时交通流预测．使用西安市的交通流数据进行验证,结果表明：提出的ACapsGRU组合模型有更好的预测结果,相比于卷积神经网络、胶囊网络及CapsNet-NLSTM等模型预测结果,在平均绝对误差(MAE)方面分别优化了17.08%,13.85%和4.78%.     

基于注意力机制优化长短期记忆网络的短期电力负荷预测

在电力系统的经济调度中,如何合理利用电力负荷的过去和现在来推测其未来价值,具有非常长远的社会经济价值.短期电力负荷数据具有明显的时间特征,传统的深度模型越来越多地应用于该领域.然而,深度模型可能存在梯度爆炸或梯度消失,为此,提出了一种注意力机制优化长短期记忆网络的短期负荷预测模型.该模型将长短期记忆网络单元中的激活函数改进为加权激活函数组,并加入注意力机制以提高预测精度.     

基于注意力机制的LSTM长江汛期水位预测方法研究

为提高长短期记忆网络(Long Short-Term Memory,LSTM)在水位预测任务中的准确性,以及提高LSTM对数据中时空信息的利用率,本文提出了一种基于Softmax函数的注意力模块,并将其应用在LSTM的输入前,使模型可以根据输入数据中的时间和空间信息,自主地生成带有权重的词义向量,并赋予输入序列时间和空...     

基于长短期记忆网络和注意力机制的油井产油量预测

准确地预测油井产油量在油田生产中至关重要,针对传统的线性预测方法存在适应性差的问题,以及在处理时序问题上难以很好拟合历史数据的问题,提出使用长短期记忆神经网络和注意力机制来解决数据中存在的时序关系以及增强模型的可移植性,并且分析了时间滞后、学习率衰减和神经元随机失活三个参数对油井产油量预测模型的影响,发现这三个参数分别为36、0.3和0.8时,模型表现最佳。使用最优参数建立油井产油量预测模型,并将该模型应用于XX油田的三口实验井数据上,其中井H3-32的后期实际产油总量为1470.5t,预测值为1442.33t,误差为1.92%;井H3-34的后期实际产油总量为1564.5t,预测值为1545.98t,误差为1.20%;井H3-35的后期实际产油总量为742.2t,预测值为772.12t,误差为4.05%。由此可见,基于长短期记忆神经网络和注意力机制的油井产油量预测模型的精度较高。本文研究成果可促进先进计算机技术在石油工业中的应用,对我国油田生产方案的制订和原油采收率的进一步提高具有非常重要的理论与现实意义。     

基于高阶图卷积自编码器的网络流量预测

网络流量预测是有效保障用户QoS措施之一。当前深度学习为基础的网络算法预测中没有充分利用网络拓扑信息。为此,提出了基于高阶图卷积自编码器的网络流量预测模型。该流量预测模型基于软件定义网络（SDN）架构,利用高阶图卷积网络（GCN）获取网络拓扑中的多跳邻域之间的流量相互影响关系,采用门控递归单元（GRU）获取网络的时间相关性信息,利用自编码模型来实现无监督学习和预测。在Abilene网络上采用真实数据进行了仿真对比分析试验,结果表明,提出的方法在网络流量检测方面的MAPE值为41.56%,低于其它深度学习的方法,同时预测准确率方面也达到最优。     

基于Transformer的网络安全态势预测

针对当下网络安全态势预测准确率低的问题,将Transformer用于网络安全态势预测．首先,引入门控循环单元(GRU)来降低样本特征的维度,维度的下降有利于减少训练Transformer的代价和缓解Transformer过拟合问题;然后,将降维后的特征输入Transformer层,通过编码器提取具有时序关系的特征;最后,使用全局平均池化处理提取的特征,以减少全连接层的参数量,减缓过拟合问题．在两个网络安全数据集上的实验表明：该方法可以降低训练时间,并且在准确率、精确率和F1值三个指标上的综合表现优于其他方法．     

基于内联关系的方面级情感分析方法

方面级情感分析 (aspect-based sentiment analysis, ABSA) 旨在预测给定文本中特定目标的情感极性. 研究表明, 利用注意力机制对目标及其上下文进行建模, 可以获得更有效的情感分类特征表达. 然而, 目前常用的方法是通过对特定目标使用平均向量来计算该目标上下文的注意权值, 这类方法无法突出文本中个别单词对于整个句子的重要性. 因此, 提出了一种基于内联关系的方面级情感分析方法, 该方法可以对目标和上下文进行建模, 将关注点放在目标的关键词上, 以学习更有效的上下文表示. 首先使用门控循环单元 (gated recurrent unit, GRU) 对方面信息和句中单词进行融合分布式表达; 然后将分布式表达输入到结合注意力机制的长短时记忆网络 (long short-term memory network, LSTM), 通过查询机制来增加内联关系的权重, 最终得到方面级情感分类. 该模型在公开数据集上进行的实验结果表明, 该方法是有效的, 精确度均超过基线模型.     

基于注意力机制的区域小学入学规模预测

学龄人口是区域教育资源配置的重要依据,对区域内下一年小学入学规模进行准确预测,可以为区域内教育管理部门对教育资源进行调配提供辅助决策支持.该文针对区域内小学入学规模预测问题,考虑区域经济、人口等相关因素和小学入学规模的关联关系,提出了基于注意力机制的循环网络预测模型.该模型以长短时记忆网络模型为基础,引入注意力机制,自动提取小学入学规模与经济、人口等特征之间的关联关系以及进一步增强历史关键时间点的信息表达,提升预测准确率.在采用真实数据集进行试验的结果说明,该模型对比其它模型在多个评价指标上均有提升,具有更准确和更稳定的预测效果.     

The surrounding vehicles behavior prediction for intelligent vehicles based on Att-BiLSTM

A surrounding vehicles behavior prediction method was presented for intelligent vehicles. The surrounding vehicles’ behavior is hard to predict since the significant uncertainty of vehicle driving and environmental changes. This method adopts bidirectional long short-term memory (BiLSTM) model combined with an encoder to ensure the memory of long-time series training. By constructing an attention mechanism based on BiLSTM, we consider the importance of different information which could guarantee the encoder’s memory under long sequence. The designed attention-bidirectional LSTM (Att-BiLSTM) model is adopted to ensure the surrounding vehicles’ prediction accuracy and effectiveness.     

基于注意力-长短期记忆模型的偶发性交通流异常检测

提出了基于注意力（attention）机制的LSTM(long short-term memory)交通异常检测模型,并利用整体交通网格点数据对交通流量进行异常检测。模拟数据集的验证结果表明,Attention-LSTM预测模型具有较好的检测效果;SKAB(skoltech anomaly benchmark)公开数据集进一步检验了模型的检测能力。以上海市出租车GPS实时数据代表实时交通流状况,对交通流异常进行检测,并对检测结果进行了分析,验证了Attention-LSTM模型的有效性。     

基于双通道模型的航空发动机剩余寿命预测

针对现阶段航空发动机单一剩余使用寿命预测模型数据挖掘深度不足导致预测精度低的问题,提出一种双通道模型的预测方法。首先,构建双通道网络结构：通道一使用时间卷积网络,通过残差结构和空洞卷积使得网络具有更大的感受野和计算速度;通道二使用卷积长短时间记忆网络,提取多维时空特征,捕捉数据长期依赖关系。其次,利用多头注意力机制为双通道网络特征重新赋予权重。最后,将双通道网络进行特征融合输出,实现对航空发动机剩余寿命预测。使用涡扇发动机退化数据集进行实验验证,并与其它文献中提到的卷积双向长短时间记忆网络模型、多特征注意力模型、多头注意力模型、卷积门控单元循环神经网络模型进行对比。结果表明,所提模型在3种评价指标上均取得更好的表现,为航空发动机剩余寿命预测提供了一种新思路。     

高速磁浮列车悬浮间隙仿真预测

基于长短时记忆（LSTM）神经网络提出了一种可用于高速磁浮列车的电磁铁悬浮间隙预测方法。考虑高速磁浮列车运行过程中受到的气动荷载,建立了列车仿真模型并计算列车的动态响应;通过PyCharm建立LSTM神经网络,并以高速磁浮列车仿真模型计算结果为样本集,构建了高速磁浮列车电磁铁悬浮间隙预测模型。最后,通过对预测模型计算结果和评价指标进行评判,验证了所提出的电磁铁间隙预测算法的准确性。     

犯罪时间序列的混沌特征分析与短期预测

现有犯罪时间序列预测方法侧重于捕捉序列自相关性来构建预测模型,但缺少对犯罪时间序列所反映的社会治安系统非线性和复杂性特征的考虑。 针对这一不足,提出了一种基于混沌分析的长短期记忆(long short-term memory, LSTM)LSTM 预测方法(Chaos-LSTM)。 首先将犯罪时间序列进行相空间重构得到其重构参数以及高维特征,然后计算犯罪时间序列的 Lyapunov 指数判断其混沌特性,最后对符合混沌特征的犯罪时间序列利用重构参数进行序列重建,输入 LSTM 模型进行时序预测。 以北方某特大城市 2007—2014 年的抢劫、入室盗窃、抢夺、诈骗类犯罪的日序列数据进行了实验验证,结果表明:4类案件的时序数据均表现出明显的混沌特征。 Chaos-LSTM 模型在预测精度上较 LSTM 模型有明显提升,平均绝对百分误差(mean absolute percentage error, MAPE)提 升 度 最 高 可 达 19. 7% ,百 分 比 均 方 根 误 差 (percentage root mean square error,PRMSE)提升度最高为 4. 19% ,其中对稀疏性数据序列的提升效果更为明显,显示出该方法对稀疏犯罪时间序列具有更好的适应性。     

基于LSTM的钓鱼邮件检测系统

提出了一种基于LSTM的钓鱼邮件检测方式.该方式主要由两部分构成:分别为数据扩充部分及模型训练部分.数据扩展部分中,通过KNN与K-means算法扩大训练数据集,保证数据的数量能够满足深度学习算法的需要.在模型训练部分中,通过对数据进行预处理并将其转化为词向量矩阵,最后将转化完词向量通过训练得到LSTM神经网络模型.最终,可以根据训练好的LSTM模型将邮件分为正常邮件以及钓鱼邮件.通过实验对提出的算法进行了评估,实验结果显示提出的算法准确率可以达到95%.      

基于分层注意力循环神经网络的司法案件刑期预测

为了解决刑期预测任务准确率较差的问题,提出一种基于多通道分层注意力循环神经网络的司法案件刑期预测模型.该模型对传统的循环神经网络模型进行了改进,引入了BERT词嵌入、多通道模式和分层注意力机制,将刑期预测转化为文本分类问题.模型采用分层的双向循环神经网络对案件文本进行建模,并通过分层注意力机制在词语级和句子级两个层面捕获不同词语和句子的重要性,最终生成有效表征案件文本的多通道嵌入向量.实验结果表明:对比现有的基于深度学习的刑期预测模型,本文提出的模型具有更高的预测性能.     

激光路面平整度检测系统

为提高路面平整度检测水平，提出了基于基准传递原理的路面平整度检测方法，给出了采用5个激光位移传感器检测路面纵断面相对标高的计算公式，在不同等级路面上与精密水准仪测量方法进行了对比试验。结果表明，依据基准传递原理的路面平整度激光检测系统不受检测速度限制，可给出被测道路的纵断面曲线和国际平整度指数（IRI）。