基于注意力机制的LSTM长江汛期水位预测方法研究

为提高长短期记忆网络(Long Short-Term Memory,LSTM)在水位预测任务中的准确性,以及提高LSTM对数据中时空信息的利用率,本文提出了一种基于Softmax函数的注意力模块,并将其应用在LSTM的输入前,使模型可以根据输入数据中的时间和空间信息,自主地生成带有权重的词义向量,并赋予输入序列时间和空...     

基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

数据多维处理LSTM股票价格预测模型

股票的价格具有非线性、随机性等特征,为更精准地预测股票价格,充分利用股票价格数据的时间相关性和数据自身的变化趋势,提出数据多维处理的LSTM股票价格预测模型。通过对股票价格因子数据进行多维处理,提高数据有效信息,形成可以高度反映股票价格的多维数据,在此基础上建立长短期记忆网络组合预测模型,通过收集股市中的股票数据进行实验。实验结果表明,模型预测值与实际股价数据的均方根误差和平均绝对误差仅为0.013 2和0.010 3,相较于单一长短期记忆网络预测模型,2项误差分别降低90.81%和91.65%。数据多维处理LSTM股票价格预测模型具有较高的预测精度。     

基于注意力机制优化长短期记忆网络的短期电力负荷预测

在电力系统的经济调度中,如何合理利用电力负荷的过去和现在来推测其未来价值,具有非常长远的社会经济价值.短期电力负荷数据具有明显的时间特征,传统的深度模型越来越多地应用于该领域.然而,深度模型可能存在梯度爆炸或梯度消失,为此,提出了一种注意力机制优化长短期记忆网络的短期负荷预测模型.该模型将长短期记忆网络单元中的激活函数改进为加权激活函数组,并加入注意力机制以提高预测精度.     

基于双阶段注意力机制的大坝变形深度学习预测模型

为提升大坝结构变形预测精度,采用完全自适应噪声集合经验模态分解(CEEMDAN)法将变形实测序列解耦为一系列具有不同时频特征的本征模态函数,使用小波阈值消噪对高频分量平稳化处理后进行重构,利用基于双阶段注意力机制的长短期记忆网络(DA-LSTM)模型对重构变形序列进行预测。实例验证结果表明,联合CEEMDAN算法和小波阈值消噪方法能够有效识别并清洗实测数据中的异常值,提升了测值对大坝运行性态的表征能力,同时DA-LSTM模型可以充分挖掘大坝变形的滞后性和增强网络的可解释性,据此构建的变形预测模型具有优良的稳健性。     

基于注意力与LSTM的航空发动机剩余寿命预测

预测性维护的核心技术之一是设备剩余寿命(remaining useful life, RUL)预测。为了提高航空发动机的剩余寿命预测精度,提出了一种基于注意力与长短期记忆(directional long short-term memory, LSTM)网络的航空发动机剩余寿命预测模型Attention-LSTM,通过引入注意力机制增强各时间点数据的特征权重,有效提升了模型预测精度。使用NASA C-MAPSS涡扇发动机仿真数据集进行实验,与未加注意力机制的长短期记忆网络等多种模型进行对比实验。实验结果表明,提到的Attention-LSTM模型的均方根误差相比较于未引入注意力机制的长短期记忆网络降低了17.8%,拟合度提升了3.2%,各项评估指标均也优于其他对比模型。     

基于Bert股吧舆情分析的特征融合股价走势预测研究

传统股价预测模型往往只考虑时序性数据且局限于模型自身机制,而忽略舆情对股价的影响,导致预测精度不高,针对该问题,提出基于 Bert 股吧舆情分析的特征融合预测模型对股价收盘价进行涨跌幅预测。 首先,采用Bert 自然语言处理对股吧舆情以及公司公告政策进行情感分类,并转化为虚拟变量,构建金融舆情情感特征库;然后将金融舆情特征库和时序性数据合并构建特征融合矩阵;最后输入长短期记忆网络模型(LSTM)进行股价收盘价预测,并得出股价的涨跌结果。 以华银电力(600744. SH)为例进行实证分析,实验结果表明:引入股票情感特征后的模型,得到的股价走势准确率上升了 8. 63%,预测收盘价的回归指标 FMAPE FRMSE 分别下降了 23. 59%、22. 9%,R2 提高了 8. 11%,证明引入新的舆情情感特征在实际预测中能提高股价预测的准确率,可以作为精准预测股价走势的手段。     

基于Attention机制的链接预测算法

针对社会网络中链接预测问题,提出了基于注意力(Attention)机制的链接表示及其预测算法.基于待预测节点的共邻关系构建其链接局部网络,设计了基于紧密游走的网络拓扑序列化方法.采用双向循环神经网络(Bi-RNN)对链接序列进行向量编码,以充分挖掘序列相关节点间的上下文依赖信息.通过Attention机制对链接中的节点进行关注和加权,强化重要节点对链接预测任务的贡献,实现链接拓扑特征的自动提取与准确分类预测.实验结果表明,在4种不同类型的社会网络数据集中,该算法的准确率和运算效率都有较大提高且普适性较强.     

采用循环神经网络的情感分析注意力模型

针对目前情感分析中的循环神经网络模型缺乏对情感词的关注的问题,提出一种基于循环神经网络的情感词注意力模型,通过引入注意力机制,在情感分类时着重考虑文本中的情感词的影响.在NLPCC 2014情感分析数据集及IMDB影评数据集上进行试验,结果表明:该模型能够提高情感分析的效果.     

基于优化MACD模型的股票价格变化趋势预测方法

【目的】探寻一种有效预测股票价格变化趋势的方法。【方法】在指数平滑异同移动平均线(MACD)指标中加入市场活跃程度(ACT)、波动率(VOL)、离差值(DIF)趋势程度3个指标来构建股票价格变化趋势预测模型。采用热点图对MACD策略中的参数以及股票进行选择、融合,并运用技术分析工具、支持向量机(SVM)与相关向量机(RVM)等机器学习方法对MACD策略中产生的交易信号进行优化,筛选特征变量。【结果】将设计的股票价格变化趋势预测策略的数据换成A股全市场数据并进行回测,发现近10年的年化收益率(14.8%)胜过沪深300指数(7.201%),而且使用A股全市场的数据有效避免了幸存者的偏差。【结论】优化改进的股票价格变化趋势预测模型可以在一定程度上预测股票上升的趋势,有效规避风险。     

不同股票市场股价差异对资本流动的影响

长期以来资本流动水平被认为仅由国内外资本市场利率差和汇率决定。但在全球金融市场高度一体化,跨市场交易日益普遍的今天,不同股票市场股价差异也是决定资本流动水平的因素。     

利用社交媒体情感分析的短期股价趋势预测方法

本文旨在利用社交媒体中的情感信息来提升股价涨跌预测性能.与以往粗粒度地使用文本中的情感信息不同,将与某公司特定话题相关的细粒度情感信息引入预测模型中,并提出一个用于短期股价预测的全新特征——"话题-情感",该特征同时抽取话题和情感信息,并协同利用二者来预测股价涨跌.此外,以往的测试数据集中交易日数量非常少或者仅包含单支股票的数据,本文方法构建了包含众多股票的长时间跨度数据集,并在此数据集上验证了细粒度情感分析对股价涨跌预测的良好效用.     

股票交易价格预测模型研究

本文在分析股票交易价格影响因素和对股价波动进行分解研究的基础上,建立了一种带控制项变量的股票交易价格自相关预测模型和相应的计算机软件.计算结果表明,本模型具有实用价值.     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

百度关注度指数与股票价格关系研究

针对投资者有限关注与股票市场的联动作用进行了分析,回顾了关于传统金融学理论和现代金融学理论的国内外文献,并且比较了两者的区别.介绍了有限关注以及目前的几种理论模型,根据模型得出个体注意力是有限的,投资者风险认知不足会直接影响关注行为.基于传统的投资者关注度代理指标包括换手率、交易量等,利用互联网提供的代理变量可以更直接地反映投资者的关注行为,因此研究选取百度指数作为投资者关注行为的代理变量,当投资者在搜索该股票的信息时,无疑表示投资者对这支股票产生了关注.百度指数提供的关键词被检索的次数,更加直接地反映了投资者对某只股票的关注度,百度指数提供的数据也会驱动投资者的交易行为,从而引起股票价格的波动.通过建立VAR模型、格兰杰因果检验和脉冲响应函数分析对投资者关注行为和股票收盘价之间的关系进行实证分析,结果显示,投资者的关注行为与股票收盘价之间存在一定的影响.     

基于长短时记忆与多影响因子的滑坡位移动态预测

针对传统滑坡位移预测模型存在对历史数据遗忘的问题,提出了一种基于长短时记忆（LSTM）网络的滑坡位移动态预测模型。首先,将滑坡累计位移分解为趋势项位移与波动项位移,利用多项式拟合预测趋势项位移;然后,通过灰色关联度筛选外界诱发因子并运用LSTM模型预测波动项位移;最后,叠加周期项位移与波动项位移,得到累计位移。以新滩滑坡为例,并与RNN模型以及传统静态神经网络模型BP、ELM进行对比分析,采用平均百分比误差（MAPE）,均方根误差（RMSE）,拟合优度（R2）分别对其进行评价。应用结果表明：相比于传统静态模型,LSTM与RNN均适用于滑坡位移动态预测;对比结果显示,LSTM模型具有较好的预测精度,MAPE与RMSE值分别为1.026%、0.327 mm,拟合优度R2为0.978。