基于贝叶斯优化注意力机制LSTNet模型的短期电力负荷预测

为更充分挖掘多元负荷序列间的有效信息,从而提高预测精度,提出了一种集成贝叶斯超参数优化算法、注意力机制的长期和短期时间序列网络（long and short-term time-series network with attention,LSTNet-attention）以及误差修正的短期负荷预测模型。首先,构建基于贝叶斯优化的LSTNet-attention模型进行初步预测,利用贝叶斯算法优化模型多个结构参数,降低人工设置参数的随机性,并通过注意力机制合理分配特征权重;然后,通过基于贝叶斯参数优化的极端梯度提升算法(extreme gradient boosting,XGBoost)误差修正模型来挖掘初步预测误差序列中潜在、未被利用的有效信息,进行误差预测和修正,进而得到最终的预测结果。通过使用澳大利亚某地真实负荷数据进行实证分析,实验结果表明,所提预测模型相较于其它模型具有更好的预测效果,可为负荷预测等工作提供一定参考。     

基于时空多维的VMD-GAT-Attention短时交通流量组合预测模型

文章针对短时交通流量时空依赖性、非线性的特点,为提高交通流量的预测精度,将时间建模和空间建模相结合,提出一种整合改进的变分模态分解(variational mode decomposition,VMD)结合图注意力网络(graph attention networks,GAT)与注意力模型搭建的组合预测模型.在时间维度上,利用改进粒子群算法(improved particle swarm optimization,IPSO)优化的变分模态算法分解交通流量,保证了VMD的充分分解,并得到相对平稳的交通流量序列,提高了组合模型的预测精度;在空间维度上,构建有效分解模态与原交通流量序列的GAT,提取不同时间序列中各交通节点之间的空间信息;引入注意力机制提高主要时空信息权重,降低次要时空信息权重,进一步提升了组合模型的预测精度.实验结果表明,该组合模型比IPSO-VMD-GAT-Attention模型以及VMD-GAT-Attention模型的均方根误差分别下降了31％ 和21％,而且对于VMD-GAT模型和GAT模型,均方根误差分别从14.1231和9.9136下降到2.2928,说明该模型达到较好的预测效果.     

基于Attention机制的链接预测算法

针对社会网络中链接预测问题,提出了基于注意力(Attention)机制的链接表示及其预测算法.基于待预测节点的共邻关系构建其链接局部网络,设计了基于紧密游走的网络拓扑序列化方法.采用双向循环神经网络(Bi-RNN)对链接序列进行向量编码,以充分挖掘序列相关节点间的上下文依赖信息.通过Attention机制对链接中的节点进行关注和加权,强化重要节点对链接预测任务的贡献,实现链接拓扑特征的自动提取与准确分类预测.实验结果表明,在4种不同类型的社会网络数据集中,该算法的准确率和运算效率都有较大提高且普适性较强.     

VAE_LSTM算法在时间序列预测模型中的研究

针对长短期记忆网络(LSTM)算法对时间序列预测存在的不足,考虑到样本序列如果包含线性关系或含有噪音时LSTM算法预测将不准确,同时分析了变分自编码器(VAE)对异常样本修复的原理,提出了一种改进的LSTM时间序列预测算法VAE_LSTM,将VAE网络修复样本的思想加入到传统的LSTM网络,对样本序列进行修复后再输入LSTM神经网络训练,最终建立了时间序列预测模型.阐述了模型建立的方法与步骤,详细分析了模型的原理.使用长江汉口历史水文数据序列进行仿真实验,结果表明:VAE_LSTM算法预测模型在时间序列预测方面有较好表现,满足预测精度要求,比传统LSTM时间序列预测模型的预测准确性高,尤其中短期预测更为准确;对比实验同时表明此模型准确性高于ARIMA,RNN等预测模型.     

基于支持向量机免疫集成预测的电信网络性能监控

为实现持续有效的电信网络性能监控,提出一种改进的支持向量机预测基线法.利用人工免疫网络优化支持向量机参数、核函数参数、嵌入维数和样本规模等回归分析的自由参数,提出支持向量机免疫集成预测算法.根据电信网络性能的周期性特点构建同点时间序列模型,以预测的置信区间为基线对电信网络性能进行监控,通过对某软交换服务器的CPU负荷进行实验分析.研究结果表明:与经验自由参数相比,支持向量机免疫集成预测算法能取得更加精确的回归模式,其误差平方和减少55.4％,同点时间序列模型能有效克服连续时间序列中存在的异常输入敏感问题,准确发现多个连续的异常点.     

非线性时间序列的重构及预测

采用自适应前馈网络算法(AFN)进行非线性时序预测，对网络结构设计进行详细的探讨，并应用该方法对经典非线性时间序列数据进行预测，与传统预测方法(TAR)比较，结果证明此种方法具有较好的效果，网络的结构得到了简化。不仅满足了误差目标的要求，而且提高了网络的推广能力。且AFN方法可以对时间序列数据间的关系给出一种基于贡献率的解释。     

时间序列预测在社会商品零售中的应用研究

神经网络和遗传进化的方法在时间序列预测中的应用已得到充分地认可,一些模型已经提出,例如多层感知器(MLP),误差反向传播(BP),径向基函数(RBF)网络和遗传规划算法(GP)等等。本文通过实例分析,比较了以上的几种方法,计算了各种预测模型的精度和推广预测能力。     

打折最小平方RBF网络及其时间序列预测研究

借用打折最小平方(DLS)原理构建了基于误差平方准则的DLS-RBF网络的学习算法.打折最小平方原理考虑了时间序列本身的结构性变化,较好地刻画了预测点与其他时刻数据的相关性,而这些恰恰是现有的径向基函数神经网络(RBF)在预测过程中所忽视的.实验表明DLS-RBF网络在非平稳方差时间序列和某城市自来水实际的月用水量预测中的效果明显,并优于RBF网络,但在混沌时间序列预测的实验中,因其自身的混沌特性,预测效果并不十分明显.     

基于注意力机制的车辆行为预测

为了解决智能驾驶场景中对周边车辆未来行为的预测问题,研究了基于注意力机制的长短时记忆网络(LSTM)模型的车辆行为预测方法.首先提出了一种非均匀步长的时间序列数据划分方法,将属于特定行为的车辆时序信息进行分类;以LSTM为基本的神经网络框架,用注意力机制判断输入时序信息中各个时间步信息的重要程度,分配不同的权重值;以目标车辆及其周边车辆的历史轨迹信息作为算法输入,用来预测目标车辆将来的运动行为.结果表明:该算法可以解决固定步长的时序分类方法导致的信息遗漏或计算资源负担增加的问题,同时能够有效提高行为预测准确性,减少车辆行为预测时间.     

基于人工蜂群优化循环神经网络的财务危机预测

为了提高财务危机预测的性能,采用循环神经网络(Recurrent neural network, RNN)对关键指标进行分析训练,以解决因为时间变化带来的深度学习网络预测准确率性能下降的问题。选取关键指标特征生成预测样本,并充分利用RNN在时间序列的循环计算优势,采用差异化时间序列的赋权策略,记忆不同历史时间序列对RNN预测分析的影响。经过RNN训练,并采用隐藏层输出不断循环的方式,将历史时间段输入不断作用于当前训练输出。引入人工蜂群(Artificial bee colony, ABC)算法在RNN反向传播过程中对时间序列权重进行更新。将RNN网络输出值与预测值的均方误差作为ABC的适用度函数,获得全局最优的ABC-RNN预测模型。试验证明,合理优化历史时间序列权重,能够获得较高的危机预测准确率。和常用预测算法对比,所提ABC-RNN算法的预测准确率更高,且曲线面积(Area under the curve, AUC)值更高。     

基于图注意力网络的舆情演变预测研究

要想实现对纷繁复杂的网络舆情的监控和管理,预防舆情危机的突发状况,一个关键的解决方案就是对网络舆情事件的发展趋势进行预测.然而,目前针对舆情演变预测的研究工作却十分有限,尤其是社交网络环境中的舆情演变预测.本文将评论文本的情感值作为演变预测的对象,利用情感词和舆情事件中评论文本的语义相似度,为事件发展的每个时间段都构造一个对应的图结构,再结合门控循环单元（GRU）与图注意力网络（GAT）对情感时间序列进行预测.为了验证模型的有效性,本文以Twitter中弗洛伊德事件的评论文本作为数据集,开展与基于图卷积网络的预测模型的对比实验.实验结果表明,本文提出模型的R²决定系数为0.569,平均绝对误差（MAE）、均方误差（MSE）和均方根误差（RMSE）均小于基于图卷积网络的预测模型,能较好地实现舆情事件中评论文本的情感演变预测.     

一种无延迟的水文时间序列预测方法

为解决水文时间序列预测中,序列连续值间存在着高度的自相关性,而引起峰值点的预测时间落后于真实时间的问题,提出一种基于CSVMD-LSTM-ELM的无延迟预测方法。首先,将变分模态分解算法(variational mode decomposition,VMD)与布谷鸟搜索算法(cuckoo search algorithm,CS)相结合,其中,VMD用于削弱时间序列间的相关性,CS用于全局搜索VMD参数的最优解,并重点关注预测延迟的问题,为此,定义了一种新的适应度函数;其次,为分解得到的子序列建立了长短期记忆神经网络(long and short-term memory neural network,LSTM)和极限学习机(extreme learning machine,ELM)两种网络结构,分别讨论了单一网络和组合网络预测效果的优劣;最后,在秦淮河流域数据集上进行实验验证,与原有的LSTM和VMD-LSTM-ELM方法进行比较。结果表明,所提方法相较于其他方法,预测的峰值时间延迟更小,预测误差更低。可见,所提方法能够解决预测的延迟问题。     

基于行程数据的公交车到站时间预测

为向乘客提供较为准确的上下车时间参考,解决长距离预测中误差累积明显的问题,构建基于双层、双注意力、双向长短期记忆(LSTM)神经网络的公交车到站时间预测模型,提出一种基于行程数据的公交车到站时间预测方法.以广州市B2路、 560路公交车工作日的实际运行数据为例,对该预测方法进行精度验证.结果表明,由该模型所预测的行程时间,其平均绝对百分比误差为8.09%,在长距离到站时间估算上,15个站点的预测误差可保持在4.00 min左右.     

基于混合神经网络的序列推荐算法

为了提高推荐算法的推荐性能,在序列建模过程中,针对循环神经网络(recurrent neural network,RNN)无法并行运算导致建模速度与准确度较低,以及在偏好预测过程中对用户不同阶段偏好没有动态融合的问题,提出了一种基于混合神经网络的序列推荐算法.在算法模型的用户交互序列建模阶段,考虑到用户近期偏好变化频繁...     

基于改进的长短期记忆网络的调制识别算法

自动调制分类技术是无线通信技术中的一个重要研究领域,卷积神经网络以及长短期记忆网络(Long Short-Term Memory,LSTM)两种深度学习模型在基于特征的自动调制分类技术中得到了广泛的应用.然而在实际应用中这两种模型都存在着一些问题,卷积神经网络模型在处理长时间依赖序列的分类任务时的准确率不佳,LSTM模...     

一种时间序列优化的粒子滤波算法

针对预测对象在动态过程中发生结构性变化的时间序列,难以建立一个实时解析变化趋势的模型.本文提出基于时间序列自适应建模的粒子滤波算法(TS-PF).采用时间序列方法动态构建预测模型,并将粒子滤波算法中一系列加权粒子以该模型进行状态转移,运用粒子滤波重采样技术,使预测误差进一步减小,预测精度逼近最优估计.非线性预测系统仿真实验表明基于时间序列自适应建模的粒子滤波算法(TS-PF)比单纯采用时间序列动态建模算法(TS)精度更高,提高了动态目标跟踪的准确性.     

基于主成分分析和长短期记忆网络的滑坡地表位移监测数据缺失插补算法

在滑坡地表位移监测过程中,由于设备工作异常或恶劣气候的干扰,原始数据会随机出现长时间序列的缺失,这类数据对滑坡的预警和预测有很大的影响。针对上述问题,提出了一种基于主成分分析(principal component analysis, PCA)和长短期记忆网络(long-short term memory, LSTM)的数据插补方法。首先利用PCA实现滑坡监测数据的降维和特征提取,消除数据间的相关性,然后建立基于LSTM的地表位移监测数据插补模型,对缺失数据进行插补。实验结果表明：该模型与BP(back propagation)神经网络等其他几种机器学习插补模型相比,平均绝对误差、均方根误差和平均绝对百分比误差分别为0.523、1.233和0.009,均优于其他几种模型;该模型能够较好地解决地表位移长时间序列数据缺失的问题。     

基于鲸鱼优化混合神经网络的滑坡位移预测

针对静态机器学习模型难以有效反映滑坡的动态演化特性,且存在时序过长时历史数据遗忘导致位移预测结果不稳定的问题。本文提出了一种基于鲸鱼优化卷积神经网络(convolutional neural networks,CNN)和双向门控循环神经网络(bidirectional gated recurrent neural network,BiGRU)的滑坡位移动态预测方法。首先对滑坡影响因子进行特征筛选,构建数据集,建立CNN-BiGRU网络模型,使用鲸鱼优化算法(whale optimization algorithm,WOA)对模型进行超参数寻优,使用CNN网络模型从滑坡数据中提取潜在的特征向量,将特征向量以时间序列的形式输入到BiGRU模型中,利用其处理时间序列数据的优势,完成滑坡位移预测。结果表明,本文提出的模型得到的滑坡位移预测精度较高,与未优化的CNN-BiGRU相比均方根误差(RMSE)下降了0.0305mm。     

基于二次分解与LSTM的金融时间序列预测算法研究

现有结合特征提取与预测模型的方法不能准确把握金融时间序列的混沌性与交互性,导致预测精度不高。针对此问题,提出一种基于二次分解与长短期记忆(long short term memory, LSTM)网络的金融时间序列预测算法。使用变分模态分解方法与集成经验模态分解方法依次解析金融时间序列数据,得到能表达数据混沌性特征的模态;将模态信息输入到融合有因子分解机(factorization machine, FM)的长短期记忆网络模型中,融合获取到的长记忆性特征与交互性特征,进而预测最终的结果;选取沪深300指数的历史数据作为实验数据集,通过多组对比实验验证算法的有效性。实验结果表明,提出的算法可以有效提升模型的预测能力,同时表达金融时间序列的混沌性、长记忆性、交互性。     

基于改进天牛须算法优化的确定性跳跃循环状态网络的交通流预测

为了提高短时交通流速度预测的精度,提出一种基于改进天牛须算法优化的确定性跳跃循环状态网络的交通流预测模型.首先对交通流速度序列进行浑沌性分析,重构序列的相空间,将对交通流速度序列的研究映射到其所在的相空间中进行;然后引入变步长因子和模拟退火技术对天牛须算法(beetle antennae search,BAS)进行改进,并以改进算法优化确定性跳跃循环状态网络(cycle reservoir with regular jumps,CRJ)的参数构建预测模型;最后通过实例对比分析模型的有效性.结果表明:通过相空间重构对交通流速度序列处理,能够挖掘序列内部的动态特性,使之更加适用于网络的建模;所提模型的预测结果同对比模型相比,平均绝对百分比误差下降了1.05％ ～6.04％,有效地提高了短时交通流速度的预测精度.