采用ALSTM模型的温度和降雨关联预测研究

短时的降雨和温度等预报一直是天气预报中的重要问题。为了准确和及时预测局部区域的降雨及温度,提出了一种基于Attention和LSTM组合模型(ALSTM)的关联多值预测算法。该算法利用天气时间序列中的前期数据,对下一小时的降雨量和温度进行关联预测,以此实现对天气要素的多值预测。该算法首先对输入数据进行归一化处理;然后利用数据对ALSTM模型进行训练;最后将训练好的模型用于多值预测。将ALSTM模型与LSTM、BP以及基于LSTM的深度循环神经网络(DRNN)的预测结果进行了比较。实验结果表明,ALSTM模型的温度和降雨预测精度优于比较的其他模型,其平均预测精度在97%以上。     

基于自编码网络的空气污染物浓度预测

深度学习为城市空气污染物浓度预测提供了更为强大的数据拟合能力,为空气污染预测提供全新的智能计算方法.为此,提出了一个基于自编码神经网络的污染物浓度预测模型AEPP(auto-encoder-based pollutant prediction).该模型包括编码器和解码器两个部分.其中,编码器用于提取出时间序列污染物浓度数据分布特征,即语境向量;解码器利用提取的特征预测未知时间内污染物浓度数据.模型中编码器和解码器采用多层LSTM(long short-term memory)模型结构,实现长时间依赖预测目标.实验表明,提出的模型可以提高对污染物浓度的预测水平.     

基于深度学习组合模型的交通流预测

为了研究高速公路在交通流预测过程中时间粒度对于精度的影响,及时向出行者提供精准实时的道路信息,通过TensorFlow深度学习模块,建立支持向量回归(SVR)与长短时记忆(LSTM)相结合的预测模型。基于LSTM模型的长期记忆功能与支持向量回归非线性化特点,调整优化参数,以英国高速公路局提供的M3高速公路数据为例进行分析,根据预测结果对模型进行对比评价,并结合模型对不同时段的交通流数据进行分析研究。结果表明：SVR-LSTM组合预测模型对于高速公路数据有更好的适应性,而且时间粒度如果越精细,预测精度将大幅提高。     

基于循环神经网络和深度学习的股票预测方法

本文提出一种基于多路循环神经网络与深度学习的股票预测方法。针对股票的涨跌预测问题,使用分布式向量表示方法提取出股票相关的新闻文本特征,同时考虑到股票相关信息的时序性以及新闻影响的持续性特质,使用多路循环神经网络模型对所提取的特征与交易信息进行协同训练,从而获得历史信息的低维向量表示。最后将多个循环神经网络的输出进行拼接,利用深度神经网络共同对股票的涨跌进行分类预测。本文使用上证A股的价格与新闻数据进行实验,实验结果表明,本文所提出的方法在股票预测任务上具有明显的优越性。     

深度学习在实测沉降数据预处理中的应用研究

基于深度学习中的长短期记忆网络LSTM,通过搭建Seq2Seq模型,提出了可对实测沉降数据进行预处理的新方法.Seq2Seq可通过观测大量有效的测点数据来自动学习沉降发展规律,并在训练完成后能对异常测点沉降进行重新计算,可有效避免异常数据对后续沉降预测的干扰.以某机场多个区域的实测沉降数据为背景,通过将Seq2Seq模型重计算出的沉降值与实测值对比,验证了该模型的可靠性.结合超参数与数据集等参数分析,研究了提升模型学习能力的影响因素.研究结果表明:在训练集选取40个测点、测试集选取15个的条件下,模型重计算值与实测值全过程平均误差3 cm.增大训练集与数据特征,且减小训练集与测试集之间的偏差时,模型的精度提升明显,误差缩小到2 cm.     

复杂环境中一种基于深度学习的异常检测方法

为了解决复杂环境中异常检测的问题,提出一种基于深度学习的检测方法。首先,通过引入(you only look once,YOLO)检测,将卷积神经网络回归法提取的物体时空特征,输入到长短期记忆模型(LSTM),追踪复杂环境中个体的运动轨迹。然后,评估相邻个体间运动轨迹的依赖性。最后,采用编码-解码框架训练LSTM模型,预测物体未来的运动轨迹;根据物体未来运动轨迹的异常概率,最终完成异常检测。实验结果表明,解决了复杂环境中运动物体间的相互干扰问题;在时间和空间鲁棒性评估上,优于其他轨迹追踪的方法,从而证明了本方法的有效性和可行性。     

基于CNN-LSTM-lightGBM组合的超短期风电功率预测方法

近年来,风电装机规模逐年增加,风电数据采集量呈现规模化增长,面对海量多维、强波动的风电数据,风电功率预测精度仍面临一定的挑战。为提高风电功率预测精度,提出了基于卷积神经网络(convolutional neural networks, CNN)-长短期记忆网络(long short-term memory, LSTM)和梯度提升学习(light gradient boosting machine, lightGBM)组合的超短期风电功率预测方法。首先,分别建立CNN-LSTM和lightGBM的风电功率超短期预测模型。其中,CNN-LSTM模型采用CNN对风电数据集进行特征处理,并将其作为LSTM模型的数据输入,从而建立CNN-LSTM融合的预测模型;然后,采用误差倒数法对CNN-LSTM和lightGBM的预测数据进行加权组合,建立CNN-LSTM-lightGBM组合的预测模型;最后,采用张北曹碾沟风电场的风电数据集,以未来4 h风电功率为预测目标,验证了组合模型的有效性。预测结果表明：相较于其他3种单一模型,组合模型具有更高的预测精度。     

基于双阶段注意力机制的大坝变形深度学习预测模型

为提升大坝结构变形预测精度,采用完全自适应噪声集合经验模态分解(CEEMDAN)法将变形实测序列解耦为一系列具有不同时频特征的本征模态函数,使用小波阈值消噪对高频分量平稳化处理后进行重构,利用基于双阶段注意力机制的长短期记忆网络(DA-LSTM)模型对重构变形序列进行预测。实例验证结果表明,联合CEEMDAN算法和小波阈值消噪方法能够有效识别并清洗实测数据中的异常值,提升了测值对大坝运行性态的表征能力,同时DA-LSTM模型可以充分挖掘大坝变形的滞后性和增强网络的可解释性,据此构建的变形预测模型具有优良的稳健性。     

用于短期风功率预测的历史数据深度迁移模型

随着全球化石燃料短缺日益严重,可再生能源的开发与利用愈发得到重视。风能是被广泛使用的清洁能源之一,在生产工作中,风力发电作为风能的主要利用形式,需要对其功率进行预测。依托风场日常记录的历史数据,传统学习模型可对风功率进行短期预测,但往往仅使用自己域内的历史数据作为分析对象,该类算法导致结果片面,局限性大,不能有效使用类数据中的隐含联系,抑制原始数据缺失或异常值引起的模型性能下降问题。笔者设计一种基于历史数据深度迁移的短期风功率预测模型。首先,使用带降噪处理的自动编码机构建深度神经网络模型。其次,应用深度迁移方法共享隐藏层,挖掘特征之间的隐含联系。最后,从具有相似特征和地理位置的风场数据中迁移重要知识,提高模型准确率和可靠性。实验结果表明,研究方法较之未使用迁移的方法更充分利用现有数据,预测准确率显著提高。     

基于LSTM的钓鱼邮件检测系统

提出了一种基于LSTM的钓鱼邮件检测方式.该方式主要由两部分构成:分别为数据扩充部分及模型训练部分.数据扩展部分中,通过KNN与K-means算法扩大训练数据集,保证数据的数量能够满足深度学习算法的需要.在模型训练部分中,通过对数据进行预处理并将其转化为词向量矩阵,最后将转化完词向量通过训练得到LSTM神经网络模型.最终,可以根据训练好的LSTM模型将邮件分为正常邮件以及钓鱼邮件.通过实验对提出的算法进行了评估,实验结果显示提出的算法准确率可以达到95%.      

基于CNN-LSTM的综合能源系统负荷预测模型

负荷的准确预测是综合能源系统设计、运行、调度和管理的前提。现有的负荷预测模型中大都考虑了气象、日期因素,却没有考虑系统中电、冷、热负荷间的相关性,这会对模型的预测精度造成影响。使用了科普拉理论对系统中3种负荷之间的相关性进行分析。从分析结果看,它们之间具有强相关的关系。基于上述分析结果,提出了一种基于深度学习的智慧综合能源系统负荷预测模型,该模型使用卷积神经网络(convolutional neural network,CNN)来提取系统中电、冷、热负荷间的耦合特性相关的特征量。将得到的特征量转换为时间序列后,输入到长短期记忆(long short-term memory,LSTM)网络中进行负荷预测。实验显示,所提出的CNN-LSTM组合模型的预测精度更为精准,可为综合能源系统的负荷预测提供参考。     

The surrounding vehicles behavior prediction for intelligent vehicles based on Att-BiLSTM

A surrounding vehicles behavior prediction method was presented for intelligent vehicles. The surrounding vehicles’ behavior is hard to predict since the significant uncertainty of vehicle driving and environmental changes. This method adopts bidirectional long short-term memory (BiLSTM) model combined with an encoder to ensure the memory of long-time series training. By constructing an attention mechanism based on BiLSTM, we consider the importance of different information which could guarantee the encoder’s memory under long sequence. The designed attention-bidirectional LSTM (Att-BiLSTM) model is adopted to ensure the surrounding vehicles’ prediction accuracy and effectiveness.     

基于长短期记忆神经网络模型的空气质量预测

随着城市化和工业化的快速发展,空气污染问题日益突出,空气质量预测显得尤为重要。当前一些有代表性的研究对空气质量进行实时监测和预报,例如周广强等采用数值预报的方法对中国东部地区的空气质量进行分析,但其实验结果表明该方法难以预测非常重的污染;SANKAR等使用多元线性回归对空气质量进行预测,但其实验结果表明线性模型预测精度低、效率慢;PéREZ等使用统计方法对空气质量进行预测,实验结果证明统计方法的预测精度比较低;WANG等采用改进的BP神经网络建立了空气质量指数的预测模型,其实验验证了BP神经网络收敛速度慢、容易陷入局部最优解的问题;YANG等利用相邻网格的空气质量浓度效应,建立了基于随机森林的PM_(2.5)浓度预测模型,通过实验过程证明网格划分程序削弱了后续空气质量分析的质量和效率。这些方法都难以从时间角度建模,其中预测精度低是比较重要的问题。因为预测精度低可能会导致空气质量预测结果出现较大的误差。针对空气质量研究中预测精度低的问题,提出了基于长短期记忆单元(long short-term memory,LSTM)的神经网络模型。该模型使用MAPE,RMSE,R,IA和MAE等指标来检测LSTM神经网络与对比模型的预测性能。由于Delhi和Houston是空气污染程度比较严重的城市,所以使用的实验数据集来自Delhi的Punjabi Bagh监测站2014—2016年的空气质量数据和Houston的Harris County监测站2010—2016年的空气质量数据。LSTM神经网络与多元线性回归和回归模型(SVR)的比较结果表明,LSTM神经网络适应多个变量或多输入的时间序列预测问题,LSTM神经网络具有预测精度高、速度快和较强的鲁棒性等优点。     

基于层次分析的长短记忆网络(AHP-LSTM)的食品安全网络舆情预警模型

随着互联网技术的迅猛发展,网络已成为社会舆情的重要阵地,而网络舆情是食品风险预警的一个方向。传统舆情预警模型在指标体系的基础上结合反向传播神经网络（back propagation neural network,BP）等神经网络模型进行分析,存在运行不稳定、预测精度不高等问题。为了解决这些问题,采用具有较高预测精度的长短记忆（long short-term memory,LSTM）网络算法,在网络事件指标体系的基础上引入层次分析法（analytic hierarchy process,AHP）并融合食品安全事件指标数据,将融合结果作为LSTM的期望输出,以建立更为稳定、精度更高的风险预警模型AHP-LSTM。实验结果表明,与传统模型相比,AHP-LSTM对于事件指标数据具有较强的处理能力和较高的预警精度。因此构建基于AHP-LSTM的食品安全事件预警方法,可为相关部门有效防范和管理食品安全网络事件提供一定的理论依据和数据支撑。     

深度残差网络和LSTM结合的图像序列表情识别

为了改善图像表情和图像序列表情识别效果,针对传统表情识别特征提取复杂和效果不理想问题,提出了一种深度残差网络和局部二值模式(local binary patterns,LBP)相结合的特征提取方法,利用深度残差网络提取数据集的空域特征,长短期记忆网络(long short-term memory,LSTM)处理时域特征,实现空域与时域特征的结合。研究了不同层数的残差网络、不同形式的LBP算子以及其他网络结构对人脸表情识别的影响,对比了支持向量机和随机森林实现的序列表情识别算法。在Cohn-Kanade数据集和AFEW6.0数据集上进行了验证,实验结果表明,算法在验证集上的准确率分别为73.1%和58.4%,相比其他算法有一定程度的提升。     

基于深度学习的教材德目教育文本分类方法

对上海中小学教材德目教育文本分类进行研究,提出了基于转换器的双向编码表征（BERT）预训练模型、双向长短期记忆（BiLSTM）网络和注意力机制的模型IoMET_BBA. 通过合成少数类过采样技术（SMOTE）与探索性数据分析（EDA）技术进行数据增强,使用BERT模型生成富含语境信息的语义向量,通过BiLSTM提取特征,并结合注意力机制来获得词语权重信息,通过全连接层进行分类. 对比实验的结果表明,IoMET_BBA的F₁度量值达到了86.14%,优于其他模型,可以精确地评估教材德目教育文本.     

基于CNN-LSTM的脑电情感四分类研究

为深入研究脑电信号时空特征之间的关联,解决因手动提取特征导致的脑电情感识别准确率较低问题。将卷积神经网络（Convolutional neural network, CNN）和长短时记忆网络（Long short- term memory, LSTM）相结合,构造出了CNN-LSTM模型。首先,提取了5个频段的5个不同特征：功率谱密度(PSD)、差分熵(DE)、差分不对称(DASM)、理性不对称(RASM)和差分熵差分(DCAU)。其次,将特征输入CNN-LSTM模型,在DEAP数据集中的效价和唤醒两种情感维度上展开四分类实验。最后,将堆栈自编密码器(SAE),卷积稀疏自编码器(CSAE),深度置信网络(DBN)分别与LSTM组合,构造SAE-LSTM,CSAE-LSTM,DBN-LSTM三种混合模型同CNN-LSTM进行分类准确率比较。实验结果表明,DE特征的分类识别效果在五种特征中占最优,β和γ频段上所有特征的识别准确率远高于其他频段,尤其是γ频段。CNN-LSTM模型获得了最高的平均分类准确率92.48%,充分证明了CNN-LSTM模型的有效性。