基于CNN-RNN组合模型的办公建筑能耗预测

为准确反映办公建筑的运行特性,利用卷积神经网络(CNN)良好的特征提取能力与循环神经网络(RNN)良好的时序学习能力,提出用于预测办公建筑能耗的CNN-RNN组合模型,并对应设计了适用于深度学习模型的二维矩阵数据输入结构.案例分析结果表明,相较于简单循环神经网络和长短期记忆网络,CNN-RNN组合模型的预测精度与计算效率均显著提升,模型泛化性好.     

指数趋势预测的BP-LSTM模型

本文根据股指、股价等数据的时序特征将人工神经网络(ANN)与深度学习中的循环神经网络(RNN)引入股指预测,基于BP神经网络模型与长短期记忆(LSTM)神经网络模型构建了BP-LSTM模型.基于上证指数,本文进行了进行数值实验.结果表明BP-LSTM预测模型的准确率相比传统机器学习模型有明显提升,与普通LSTM模型相比也有较大提升.     

机器学习模型在地下水埋深模拟中的适应性分析

基于京津冀气象、社会资料及地下水埋深数据,构建支持向量机(SVM)、循环神经网络(RNN)和长短期记忆神经网络(LSTM)模型对京津冀地区13个城市地下水埋深进行了模拟,并以确定系数、均方根误差、平均绝对百分比误差、纳什系数对3个模型的适应性进行了评价。结果表明：LSTM模型模拟效果最好,其次是RNN,SVM最差;不同城市基于LSTM模型进行地下水埋深模拟时参数调整最少,适应性最好,SVM模型参数调整最多。将3个模型应用于随机选择的6个测站进行验证,在华北地区浅层地下水埋深模拟方面,LSTM模型模拟精度和可信度最好,适应性最强,是该地区地下水埋深模拟的首选机器学习模型。     

基于门控循环单元神经网络的金融时间序列预测

针对循环神经网络(recurrent neural networks,RNN)网络结构存在的长期依赖问题,门控循环单元(gated recurrent unit,GRU)神经网络作为RNN的一种变体被提出。在继承RNN对时间序列优秀记忆能力的前提下,GRU克服了时间序列的长期依赖问题。本文针对金融时间序列数据存在的依赖问题,将GRU扩展应用到金融时间序列预测,提出了基于差分运算与GRU神经网络相结合的金融时间序列预测模型。该模型能够处理金融时间序列数据的复杂特征,如非线性、非平稳性和序列相关性。通过对标准普尔(SP)500股票指数的调整后收盘价进行预测,实验结果表明,所提出的方案能够提高GRU神经网络的泛化能力和预测精度,并且与传统预测模型相比该模型对金融时间序列的预测拥有更好的预测效果和相对较低的计算开销。     

基于注意力模型的卷积循环神经网络城市声音识别

环境声音识别（Eenvironment Ssound Rrecognition ,ESR）在基于情景感知和辅助技术等领域发挥着重要作用。卷积神经网络（CNN）和循环神经网络（RNN）作为两种最具代表性的特征提取方法,在语音和音乐信号处理方面都取得显著效果,然而二者都存在一定缺点,CNN无法有效提取时间特征,RNN在提取空间特征上也存在明显劣势。为了有效的提取并利用时间特征和空间特征,提出一种新模型,利用时间分布卷积神经网络（CNN）从梅尔频谱图中提取城市环境声音特征,然后应用双向长短时记忆网络（BiLSTM）从CNN输出中获取时间信息,最后在BRNN的输出序列上实施注意力机制,从而关注到与城市环境声音最相关的特征进而做出分类判断,注意力机制既提高了分类准确性,又增强了模型的可解释性。实验结果表明,在Urbansound8K数据集中,该模型可获得80.2%的分类准确率,这优于以前在同一数据集的报告结果     

基于深度残差循环神经网络的序列推荐模型

为解决基于RNN(Recurrent Neural Network)的序列推荐模型在处理长序列时易出现梯度消失或爆炸从而导致推荐模型训练过程不稳定问题,在传统门控循环单元(GRU:Gated Recurrent Unit)基础上,引入了残差连接、层归一化以及前馈神经网络等模块,提出了基于深度残差循环神经网络的序列推荐模型DeepGRU。并在3个公开数据集上进行了验证,实验结果表明,该DeepGRU相较于目前最先进的序列推荐方法具有明显的优势(推荐精度平均提升8.68%)。消融实验验证了引入的残差连接等模块在DeepGRU框架下的有效性。并且,该DeepGRU有效缓解了在处理长序列时训练过程不稳定的问题。     

基于深度学习和支持向量机集成学习的PM2.5浓度24 h预测

提前24 h准确预测PM2.5浓度可以有效的避免严重污染天气对人体带来的不利影响.为了提高深度学习模型PM2.5浓度24 h预测的性能和泛化能力,在传统循环神经网络(RNN)模型上添加支持向量回归(SVR)作为下采样层提取非线性特征并降维;然后添加多核卷积神经网络(CNN)提升特征表达能力;最后利用门控循环网络(GRU...     

基于特征金字塔卷积循环神经网络的故障诊断方法

变工况、变载荷设备部件不同故障的特征在信号中所占比例和位置不固定,且包括大量不同场景下的原始振动信号的多尺度复杂性.对此,提出一种基于特征金字塔网络(FPN)的卷积循环神经网络(CRNN)滚动轴承故障诊断方法.利用卷积神经网络(CNN)框架,并联CNN的卷积层和循环神经网络(RNN)中的长短时记忆(LSTM)层,形成新的CRNN,以充分利用CNN对空间域信息和RNN对时域信息的学习能力;在每一层中权值共享,减少网络参数;利用FPN构建全新特征图,输入一维信号和堆叠后形成的二维信号,对传感器采集的信号进行特征提取,实现故障诊断.利用行星齿轮箱进行故障试验,并进行5折交叉验证,该方法的诊断准确率平均值为99.20%,比基本神经网络模型至少高3.62%,表明该方法诊断精度高、鲁棒性强;利用凯斯西储大学轴承数据集进行验证,证明该方法具有良好的泛用性;利用t-SNE方法对模型的特征学习效果进行可视化分析,结果表明不同故障类别特征具有良好的聚类效果.     

基于人工蜂群优化循环神经网络的财务危机预测

为了提高财务危机预测的性能,采用循环神经网络(Recurrent neural network, RNN)对关键指标进行分析训练,以解决因为时间变化带来的深度学习网络预测准确率性能下降的问题。选取关键指标特征生成预测样本,并充分利用RNN在时间序列的循环计算优势,采用差异化时间序列的赋权策略,记忆不同历史时间序列对RNN预测分析的影响。经过RNN训练,并采用隐藏层输出不断循环的方式,将历史时间段输入不断作用于当前训练输出。引入人工蜂群(Artificial bee colony, ABC)算法在RNN反向传播过程中对时间序列权重进行更新。将RNN网络输出值与预测值的均方误差作为ABC的适用度函数,获得全局最优的ABC-RNN预测模型。试验证明,合理优化历史时间序列权重,能够获得较高的危机预测准确率。和常用预测算法对比,所提ABC-RNN算法的预测准确率更高,且曲线面积(Area under the curve, AUC)值更高。     

基于深度学习GRU网络的UWB室内定位优化

为减少信号传输质量和距离估计算法等因素对定位精度的影响,将深度学习应用于超宽带（ultra wide band,UWB）室内定位系统,利用门控循环单元（gated recurrent unit,GRU）网络代替传统UWB室内定位系统中的三边测量过程,以提高UWB室内定位精度。在得到定位标签到基站的距离信息后,将距离信息输入GRU网络中,输出最终位置坐标。GRU作为循环神经网络（recurrent neural network,RNN）的变种,既含有RNN处理时序数据的优势,又解决了RNN中的长程依赖问题。对GRU网络模型中不同学习率、优化器、批量大小、网络层数、隐藏神经元数量参数进行调整和训练。结果表明,基于GRU网络模型的UWB室内定位系统显著提高了定位精度,平均定位误差为6.8 cm。     

多尺度卷积循环神经网络的情感分类技术

结合卷积神经网络对于特征提取的优势和循环神经网络的长短时记忆算法的优势,提出一种新的基于多尺度的卷积循环神经网络模型,利用卷积神经网络中的多尺寸滤波器提取出具有丰富上下文关系的词特征,循环神经网络中的长短时记忆算法将提取到的词特征与句子的结构联系起来,从而完成文本情感分类任务.实验结果表明:与多种文本情感分类方法相比,文中算法具有较高的精度.     

基于GRU改进RNN神经网络的飞机燃油流量预测

利用从飞机快速存储记录器(quick access recorder, QAR)中获取的大量数据设计研究了一种利用循环神经网络(recurrent neural network, RNN)及其改进网络门控循环单元(gate recurrent unit, GRU)进行飞机燃油流量预测的模型。首先使用基于时间的反向传播算法(back propagation trough time, BPTT)训练网络,Adam优化算法加速迭代更新神经网络权重。在参数调整实验中发现循环神经网络对历史信息利用能力不足,极易发生梯度消失与梯度爆炸,遂提出改进网络结构,引入GRU重构燃油流量预测模型。在最优的超参数条件下,重构模型在训练集和测试集上的损失函数均方误差(mean squared error, MSE)值分别为0.001 08、0.000 97。通过与朴素RNN的预测曲线和MSE对比可以发现,改进后的GRU网络能够"记忆"更多历史信息而不易出现梯度消失或梯度爆炸的问题,预测精度与曲线拟合能力显著提高。因此,GRU重构模型显著改善了预测能力,并通过实际案例验证该预测模型在故障诊断等领域的应用。     

一种基于循环神经网络的古文断句方法

提出一种基于循环神经网络的古文自动断句方法。该方法采用基于GRU(gated recurrent unit)的双向循环神经网络进行古文断句。在解码过程中,该算法不仅利用神经网络输出的概率分布,还进一步引入状态转移概率和长度惩罚,以便提高断句准确率。在大规模古籍语料上的实验结果表明,所提方法能够取得比传统方法更高的断句F1值。     

基于独立模型的非线性时间序列多步超前预测

提出一种非线性时间序列的多步超前独立预测方法. 对比逐步递归方法和独立预测方法, 分析了积累误差对多步超前预测性能的影响. 采用递归神经网络(RNN)实现了独立预测方法, 建立了城市轨道交通能耗预测模型. 通过MATLAB训练和测试该模型, 比较了两种方法下的多步超前预测输出. 结果表明,独立预测方法的误差优于逐步递归方法. 最后指出了独立预测方法的优缺点及适用范围.     

航空器爬升与下降阶段4D航迹预测

准确的4D航迹预测可以在冲突探测与解脱、航迹优化和空中交通流量管理等多个领域发挥重要作用。为提高预测的准确性,提出了基于机器学习的航空器4D航迹预测方法。首先,利用爬升阶段提取研究指标,构建循环神经网络(recurrent neural network, RNN)和长短期记忆网络(long short-term memory, LSTM);其次,在下降阶段进行数据维度拓展,构建RNN、LSTM模型进行航迹预测;最后,对各个维度上的预测航迹点和实际航迹点的误差进行分析。仿真结果表明,爬升阶段模型和下降阶段模型对于航空器位置预测准确性高,展现了航迹预测模型的良好鲁棒性。     

基于改进遗传算法的递归神经网络模型辨识

将递归内时延神经网络应用于非线性动力学系统中，引入遗传算法作为其学习算法，提出遗传算法新的编码方案，并且在遗传操作中采用适应度的调整策略，通过仿真实验，表明该方法是有效的。     

基于回归神经网络的复杂工业对象的建模

讨论一种动态神经网络－Ｅｌｍａｎ回归神经网络的结构和算法,基于这一网络结构提出了非线性时变工业对象－直流电弧的神经网络建模方法,并与用其他方法为对象建立的模型进行了比较。     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。