基于混合神经网络的序列推荐算法

为了提高推荐算法的推荐性能,在序列建模过程中,针对循环神经网络(recurrent neural network,RNN)无法并行运算导致建模速度与准确度较低,以及在偏好预测过程中对用户不同阶段偏好没有动态融合的问题,提出了一种基于混合神经网络的序列推荐算法.在算法模型的用户交互序列建模阶段,考虑到用户近期偏好变化频繁...     

基于GRU改进RNN神经网络的飞机燃油流量预测

利用从飞机快速存储记录器(quick access recorder, QAR)中获取的大量数据设计研究了一种利用循环神经网络(recurrent neural network, RNN)及其改进网络门控循环单元(gate recurrent unit, GRU)进行飞机燃油流量预测的模型。首先使用基于时间的反向传播算法(back propagation trough time, BPTT)训练网络,Adam优化算法加速迭代更新神经网络权重。在参数调整实验中发现循环神经网络对历史信息利用能力不足,极易发生梯度消失与梯度爆炸,遂提出改进网络结构,引入GRU重构燃油流量预测模型。在最优的超参数条件下,重构模型在训练集和测试集上的损失函数均方误差(mean squared error, MSE)值分别为0.001 08、0.000 97。通过与朴素RNN的预测曲线和MSE对比可以发现,改进后的GRU网络能够"记忆"更多历史信息而不易出现梯度消失或梯度爆炸的问题,预测精度与曲线拟合能力显著提高。因此,GRU重构模型显著改善了预测能力,并通过实际案例验证该预测模型在故障诊断等领域的应用。     

基于深度学习GRU网络的UWB室内定位优化

为减少信号传输质量和距离估计算法等因素对定位精度的影响,将深度学习应用于超宽带（ultra wide band,UWB）室内定位系统,利用门控循环单元（gated recurrent unit,GRU）网络代替传统UWB室内定位系统中的三边测量过程,以提高UWB室内定位精度。在得到定位标签到基站的距离信息后,将距离信息输入GRU网络中,输出最终位置坐标。GRU作为循环神经网络（recurrent neural network,RNN）的变种,既含有RNN处理时序数据的优势,又解决了RNN中的长程依赖问题。对GRU网络模型中不同学习率、优化器、批量大小、网络层数、隐藏神经元数量参数进行调整和训练。结果表明,基于GRU网络模型的UWB室内定位系统显著提高了定位精度,平均定位误差为6.8 cm。     

基于组合神经网络的中文事件抽取

中文事件抽取通常使用循环神经网络(recurrent neural network, RNN)来进行事件和事件要素的抽取, 但 RNN 在处理长度较长的词语时容易丢失重要信息, 为此提出一种组合卷积神经网络(convolutional neural network, CNN)与双向长短期记忆(bidirectional long short-term memory, Bi-LSTM)网络的中文事件抽取模型 CNN-Bi-LSTM-CRF, 其中 CRF (conditional random field) 为条件随机场. 采用基于注意力机制和语义特征生成的字词联合向量, 使用 CNN 和 Bi-LSTM 模型对字词联合向量进行处理, 以获取其隐含表示, 最后通过 CRF 得出预测结果. 实验结果表明, 所提出的方法与其他现有的中文事件抽取方法相比, 准确率有明显提升.     

电话交谈语音识别中基于 LSTM-DNN 语言模型的重评估方法研究

近年来,神经网络语言模型的研究越来越受到学术界的广泛关注.基于长短期记忆(long short-term memory,LSTM)结构的深度神经网络(LSTM-deep neural network,LSTM-DNN)语言模型成为当前的研究热点.在电话交谈语音识别系统中,语料本身具有一定的上下文相关性,而传统的语言模型对历史信息记忆能力有限,无法充分学习语料的相关性.针对这一问题,基于LSTM-DNN语言模型在充分学习电话交谈语料相关性的基础上,将其应用于语音识别系统的重评估过程,并将这一方法与基于高元语言模型、前向神经网络(feed forward neural network,FFNN)以及递归神经网络(recurrent neural network,RNN)语言模型的重评估方法进行对比.实验结果表明,LSTM-DNN语言模型在重评估方法中具有最优性能,与一遍解码结果相比,在中文测试集上字错误率平均下降4.1％.     

基于循环神经网络的一种在线辅助CVT电压误差测量方法

电容式电压互感器(capacitor voltage transformer,CVT)的测量稳定性受周围环境的影响,会在实际电压测量过程中产生误差.为了避免该电压测量误差,提出一种基于循环神经网络(recurrent neural network,RNN)的在线辅助CVT电压测量方法.根据电力系统过去的电压历史数据,利...     

基于人工蜂群优化循环神经网络的财务危机预测

为了提高财务危机预测的性能,采用循环神经网络(Recurrent neural network, RNN)对关键指标进行分析训练,以解决因为时间变化带来的深度学习网络预测准确率性能下降的问题。选取关键指标特征生成预测样本,并充分利用RNN在时间序列的循环计算优势,采用差异化时间序列的赋权策略,记忆不同历史时间序列对RNN预测分析的影响。经过RNN训练,并采用隐藏层输出不断循环的方式,将历史时间段输入不断作用于当前训练输出。引入人工蜂群(Artificial bee colony, ABC)算法在RNN反向传播过程中对时间序列权重进行更新。将RNN网络输出值与预测值的均方误差作为ABC的适用度函数,获得全局最优的ABC-RNN预测模型。试验证明,合理优化历史时间序列权重,能够获得较高的危机预测准确率。和常用预测算法对比,所提ABC-RNN算法的预测准确率更高,且曲线面积(Area under the curve, AUC)值更高。     

基于长短期记忆神经网络模型的共享单车短时需求量预测

共享单车具有很强的流动性和高随机性,为了更加准确地预测某区域内每小时的单车使用数量,通过爬取纽约市Citi Bike共享单车的天气特征数据信息,并分析时间因子、气象因子等对单车需求量的影响;采用长短期记忆(long short-term memory,LSTM)神经网络模型预测共享单车的短期需求量,并与传统的循环神经网络(recurrent neural network,RNN)和BP(back-propagation)神经网络模型预测结果进行比较。实验结果表明:影响单车需求量的主要因素包括温度、节假日、季节以及早晚高峰时间段等因素;与传统BP神经网络算法和循环神经网络RNN算法相比,LSTM鲁棒性高,泛化能力强,且预测结果曲线与真实结果曲线相吻合;预测精度高(精确度为0.860)均方根误差最小(为0.090),误差小。可见LSTM模型可以用来对共享单车的短时需求量进行预测。     

基于门控循环单元神经网络的金融时间序列预测

针对循环神经网络(recurrent neural networks,RNN)网络结构存在的长期依赖问题,门控循环单元(gated recurrent unit,GRU)神经网络作为RNN的一种变体被提出。在继承RNN对时间序列优秀记忆能力的前提下,GRU克服了时间序列的长期依赖问题。本文针对金融时间序列数据存在的依赖问题,将GRU扩展应用到金融时间序列预测,提出了基于差分运算与GRU神经网络相结合的金融时间序列预测模型。该模型能够处理金融时间序列数据的复杂特征,如非线性、非平稳性和序列相关性。通过对标准普尔(SP)500股票指数的调整后收盘价进行预测,实验结果表明,所提出的方案能够提高GRU神经网络的泛化能力和预测精度,并且与传统预测模型相比该模型对金融时间序列的预测拥有更好的预测效果和相对较低的计算开销。     

基于改进Transformer的生成式文本摘要模型

基于循环神经网络(recurrent neural network,RNN)注意力机制的序列到序列模型在摘要信息提取服务中已经取得了较好的应用,但RNN不能较好地捕捉长时序信息,这使现有模型受限。为此,提出了基于改进Transformer的生成式文本摘要模型。该模型利用Transformer提取全局语义,使用局部卷积提取器提取原文细粒度特征,并设计全局门控单元以防止信息冗余和弥补语义不足,筛选出利于摘要生成的文本关键信息。实验结果表明,所提模型在大规模中文短文本摘要数据集(large scale Chinese short text summarization,LCSTS)上的效果有明显的提升,在电力运维摘要数据集上,也有良好效果,具有可扩展性。     

基于神经网络的语音识别系统

介绍一种适用于实时语音识别环境下的神经网络模型——动态识别神经网络（dynamic recognition neural network，DRNN）．DRNN聚类学习的性能使得它非常适用于与在线学习方式相结合的实时语音识别系统．通过比较DRNN和隐含马尔科夫模型（hidden Markov model，HMM），可以看到不论是在训练方面还是在识别方面，DRNN算法的计算复杂程度都要低于HMM算法．     

基于回归神经网络的柴油机NOx排放预测及影响分析

针对柴油发动机NOx排放量的预测问题与其影响参数进行研究.通过构建训练神经网络回归算法模型(recurrent neural network,RNN),基于发动机试验过程中采集的大量样本数据训练和预测NOx排放情况;预测结果表明,该网络模型的预测值与目标输出值之间的误差满足实际工程需求,具有良好的预测精度和泛化性能.基...     

基于RNN-RBM模型的配网馈线长期负荷预测方法

本文提出了一种基于循环神经网络(recurrent neural network,RNN)和受限玻尔兹曼机(restricted boltzmann machine,RBM)混合模型的配网馈线长期负荷预测方法.所提方法首先提炼混合模式(自上而下和自下而上)下的馈线负荷特征,然后利用RN N网络处理具有时序特点的配网馈线...     

基于门控循环单元的全断面掘进机稳定段掘进性能预测

全断面隧道掘进机(tunnel boring machine, TBM)一个正常掘进循环分为空推段、上升段和稳定段3个阶段,其中稳定掘进段为主要施工阶段,稳定段掘进性能的好坏是TBM掘进的关键。为实现TBM安全高效掘进,建立一种基于门控循环单元(gated recurrent unit, GRU)神经网络的预测模型,预测TBM稳定段掘进性能。模型以新疆某供水工程Ⅱ标段TBM施工数据为依托,5种掘进循环上升段主要参数的时间序列数据作为主要输入,围岩等级作为辅助输入来考虑岩体对掘进性能的影响,输出为稳定段的总推进力和刀盘扭矩,为稳定段TBM性能预判提供参考。为显示预测效果,对比传统循环神经网络(recurrent neural network, RNN)预测模型,并分析不同长度时间序列输入对模型预测精度的影响。结果表明：GRU模型预测拟合优度均在0.9以上,平均绝对百分比误差均小于12.25%,同时能够适用不同长度时序输入。由此可见,所建模型具有较高预测精度,泛化能力较好,能够辅助预判掘进机稳定段性能。     

机器算法在电气设备故障预警及诊断中的应用

机器算法应用于电气设备故障预警及诊断已愈来愈广泛。因其能够有效预防设备故障进一步恶化对电网造成严重损伤进而产生不可挽回的后果,所以对于电力系统稳定运行的维护有着显著的作用。目前,应用于该领域的机器算法主要有:误差反向传播(error back propagation, BP)神经网络、支持向量机(support vector machine,SVM)、深度学习[包括:递归神经网络(recurrent neural network,RNN)、卷积神经网络(convolution neural network,CNN)、深度信念网络(deep belief network,DBN)]等。首先,对机器算法的发展及基本理念进行了概述;其次,介绍了各种机器算法的基本原理及在其电气设备故障预警及诊断中的应用;最后,对深度学习在故障预警及诊断中的发展趋势进行了展望。     

基于BGRU-CapsNet的情感分析算法研究

提出了一种基于双向门控循环神经网络(bidirectional gated recurrent neural network,BGRU)和胶囊网络(capsule network,CapsNet)的混合神经网络情感分析模型.其目的 是对内在的部分-整体关系进行编码,探索语法和句法特征,全面丰富表征.每个句子的语义由BG...     

基于CEEMDAN-GRU的主泵电机绕组温度预测

针对核电站主泵电机绕组温度的预测问题，提出了基于自适应噪声完备集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)和门控循环单元(gated recurrent unit,GRU)的预测模型。首先使用CEEMDAN对采集到的绕组温度序列进行分解，经过分量重构得到其高、低频分量和趋势项，在此基础上分别构建各分量的GRU预测模型，将各分量的预测结果叠加集成得到绕组温度的整体预测值。仿真结果表明，与传统的循环神经网络(recurrent neural network,RNN)、长短期记忆(long short-term memory,LSTM)模型和GRU模型相比，本文提出的预测模型在多元评价指标方面均优于其他模型，具有更高的预测精度，验证了该模型的可行性。     

航空器爬升与下降阶段4D航迹预测

准确的4D航迹预测可以在冲突探测与解脱、航迹优化和空中交通流量管理等多个领域发挥重要作用。为提高预测的准确性,提出了基于机器学习的航空器4D航迹预测方法。首先,利用爬升阶段提取研究指标,构建循环神经网络(recurrent neural network, RNN)和长短期记忆网络(long short-term memory, LSTM);其次,在下降阶段进行数据维度拓展,构建RNN、LSTM模型进行航迹预测;最后,对各个维度上的预测航迹点和实际航迹点的误差进行分析。仿真结果表明,爬升阶段模型和下降阶段模型对于航空器位置预测准确性高,展现了航迹预测模型的良好鲁棒性。     

基于高阶累积量和改进GRNN的CSI手臂行为识别

为了挖掘信道状态信息(channel state information,CSI)在手臂行为识别中的非线性深层特征,提高识别准确度,提出了一种基于高阶累积量和改进广义回归神经网络(generalized regression neural network,GRNN)的CSI手臂行为识别算法.离线阶段,将在不同手臂动作下...     

基于鲸鱼优化混合神经网络的滑坡位移预测

针对静态机器学习模型难以有效反映滑坡的动态演化特性,且存在时序过长时历史数据遗忘导致位移预测结果不稳定的问题。本文提出了一种基于鲸鱼优化卷积神经网络(convolutional neural networks,CNN)和双向门控循环神经网络(bidirectional gated recurrent neural network,BiGRU)的滑坡位移动态预测方法。首先对滑坡影响因子进行特征筛选,构建数据集,建立CNN-BiGRU网络模型,使用鲸鱼优化算法(whale optimization algorithm,WOA)对模型进行超参数寻优,使用CNN网络模型从滑坡数据中提取潜在的特征向量,将特征向量以时间序列的形式输入到BiGRU模型中,利用其处理时间序列数据的优势,完成滑坡位移预测。结果表明,本文提出的模型得到的滑坡位移预测精度较高,与未优化的CNN-BiGRU相比均方根误差(RMSE)下降了0.0305mm。