An ensemble of LSTM neural networks for high‐frequency stock market classification

We propose an ensemble of long–short‐term memory (LSTM) neural networks for intraday stock predictions, using a large variety of technical analysis indicators as network inputs. The proposed ensemble operates in an online way, weighting the individual models proportionally to their recent performance, which allows us to deal with possible nonstationarities in an innovative way. The performance of the models is measured by area under the curve of the receiver operating characteristic. We evaluate the predictive power of our model on several US large‐cap stocks and benchmark it against lasso and ridge logistic classifiers. The proposed model is found to perform better than the benchmark models or equally weighted ensembles.     

基于改进匹配网络的单样本学习

当前深度学习是基于大量标注数据样本通过多层网络实现模型自动识别。然而,在很多特殊场景下,难以获取大量标注样本数据,小样本物体识别仍是深度学习下关键性的难题。针对这一问题,首先利用4层深度卷积神经网络(deep convolution neural network,DCNN)提取训练样本和测试样本的高层语义特征,然后基于改进的匹配网络分别采用双向LSTM和attLSTM算法对训练样本和测试样本深入提取更加关键和有用特征并进行编码,最后在平方欧氏距离上利用softmax非线性分类器对测试样本进行分类识别。实验通过Omniglot数据集对提出的改进模型进行测试,取得了非常好的效果。改进的模型即使在最复杂的20 way 1 shot情况下,依然能够达到93.2%的识别率,Vinyals的原创匹配网络模型在20 way 1 shot的情况下只能达到88.2%的识别率,与原创匹配网络模型相比,改进的模型在类别数更多而样本数较少的复杂场景下具有更好的识别效果。     

基于DLENN模型的沈阳地区PM2.5浓度预测

受到重工业发展规模、北温带季风气候、秋冬季燃煤取暖、机动车拥堵状况以及微观气象条件等各种因素影响,沈阳地区PM2.5浓度变化具有趋势性、周期性及随机性特征。针对上述三种特征,论文构建了一种集成双向长短期记忆网络的神经网络预测模型DLENN(Double-LSTM Ensemble Neural Network),内含的两个方向LSTM分别刻画PM2.5浓度变化趋势性和周期性,然后采用线性回归杂合神经网络来捕捉PM2.5浓度变化的随机性。基于沈阳地区11个监测站2016至2017年空气质量和气象条件数据,本文将DLENN模型分别与自回归移动平均ARIMA模型、支持向量机SVM模型、随机森林RF模型和梯度提升树GBDT集成学习方法进行对比实验,结果表明DLENN预测模型稳定优于其他方法,其预测误差RMSE相对于ARIMA、SVM和集成模型分别下降了9.23%、3.83%、5.49%.     

基于深度学习的含未知复合故障多传感器信号故障诊断

深度学习在故障诊断领域的应用已比较成熟，其中卷积神经网络（CNN，convolution neural networks）和长短时记忆网络（LSTM，long short-term memory networks）就是典型模型之一。CNN作为一种常用的多传感器信号故障诊断方法，能够获得较好的诊断效果，却无法实现未知复合故障的诊断，为解决这个问题，提出CNN-LSTM-FCM （fuzzy C-means）模型。LSTM对具有前后联系的时间信号更敏感，利用这个特点将LSTM与CNN相结合，实现未知信号的诊断，并通过概率分类输出实现了复合故障的解耦，CNN-LSTM-FCM模型本身优化参数设计，进一步提高了诊断精度。使用化学过程故障测量数据进行实验，结果表明CNN-LSTM-FCM模型诊断准确率可达到97.15%，优于CNN模型和LSTM模型，具有较高的应用价值。     

基于神经网络研究人民币汇率对企债收益的影响

为了研究企业债券市场,并针对汇率波动对企债市场的影响,提出建立LSTM和GRU两种神经网络模型;首先证明了它们对于企业债券市场收益的研究具有良好的拟合和预测效果,再将人民币兑美元的汇率数据作为神经网络的输入变量之一,验证人民币汇率对企债市场收益的影响,并比较两种模型的预测效果;结果显示:加入汇率指标后,两种模型不仅能捕捉收益趋势,同时都在数值上也更加精准可靠。实证研究表明,目前在研究我国企业债券市场时,人民币汇率是不可忽略的影响因素,并且相较而言GRU模型的结果更为精准。     

基于差分自回归移动平均模型、长短期记忆网络模型及相关模型的无人机俯仰角预测

为了提高无人机俯仰角故障数据处理和预测的精确性和可靠性,避免增加无人机试飞成本,利用长短期记忆网络（Long Short Term Memory,LSTM）、注意力机制+LSTM模型和差分自回归移动平均模型（Autoregressive Integrated Moving Average Model,ARIMA）模型预测无人机试飞俯仰角故障数据。结果表明,ARIMA预测结果：MAE（Mean Absolute Error）=0.35,RMSE（Root Mean Square Error）=0.73,MAPE(Mean Absolute Percentage Error)=23.80%;LSTM模型预测结果：MAE=0.49,RMSE=0.74,MAPE=45.20%;注意力机制+LSTM模型预测结果：MAE=0.17,RMSE=0.53,MAPE=18.93%。可见注意力机制+LSTM模型比其余两种模型更适合于试飞俯仰角的数据预测,以上三种方法对无人机故障数据预测都具有实际意义,有效的预测可以推进自动飞行器和移动机器人的异常检测或外国直接投资研究的最新进展,以进一步提高自动和远程飞行操作的安全性。     

基于长短时记忆神经网络的抽油机井故障智能预警

准确预测抽油机井故障对油田生产具有重要意义。针对新疆油田某区块抽油机井故障情况,统计了500口油井的生产数据,明确了结垢、结蜡、杆管腐蚀、杆管疲劳、杆管偏磨五种引发抽油机井故障的主要因素;基于长短时记忆神经网络（Long Short-Term Memory Networks, LSTM）,构建了油井故障智能预警模型;筛选出影响油井故障的14种特征参数进行小波降噪处理,借助自适应矩估计算法对模型进行训练与测试。研究结果表明,模型预测准确率为96.81%,能够为油田提供较为准确的抽油机井故障预警信息。     

基于堆栈式LSTM网络的通信辐射源个体识别

针对现有通信辐射源个体识别方法预处理过程复杂及特征提取较难的问题,提出了一种基于堆栈式长短期记忆(long short-term memory, LSTM)网络的辐射源个体识别算法。该算法直接使用IQ时间序列信号训练LSTM网络,即可实现对通信辐射源个体的高效识别,避免了复杂的信号预处理过程。为使LSTM网络能更好地适用于通信辐射源个体识别,利用3层LSTM网络提取辐射源深层特征,并通过实验优化了网络参数。然后对该算法的实际应用泛化性进行了实验探究,结果表明该算法在其他辐射源数据集上也取得了较好的效果。最后,通过实验对算法进行了验证,结果表明相比于传统算法,在样本数较多时,该算法的识别准确率可以达到98%,而且简单快速智能,便于工程化与实用化。     

高速磁浮列车悬浮间隙仿真预测

基于长短时记忆（LSTM）神经网络提出了一种可用于高速磁浮列车的电磁铁悬浮间隙预测方法。考虑高速磁浮列车运行过程中受到的气动荷载，建立了列车仿真模型并计算列车的动态响应；通过PyCharm建立LSTM神经网络，并以高速磁浮列车仿真模型计算结果为样本集，构建了高速磁浮列车电磁铁悬浮间隙预测模型。最后，通过对预测模型计算结果和评价指标进行评判，验证了所提出的电磁铁间隙预测算法的准确性。     

基于CNN-LSTM-lightGBM组合的超短期风电功率预测方法

近年来风电装机规模逐年增加,风电数据采集量呈现规模化增长,面对海量多维、强波动的风电数据,风电功率预测精度仍面临一定的挑战。为提高风电功率预测精度,提出了基于CNN-LSTM和lightGBM组合的超短期风电功率预测方法。首先,分别建立CNN-LSTM和lightGBM的风电功率超短期预测模型。其中,CNN-LSTM模型采用CNN对风电数据集进行特征处理,并将其作为LSTM模型的数据输入,从而建立CNN-LSTM融合的预测模型;然后,采用误差倒数法对CNN-LSTM和lightGBM的预测数据进行加权组合,建立CNN-LSTM-lightGBM组合的预测模型;最后,采用华北某风电场的风电数据集,以未来4小时风电功率为预测目标,验证了组合模型的有效性。预测结果表明,相较于其他三种单一模型,组合模型具有更高的预测精度。