基于自适应神经网络的云资源预测模型

为了避免容器云资源因资源供求不均衡而导致的资源利用率差等问题,需要对未来时刻的资源需求情况进行预测来进行更精准的调度和分配资源,因此,结合神经网络的高效学习能力与自适应调整的学习率,提出一种基于自适应神经网络的云资源预测模型。首先,融合卷积神经网络(convolutional neural network, CNN)和长短期记忆(long short-term memory, LSTM)网络的特点去挖掘历史数据的特征,预测未来的资源需求;然后,根据模型预测情况自适应调整学习率,提高模型预测的精度。使用Microsoft Azure公开数据集进行测试,相较于单一模型CNN、LSTM和未加入自适应学习率的神经网络模型,均方根误差分别下降了17.74%、18.27%和6%,证明了模型的有效性。     

基于CEEMD-LSTM光伏短期功率预测

为解决传统机器学习方法在面对多变的环境因素和不平稳序列时导致光伏功率预测精度低的问题,本文提出一种基于完全经验模态分解(Complete Ensemble Empirical Mode Decomposition , CEEMD)和长短期记忆神经网络(Long Short-Term Memory , LSTM)相结合的光伏短期功率预测模型。首先充分考虑影响光伏出力的太阳辐照度,相对湿度,大气压力和空气温度4种环境因素,通过CEEMD将气象因素特征曲线分解为多模态特征数据,准确捕捉其不同的时间尺度和频率特征,进而充分保留环境数据的不平稳特征。在此基础上,利用LSTM网络对多模态特征数据进行时间序列建模,旨在保留时间序列的季节性和不平稳特征,为后续建模提供更准确的输入特征。最后,通过对分解后的信号开展训练,根据输入数据的变化自适应调整预测模型参数,迭代生成特定场景下的预测模型,从而灵活应对实时环境变化,得到相应功率预测结果。本文在海南一孤立海岛分布式光伏电站37kW子阵的8个月气象和功率数据集进行验证,实验结果表明,所提方法在保留环境数据细节和局部特性上具有显著优势,在不同气象条件均具有良好的自适应性,有效提高了光伏短期功率预测精度。     

基于递归长短期记忆网络和镜头序列注意网络的视频摘要生成

为解决基于长短期记忆网络LSTM的视频摘要生成方法当输入序列过长时LSTM网络中的记忆单元不能集中在长时间序列的跨度上。通过深度学习的方法研究了一种基于递归长短期记忆网络(ReLSTM)和序列注意(SSA)的视频摘要生成模型用以提高深度学习网络学习时序特征的能力。该模型使用ReLSTM网络提取时间特征。同时,利用SSA动态调整每个视频序列输入到ReLSTM网络中的特征权重。结果表明：在数据集TVSum上F1-score平均提高2.5%,最高提高0.2%。在数据集SumMe上F1-score平均提高7.8%,最高提高3.4%。可见该方法能有效地学习镜头之间的时序特征。     

基于Attention机制的CNN-LSTM驾驶人意图识别方法研究

在自动驾驶系统中，系统需要准确识别驾驶人的意图，来帮助驾驶人在复杂的交通场景中安全驾驶。针对目前驾驶人意图识别准确率低，没有考虑优化特征对模型准确率影响的问题，运用深度学习知识，提出了一种基于时间序列模型的驾驶人意图识别方法。该方法基于Attention机制融合了卷积神经网络(convolutional neural networks, CNN)和长短时记忆网络(long short-term memory network,LSTM),引入车辆自身信息和环境信息作为时空输入来捕捉周围车辆的空间交互和时间演化。该方法可同时预测目标车辆驾驶人横向驾驶意图和纵向驾驶意图，并在实际道路数据集NGSIM(next generation simulation)上进行了训练和验证。实验结果表明，所提出的CNN-LSTM-Attention模型能够准确预测高速公路环境下驾驶人的驾驶意图，与LSTM模型和CNN-LSTM模型相比具有明显的优势，为自动驾驶系统的安全运行提供了有效保障。     

基于CNN的脑电信号情绪识别模型研究

针对现有深度学习模型在情绪识别方面种类少且准确率低的问题,采集并建立了脑电波信号数据集,提出了一种基于CNN的脑电波的智能多情绪识别模型,利用多层卷积神经网络提取脑电信号情感特征,在批归一化层和激活函数中引入非线性特性,构建了两层全连接神经网络,实现了情绪特征中积极、中性和悲伤的分类。实验结果表明,提出的模型复杂度低且分类准确率达到了81.43%,明显高于SVM、LSTM、VGGNet模型,证明了该模型的简洁性和高效性。     

基于改进的长短期记忆神经网络方言辨识模型

在案件侦破中方言的辨别能提供重要线索,为了对汉语方言进行辨别,基于长短期记忆神经网络LSTM的方言辨识模型被提出,语音样本数据其中包括地区口头禅均采集于贵州省6个地区,并提取梅尔频率倒谱系数MFCC,每份语音样本MFCC后面加上相应的地区口头禅MFCC,然后采用滑窗进行信息重叠分块,对每块分别进行横向与纵向奇异值分解并保留高贡献率的特征向量,把分块合并作为方言识别模型的输入数据。先对LSTM进行改进,然后构建方言识别模型,通过交叉实验对该模型进行训练和验证,从而对滑窗的宽度进行优化,同时与循环神经网络RNN进行比较。实验结果证明本研究构建的LSTM模型对汉语方言识别是高效的。     

PSO与PCA融合优化核极限学习机说话人识别算法仿真

基于机器学习理论开展说话人识别的研究取得了很大进展,在基于核极限学习机(kernel extreme learning machine,KELM)和梅尔倒谱系数(mel-frequency cepstral coefficients,MFCC)说话人识别研究基础上,通过主成分分析算法(principal component analysis,PCA)对MFCC进行降维优化、粒子群优化算法(particle swarm optimization,PSO)对KELM初始输入参数进行优化开展基于PSO和PCA融合优化KELM说话人识别算法研究。改进后的算法在MATLAB平台上仿真通过,并与MATLAB语音工具箱提供的神经网络和支持向量机说话人识别算法做了性能对比分析。仿真研究结果表明:通过PSO和PCA融合优化改进的KELM,初始输入参数可以任意确定并且不需要迭代更新,并能有效克服因初始权重随机确定导致的性能不稳定,进一步提高分类匹配和运算速度,具有很好的推广应用价值。     

一种新的基于注意力机制的细粒度视频分析神经网络结构

针对包含细微差异动作的视频数据集,提出了一种用于分辨细粒度差异动作的深度神经网络.该网络结构由一个三维卷积(C3D)网络的轻量化变体和一个基于注意力机制的长短时记忆网络组成,优化了三维卷积网络的深度和注意力机制的权重惩罚项.实验结果表明:该网络可以有效地关注视频中的重要信息,在平均准确率和检测准确率上均有所提升.     

基于卷积神经网络-双向长短期记忆网络的人体活动识别方法

针对人体活动传感器数据的时序性特点,以及当前机器学习算法过度依赖手工特征提取的问题,提出了一种融合卷积神经网络和双向长短期记忆网络的深度学习模型（CNN-BiLSTM）进行人体活动识别（HAR）。首先对人体活动数据进行样本分割,然后采用卷积神经网络（CNN）自动提取人体活动数据的特征,再通过双向长短期记忆网络（BiLSTM）学习人体活动数据特征在时间序列上前后两个方向的相关性,最后利用softmax分类器实现对人体活动分类。DaLiAc公开数据集上的仿真实验结果表明,基于CNN-BiLSTM网络的人体活动识别方法对13种人体活动的识别准确率达到了97.7%,与仅具备时间特征学习的LSTM网络和BiLSTM网络相比,具有更好的识别分类效果。     

基于可变长序列的恶意加密流量检测方法

本文引入组合恶意加密流量数据集,结合随机森林对各个特征的重要性进行对比,构建可变长二维特征序列,提出一种针对可变长序列的恶意加密流量检测方法。该方法采用BiGRU-CNN深度学习模型,通过引入Masking层,有效解决变长序列问题,能够同时提取流量数据中时间和空间的多重特征,最终实现对恶意加密流量的二分类检测。实验结果表明,该方法与基于CNN、LSTM等单一模型相比在精确率、召回率和F1值均有所提升,准确率达到94.61%,且在非训练集实验中能达到94.93%的平均识别准确率,具有较好的应用价值。     

基于LSTM-XGboost组合的超短期风电功率预测方法

受数值天气预报信息影响,风电功率变化具有较强的随机波动性,传统单一预测模型精度较低,难以满足现实预测需求。为此,提出基于LSTM-XGboost组合的超短期风电功率预测方法。首先,基于风电场的气象数据,采用皮尔逊相关系数法筛选与风电功率强相关的气象数据,建立风电功率预测模型数据集;然后,将归一化处理的数据集作为LSTM和XGboost的模型输入,分别构建LSTM和XGboost的超短期风电预测模型,在此基础上,采用误差倒数法对LSTM和XGboost的预测数据进行加权构建组合预测模型;最后,以张家口某示范工程风电场实际运行数据验证组合模型的有效性。结果表明,相较于其他四种单一预测模型,组合模型具有更高的预测精度。     

基于季节性自回归积分滑动平均与深度学习长短期记忆神经网络的降水量预测

降水量数据是一种非线性、非平稳的时序序列,传统的方法较难获取数据的变化规律,深度学习长短期记忆(long short-term memory,LSTM)能较好地处理多要素变量与降水量之间的非线性关系.利用扬州市区1960—2019年8种气象基本要素数据,采用传统季节性自回归积分滑动平均(seasonal autoreg...     

一种改进的最大相关最小冗余选择性贝叶斯分类器

利用K均值聚类和增量学习算法扩大训练样本规模,提出一种改进的mRMR SBC.一方面,利用K均值聚类预测测试样本的类标签,将已标记的测试样本添加到训练集中,并在属性选择过程中引入一个调节因子以降低K均值聚类误标记带来的风险.另一方面,从测试样本集中选择有助于提高当前分类器精度的实例,把它加入到训练集中,来增量地修正贝叶斯分类器的参数.实验结果表明,与mRMR SBC相比,所提方法具有较好的分类效果,适于解决高维且含有较少类标签的数据集分类问题.     

指数趋势预测的BP-LSTM模型

本文根据股指、股价等数据的时序特征将人工神经网络(ANN)与深度学习中的循环神经网络(RNN)引入股指预测,基于BP神经网络模型与长短期记忆(LSTM)神经网络模型构建了BP-LSTM模型.基于上证指数,本文进行了进行数值实验.结果表明BP-LSTM预测模型的准确率相比传统机器学习模型有明显提升,与普通LSTM模型相比也有较大提升.     

基于CNN-LSTM的脑电情感四分类研究

为深入研究脑电信号时空特征之间的关联,解决因手动提取特征导致的脑电情感识别准确率较低问题。将卷积神经网络（Convolutional neural network, CNN）和长短时记忆网络（Long short- term memory, LSTM）相结合,构造出了CNN-LSTM模型。首先,提取了5个频段的5个不同特征：功率谱密度(PSD)、差分熵(DE)、差分不对称(DASM)、理性不对称(RASM)和差分熵差分(DCAU)。其次,将特征输入CNN-LSTM模型,在DEAP数据集中的效价和唤醒两种情感维度上展开四分类实验。最后,将堆栈自编密码器(SAE),卷积稀疏自编码器(CSAE),深度置信网络(DBN)分别与LSTM组合,构造SAE-LSTM,CSAE-LSTM,DBN-LSTM三种混合模型同CNN-LSTM进行分类准确率比较。实验结果表明,DE特征的分类识别效果在五种特征中占最优,β和γ频段上所有特征的识别准确率远高于其他频段,尤其是γ频段。CNN-LSTM模型获得了最高的平均分类准确率92.48%,充分证明了CNN-LSTM模型的有效性。     

基于多特征融合的SVM声学场景分类算法研究

针对DCASE2017挑战赛的声场环境数据集,提取梅尔频率倒谱系数（MFCC）、短时能量（SE）、声学事件似然特征（AELF）、静音时间（MT）特征,组成多特征融合矩阵,通过对比多种核函数和寻优算法,最终选取高斯径向基核函数（RK）建立支持向量机（SVM）模型,采用交叉验证（CV）方法进行SVM参数寻优,对15种声学场景进行分类.实验结果表明,杂货店、办公室的分类准确性达到了90%以上,平均分类准确性达到71.11%,远高于挑战赛的基线系统61%的平均分类准确性.      

多价值链视角下基于深度学习算法的制造企业产品需求预测

多价值链协同发展背景下,制造企业没有充分考虑服务链、营销链等其他价值链对产品需求的影响。为提高制造企业产品需求预测的精度,本文提出了产品数据空间和一维卷积神经网络(One-dimensional convolutional neural networks, 1D-CNN)-长短期记忆神经网络(Long short-term memory, LSTM)的深度学习算法。首先,整合不同价值链对产品需求影响的相关数据构建产品数据空间。其次,从数据空间中获取多链数据集用于1D-CNN-LSTM模型的预测。其中,1D-CNN通过两次卷积池化操作获取数据的深层次特征,LSTM则通过进一步学习数据特征中的重要信息来进行时间序列预测。最后,通过某电气设备制造企业生产销售的环网柜产品的相关数据进行算例分析,并与其他几种模型进行预测结果比较。结果表明：1D-CNN-LSTM模型的预测效果优于神经网络模型和单一的LSTM模型。可见本文提出的1D-CNN-LSTM深度学习模型更具优越性,预测效果好。     

GPS数据驱动的车辆跟驰行为建模与分析

为研究道路交通流特性,基于车载高精度GPS跟驰试验数据进行车辆跟驰建模研究,结合深度学习理论和数据驱动方法,构建了基于粒子群优化(particle swarm optimization, PSO)的长短期记忆(long short term memory, LSTM)车辆跟驰模型。首先,清洗和平滑车辆轨迹数据,并对驾驶特征行为参数及相关关系进行研究,如加速度、车头时距以及速度与跟驰距离特性关系等。在此基础上,制定跟驰状态筛选规则;其次,构建考虑时间序列的PSO-LSTM模型,识别跟驰数据样本集,将当前时刻的前车速度、车头间距和上一时刻的车头时距作为模型输入,预测当前时刻的跟驰车速度;接着,选用25辆车跟驰试验的高精度GPS数据验证PSO-LSTM模型性能;最后,为验证该模型的优越性,选用传统机器学习SVR(support vector regression)模型以及深度学习LSTM模型作为对比。结果表明,基于粒子群优化的长短期记忆模型预测精度高达0.993,整体预测效果高于SVR模型和LSTM模型,其中预测误差指标MAPE(mean absolute percentage error)较SVR和LSTM分别降低了60.02%、1.52%。PSO算法进行超参数优化后的PSO-LSTM模型,能更好地模拟车辆的跟驰行为。     

基于超距雷达数据的车辆跟驰行为分析及建模

针对高速公路车辆跟驰特性及速度预测问题,基于超距雷达数据分析了高速公路车辆跟驰特性,建立起基于长短期记忆（long short term memory,LSTM）的跟驰速度预测模型。首先,根据数据特点建立了处理规则并筛选跟驰序列。其次,根据车身长度将跟驰车划为大型车与小型车,分析了车辆在跟驰过程中速度、车速差、车间距和车头时距等参数的分布及相对变化关系。然后,将前车速度、位置差、上一时刻车头时距作为模型输入,跟驰车速度作为模型输出,构建了基于LSTM的跟驰速度预测模型,模型预测精度达到99.75%。最后,以高速公路数据为例进行验证,传统机器学习支持向量回归（support vector regression,SVR）模型的预测性能低于深度学习模型,LSTM模型的R Square较SVR模型提升了4.37%;作为LSTM的结构简化变体,在相同的结构参数下,门控循环单元（gated recurrent unit,GRU）模型的预测性能并未提升,但训练速度较LSTM模型提高了28.48%。深度学习LSTM、GRU模型能够更精准地预测高速公路的车辆跟驰速度。     

基于溶解氡数据和长短期记忆网络的地震预报

溶解气氡浓度异常为可靠地震前兆,通过对历史观测数据进行建模,预测溶解气氡未来趋势,是快速检测溶解气氡浓度异常、研究震-氡机制的前提。溶解气氡浓度数据为典型的时间序列数据,传统的时间序列预测技术主要为自回归(AR)方法和自回归滑动平均(ARMA)方法。这些方法以线性方法为主,其拟合精度有限。采用目前最流行的深度学习技术长短期记忆(LSTM)模型对姑咱地震台、西昌地震台和雅安地震台一段时间内连续观测的溶解气氡日观测数据集溶解气氡浓度数据进行建模,采用90%的数据作为训练数据训练LSTM网络,10%的数据作为预测数据,采用均方根误差评价指标来评价模型的效果。在三种数据集上,LSTM的预测误差均方根误差均明显低于AR和ARMA方法。该结果表明,LSTM的预测精度高于传统的AR、ARMA方法。