基于双向LSTM神经网络可穿戴跌倒检测研究

针对老年人跌倒后不能得到及时救助带来的伤害，研究跌倒检测算法和及时告警，可以减轻跌倒给老年人带来的严重危害和后果。为了提高跌倒检测精确度和实时性，本文提出基于双向长短期记忆神经网络的可穿戴跌倒检测算法，该算法可以对输入的数据(取自惯性传感器)自动提取跌倒行为内部更深层的数据特征，实现数据从预处理到检测结果的过程处理。算法模型通过神经网络提取加速度传感器的特征向量，并利用双向长短期记忆神经网络进行跌倒检测。通过跌倒公开数据集SisFall验证算法模型，结果表明该算法在SisFall实验数据集上具备较高的检测精度，满足准实时检测要求，具有较好的实用性和较强的泛化能力。     

基于卷积神经网络-双向长短期记忆网络的人体活动识别方法

针对人体活动传感器数据的时序性特点,以及当前机器学习算法过度依赖手工特征提取的问题,提出了一种融合卷积神经网络和双向长短期记忆网络的深度学习模型（CNN-BiLSTM）进行人体活动识别（HAR）。首先对人体活动数据进行样本分割,然后采用卷积神经网络（CNN）自动提取人体活动数据的特征,再通过双向长短期记忆网络（BiLSTM）学习人体活动数据特征在时间序列上前后两个方向的相关性,最后利用softmax分类器实现对人体活动分类。DaLiAc公开数据集上的仿真实验结果表明,基于CNN-BiLSTM网络的人体活动识别方法对13种人体活动的识别准确率达到了97.7%,与仅具备时间特征学习的LSTM网络和BiLSTM网络相比,具有更好的识别分类效果。     

基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

基于DSCNN-BiLSTM的入侵检测方法

针对传统的入侵检测方法无法有效提取网络流量数据特征的问题,提出了一种基于DSCNN-BiLSTM的入侵检测方法,该方法引入了深度可分离卷积代替标准卷积从而减少了模型参数,降低了计算量,并应用双向长短期记忆网络(BiLSTM)提取长距离依赖信息的特征,充分考虑了前后特征之间的影响.首先,通过主成分分析法(PCA)对网络流量数据进行特征降维,并创新性地将一维网络流量数据转化为三维图像数据;然后,分别运用深度可分离卷积神经网络(DSCNN)和双向长短期记忆网络(BiLSTM)提取网络流量数据的空间特征和时间特征;最后,利用KDDCUP99数据集进行训练、验证和测试.实验结果表明,与其他传统的入侵检测方法相比,该方法具有更高的准确率和更低的漏报率.     

面向微博用户的消费意图识别算法

利用迁移学习的方法, 融合京东问答平台数据与少量已标注的微博数据构建训练集, 提出一种基于注意力机制的双向长短期记忆神经网络(Attentional-Bi-LSTM)模型, 用于识别用户的隐性消费意图。针对显性意图识别问题, 提出一种结合TF-IDF (term frequency-inverse document frequency)与句法分析中动宾关系(VOB)的消费意图对象提取算法。实验结果表明, 通过将迁移京东问答平台的数据与微博数据相融合, 可以有效地扩充训练集, 在此基础上训练的神经网络分类模型具有较高的准确率和召回率; 融合VOB和TF-IDF的显性消费意图对象提取方法的准确率达到78.8%。     

基于AMCNN-LSTM的电力无线接入专网异常流量检测

为了减轻电力无线专网系统因网络业务增多而带来的网络攻击以及异常流量入侵的安全事故隐患,提出了一种基于注意力机制的卷积-长短期记忆网络(convolution-long short-term memory network based on attention mecha-nism,AMCNN-LSTM)模型.该模型为避免序列特征稀疏分布的问题,采用卷积神经网络(convolutional neural net-work,CNN)提取时间序列数据特征并转化为维度固定的稠密向量;为防止记忆丢失和梯度分散问题,使用融合注意力机制的CNN单元来捕捉重要的时间序列细粒度特征;将CNN提取局部特征与长短期记忆网络(long short-term memory network,LSTM)提取序列特征的优势相结合,对电力接入专网流量数据进行异常检测.通过在电力网真实数据集上实验表明,基于注意力机制的算法能够在150轮次迭代下达到89.14％的召回率及89.67％的综合F-meas-ure得分.所提出的模型能够及时、准确地检测电力网络异常流量,有效提高检测效率及准确度.     

基于注意力机制和双向长短期记忆网络的电能质量扰动识别

提出一种基于深度学习的电能质量扰动信号分类新方法。该方法应用注意力机制和双向长短期记忆网络构建分类模型,并利用Matlab仿真产生训练数据集与验证数据集。考虑了7种常见的复合扰动信号,并将其作为序列数据直接输入到网络中进行训练和验证。实验结果表明,本方法能准确地识别不同的扰动信号,在验证集上模型的识别准确率可以达到99.7%。通过对比实验发现,应用注意力机制和双向长短期记忆网络的模型的识别能力要优于支持向量机和多层感知机等传统机器学习算法。     

基于深度学习的短文本语义相似度计算模型

基于深度学习的短文本语义相似度度量方法是现代自然语言处理任务的基石，其重要性不言而喻。本文提出一种基于卷积神经网络和双向门控循环单元的文本编码模型，通过卷积层提取重要语义并且通过双向门控循环单元保证语义顺序，采用孪生神经网络结构保证文本编码的一致性。选取传统的卷积神经网络和长短期记忆网络以及BERT模型进行对比验证，在Quora、Sick和MSRP数据集上的验证结果表明，本文模型的精确率和召回率表现优异，且F₁值也优于传统模型。     

基于双向长短期记忆神经网络的风电预测方法

风电受天气条件的影响具有间歇性和波动性的特点,随着风电在电网中渗透率的提高,电网面临着新的挑战.对风电进行预测并根据预测值进行合理调度,可在一定程度上缓解风电的不确定性对电网的影响.本文提出了基于双向长短期记忆神经网络的风电预测方法,该模型可以同时利用过去和未来的数值天气预报信息,提高了风力发电的预测精度.首先,文章阐述了单向长短期记忆神经网络的原理和结构,在此基础上,添加反向隐含层成为双向长短期记忆神经网络;其次,基于双向长短期记忆神经网络,构建了风电预测架构,并分析了风电预测的评价指标;最后,利用实际数据进行了仿真验证,结果表明,相对于长短期记忆模型,以均方根误差、希尔不等系数和对称均值绝对值百分比误差三个指标衡量,双向长短期记忆神经网络的预测精度分别提高了10.25%、6.71%和12.18%.     

采用运动传感器的人体运动识别深度模型

针对传统机器学习方法在采用运动传感器数据的人体运动识别领域中识别效果严重依赖人工特征且准确率受限的问题,提出一种改进的卷积网络与双层长短期记忆网络的深层混合(VGGLSTM)模型以实现特征自提取并进行运动识别。该模型结合传感器数据层状、时序的结构特点,将多维传感器数据类比于图像的RGB矩阵进行适应性处理;由一维串联卷积网络与双层长短期记忆网络复合而成。实验结果表明,在开源的人体运动识别(HAR)数据集和无线传感器信息控掘(WISDM)数据集上采用该模型的人体运动识别方法的平均准确率分别达到了97.17%和96.53%,该模型可以有效避免复杂的特征工程,在人体运动识别问题中具有很好的准确性和适应性。     

基于经验模态分解-粒子群优化-长短期记忆的车间电力能耗预测方法

针对传统能耗预测方法不能充分提取数据特征并利用神经网络的学习、预测能力，提出了一种基于经验模态分解-粒子群优化-长短期记忆(EMD-PSO-LSTM)的电力能耗预测模型。该模型首先采用经验模态分解算法将时间序列数据分解为多个本征模函数分量和趋势分量，然后对每个分量分别建立长短期记忆网络进行预测。各个长短期记忆网络的参数则由粒子群算法分别进行最优化求解，最后将所有分量的预测结果进行叠加得到最终的能耗预测结果。将预测结果与实际能耗数据进行对比分析来验证所提模型的预测性能。试验结果表明，该方法能够对电力能耗数据进行合理预测，预测精度较高。     

基于CNN-GRU的入侵检测算法研究

入侵检测是网络安全的一个重要组成部分。针对常用基于长短期记忆网络的入侵检测算法的收敛速度慢的问题,考虑到网络流量数据同时存在时间和空间的特征,提出了一种基于卷积神经网络和门控循环单元的入侵检测方法。使用卷积神经网络将流量数据的空间特征提取出来,以多个相同参数的小卷积核来替代大卷积核,使得网络结构加深。将提取出的特征输入到门控循环单元中,学习流量数据的时序特征后进行分类。数据集采用KDD99,实验表明,该模型能够对网络流量进行有效的识别。     

多通道CNN-BiLSTM的短时温度预测

温度数据具有明显的反向、时序相关性及多尺度特征，提升温度预测精度的关键在于能否有效提取温度数据的上述特征.为提取这些特征，该文提出一种多通道卷积双向长短期记忆网络(convolutional neural network-bidirection long short-term memory, CNN-BiLSTM)的短时温度预测模型.该模型首先利用双向长短期记忆网络(BiLSTM)提取数据的反向特征、时序相关性特征；再利用多通道且不同尺寸、不同膨胀率的卷积神经网络(CNN)提取数据的多尺度特征，组成在学习多尺度特征后的数据，将其和原始数据作为BiLSTM层的多通道输入，输出的数据经过全连接层，形成最终的预测结果.实验结果表明：多通道CNN-BiLSTM的短时温度预测模型能有效地提取数据的时序相关性、反向及多尺度特征，可有效地提升温度预测精度，是一种行之有效的短时温度预测模型.     

融合笔画特征的命名实体识别方法

汉字是象形文字,其字形特征对于中文命名实体识别有着重要的作用。针对双向长短期记忆模型（bi-directional long short-term memory,BiLSTM）提取部首,命名实体识别准确率不高的问题,提出笔画组成编码器,用于获取汉字的字形特征,并将笔画字形特征向量和预训练的语言表征模型（bidirectional encoder representation from transformers,BERT）输出的字向量进行拼接,将拼接后的向量放入双向长短期记忆模型与条件随机场（conditional random field,CRF）相连的标注模型（BiLSTM-CRF）中进行命名实体识别。实验表明,所提的方法在Resume数据集上命名实体识别准确率有显著提升。相较于用卷积神经网络做编码器提取汉字字形特征,准确率高出0.4%。相较于使用BiLSTM提取的部首特征模型和加入词典的长短期记忆模型(Lattice LSTM)模型其准确率分别提升了4.2%、0.8%。     

双向LSTM神经网络的航空发动机故障预测

准确的航空发动机故障预测能够为维修决策提供依据,提高装备完好率,避免灾难性故障并最小化经济损失。根据航空发动机传感器数据特点,提出一种基于双向长短期记忆（LSTM）神经网络的故障预测方法,建立故障预测模型,包括数据预处理、网络模型设计、训练与测试,得到在多种工作条件和故障下具有较强泛化能力的神经网络预测模型。使用C-MAPSS数据集对模型进行仿真验证,所提出的双向LSTM故障预测模型通过与RNN、GRU、LSTM时间序列模型对比,误差下降33.58%,得到更高的预测精度,非对称评分下降71.22%,具有更好的适应性。     

集成局部和全局关键特征的文本情感分类方法

融合卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(Bi-directional long short-term memory,BiLSTM)的情感分析模型(CNN_BiLSTM)是一个流行的模型,其学习文本的局部特征和全局特征实现情感分类,但是忽略了特征对分类结果的重要程度,且没充分利用词语间的特征,导致分类准确率不高.提出一种集成基于多卷积核的卷积神经网络和注意力双向长短期记忆网络特征的文本情感分类方法(MCNN_Att-BiLSTM),其集成局部和全局的重要特征作为文本语义特征,该特征进而用于训练文本情感分类器XGBoost(eXtreme gradient Boosting).该方法基于注意力机制的BiLSTM提取对分类影响大的全局关键特征,基于多卷积核的CNN获得更全面的词语间特征,为集成分类器准备了有效分类的特征.实验结果表明,该模型具有更好的情感分类准确率,与CNN_BiLSTM模型相比,在IMDB数据集上准确率提升了1.75%,在txt-sentoken数据集上准确率提升了1.67%,在谭松波-酒店评论数据集上准确率提升了3.81%.     

基于CNN-BiLSTM-Attention的超短期电力负荷预测

在长短期记忆神经网络(LSTM)的基础上,运用双向的长短期记忆神经网络(BiLSTM),结合卷积神经网络(CNN)提出了一个预测模型,对超短期电力负荷预测.运用合肥市2019年全年数据对该模型进行训练及预测,结果显示,CNN-BiLSTM预测精度高于CNN-LSTM预测模型,为进一步提升预测精确度,在BiLSTM神经网...     

基于深度神经网络的个体阅读眼动预测

传统眼动模型基于心理学假设和经验数据构建,不能对未见文本数据进行预测,且不能解决阅读个体化差异问题。针对这一问题,该文提出了一种利用深度神经网络预测读者注视点的眼动模型。与传统基于心理学的眼动模型不同,该模型不是基于经验数据集,而是基于双向长短期记忆-条件随机场(bi-directional long short-term memory-conditional random field,bi-LSTM-CRF)神经网络。该模型使用阅读过程中读者的眼球运动数据作为训练数据,来预测该读者阅读其他文本时的注视点。计算机模拟结果表明:bi-LSTM-CRF模型能够使用较少的数据特征获得与现有机器学习模型相似的预测准确度,这使所提出的模型在实时人机交互应用领域具有吸引力。     

基于无线通讯与 GP S定位的人体跌倒检测器

为减小老年人因跌倒造成的身心伤害，实现及时救助，设计了一种实用的人体跌倒检测器。采用三轴加速度传感器和ZigBee无线通讯实现人体运动状态的数据采集和传输，采用基于加速度向量幅值和人体姿态角检测算法实现跌倒检测，通过报警单元实现基于GSM模块的短信报警，利用对GPS数据解析实现跌倒事件的地理信息的Google显示。实验结果表明，该检测器对人体向前跌倒后平躺、向右跌倒后侧躺和向前跌倒后未平躺等状态判别准确率达到100％，监控界面良好。     

短期风力发电负荷预测的新方法

以陆上风力发电负荷数据作为研究对象,将注意力机制引入双向长短期记忆与卷积神经网络（CNN）的混合模型来预测短期电力负荷．结果显示:1）注意力机制通过对不同时步的输入进行加权,能够显著提升双向长短期记忆网络的预测性能;2）双向长短期记忆网络-CNN结构比CNN-双向长短期记忆网络结构更适用于短期负荷预测,前者相较后者能够充分利用时序信息,不会在输入初期就丢失关键信息;3）基于注意力机制的双向长短期记忆网络-CNN混合模型的均方根误差（RMSE）、平均绝对百分比误差（MAPE）分别达到了575.35和7.02%,比次佳模型（基于注意力机制的双向长短期记忆网络-CNN混合模型）分别降低了2.75%和9.65%,其在风电短期负荷预测方面有很好的应用前景．