多通道CNN-BiLSTM的短时温度预测

温度数据具有明显的反向、时序相关性及多尺度特征，提升温度预测精度的关键在于能否有效提取温度数据的上述特征.为提取这些特征，该文提出一种多通道卷积双向长短期记忆网络(convolutional neural network-bidirection long short-term memory, CNN-BiLSTM)的短时温度预测模型.该模型首先利用双向长短期记忆网络(BiLSTM)提取数据的反向特征、时序相关性特征；再利用多通道且不同尺寸、不同膨胀率的卷积神经网络(CNN)提取数据的多尺度特征，组成在学习多尺度特征后的数据，将其和原始数据作为BiLSTM层的多通道输入，输出的数据经过全连接层，形成最终的预测结果.实验结果表明：多通道CNN-BiLSTM的短时温度预测模型能有效地提取数据的时序相关性、反向及多尺度特征，可有效地提升温度预测精度，是一种行之有效的短时温度预测模型.     

融合聚类-卷积-门循环的居民用电短期负荷预测方法

对居民用电进行准确的短期负荷预测是电力部门合理制定每日调度计划的重要依据。提出了一种基于BIRCH(balanced iterative reducing and clustering using hierarchies)聚类算法-卷积神经网络(convolutional neural network, CNN)-门控循环单元(gated recurrent unit, GRU)的短期电力负荷预测方法。根据智能电表采集的历史负荷数据，该方法首先采用BIRCH聚类算法分析不同用户的用电习惯，将用户聚类为多个用户群；然后构建由负荷数据和时间以及气候信息组成的多特征时间序列数据集，并采用训练集进行CNN-GRU预测模型构建。训练集首先输入到基于一维卷积层设计的CNN网络，以提取不同特征变量之间的非线性关系；之后将数据输入GRU网络，以提取数据在时间维度上的时序特性，最后由全连接层输出短期负荷预测结果。以爱尔兰能源管理委员会提供的公开数据集作为实际算例，以ANN网络、CNN网络及CNN-GRU网络为对比模型，实验结果表明，所提出方法的平均绝对百分比误差达到了2.932 1%,有较高的预测精度和...     

适于长短文本分类的CBLGA和CBLCA混联模型

为提高文本分类的准确性和效率,构建了一种基于Attention的CNN-BiLSTM/BiGRU(简称CBLGA)混联文本分类模型.首先通过并联不同卷积窗口大小的CNN(Convolutional Neural Networks)网络同时提取多种局部特征,之后将数据输入至BiLSTM和BiGRU并联组合模型中,利用BiLSTM和BiGRU组合提取了与文本中的上下文有密切关系的全局特征,最后对两个模型所得到的特征值进行了融合并在其中引入了注意力机制.构建基于Attention的CNN-BiLSTM/CNN(简称CBLCA)混联文本分类模型,特点是将CNN的输出分为两部分,其中一部分输入BiLSTM网络中,另一部分则直接和BiLSTM网络的输出进行融合,既保留了CNN提取的文字序列局部特征,又利用了BiLSTM网络提取出的全局特征.实验表明CBLGA模型和CBLCA模型在准确率和效率方面均实现了有效提升.最后,建立了一套针对不同长度的文本进行相应预处理和后续分类工作的分类的流程,使模型无论面对长文本还是短文本数据,均实现了同时提高文本分类的准确率和效率的目标.     

基于神经模糊推理系统的盾构施工地表沉降预测

盾构隧道施工引起的地表沉降,主要受盾构掘进参数和地层条件的影响,且各参数间关系复杂.已有地表沉降预测方法大都没有直接考虑掘进参数的影响,难以满足盾构快速施工超前预测预报和环境影响控制的需求.自适应神经模糊推理系统(ANFIS)是一种基于神经网络的模糊类智能模型,通过减法聚类数据细分技术自动生成模糊规则,使网络的节点和权值具有明确的物理意义,集成了神经网络数据自适应能力和模糊系统知识表达性能,特别适合于多元非线性系统的预测预报.结合北京地铁14号线东风北桥站至京顺路站区段工程实测数据,选取埋深、洞顶覆土标贯值、土仓压力、推进速度、刀盘转速、扭矩、盾构推力,以及同步注浆量为输入变量,建立了地表最大沉降量预测模型.计算结果表明,该模型计算量小,泛化能力强,计算精度高.研究成果为盾构施工地表沉降预测预报提供了新的技术方案.     

基于循环神经网络的超大直径盾构掘进地表沉降预测方法研究

为了研究超大直径盾构掘进过程地面沉降规律,以武汉市和平大道南延线盾构工程为研究对象,首先收集了超大直径盾构下穿过程掘进参数和地层地质参数,并使用盾构掘进过程深跨比描述超大直径盾构影响特征;其次,通过收集现场沉降测点数据分析盾构隧道施工阶段地表沉降的影响范围,计算了90%、95%、99%三种置信区间下地表沉降影响范围;最后,选取不同范围内的多元时序数据作为输入参数,分别建立了基于贝叶斯优化算法（BO）的长短期记忆（LSTM）、BP神经网络和随机森林（RF）大直径盾构地面沉降预测模型.模型运行过程中,通过贝叶斯优化算法分别寻找三种不同模型下的最优超参数,并通过四种评价指标对比模型精度.结果如下：(1)在90%置信水平下三种算法均表现出最高精度,通过区间计算筛选有效输入参数能有效提高模型预测精度;(2)LSTM对隧道沉降的预测结果优于传统机器学习算法模型,MAPE最低达到8.91%,R2达到90%.     

短期风力发电负荷预测的新方法

以陆上风力发电负荷数据作为研究对象,将注意力机制引入双向长短期记忆与卷积神经网络（CNN）的混合模型来预测短期电力负荷．结果显示:1）注意力机制通过对不同时步的输入进行加权,能够显著提升双向长短期记忆网络的预测性能;2）双向长短期记忆网络-CNN结构比CNN-双向长短期记忆网络结构更适用于短期负荷预测,前者相较后者能够充分利用时序信息,不会在输入初期就丢失关键信息;3）基于注意力机制的双向长短期记忆网络-CNN混合模型的均方根误差（RMSE）、平均绝对百分比误差（MAPE）分别达到了575.35和7.02%,比次佳模型（基于注意力机制的双向长短期记忆网络-CNN混合模型）分别降低了2.75%和9.65%,其在风电短期负荷预测方面有很好的应用前景．      

融合多模态的虚假新闻检测

在社交媒体高速发展方便信息交流的同时,虚假新闻也在网络上大量传播,对社会稳定造成了很大的影响.针对当前虚假新闻检测工作大多充分考虑虚假新闻中新闻文本内容而忽略图像内容的问题,提出了一种基于注意力的BiLSTM-CNN多模态虚假新闻检测模型.该模型首先使用双向长短期记忆神经记忆网络(BiLSTM)提取文本内容特征,使用卷积神经网络(CNN)提取图像语义特征,利用注意力机制(Attention)层对提取的内容特征信息分配相应的权重,再将两种特征融合以形成重新参数化的多模态特征作为输入进行虚假新闻检测.实验表明,该方法达到了98.3%的正确率.     

曲线盾构隧道施工地表沉降分析

目的研究盾构法隧道曲线段施工过程中产生的不均匀地表沉降,提高对隧道曲线段地表沉降的预测及计算能力.方法以马来西亚吉隆坡某地铁隧道区间盾构施工为案例背景,通过现场试验、拟合计算及二维数值计算等方法,研究曲线隧道地表沉降计算,分析地表沉降、千斤顶推力等因素之间的关系.结果在经典的隧道施工地表沉降经验计算公式的基础上提出了修正公式,该修正公式更适合于预测计算曲线盾构隧道施工的地表沉降,最大误差值在4%以内.同时给出了地表不均匀沉降量与盾构不均衡推力之间的关系式.结论笔者提出的曲线盾构隧道地表沉降计算公式优于经典的地表沉降经验计算公式,可更准确的描述曲线盾构隧道施工过程中地表沉降槽的形态.     

基于BiLSTM-Attention模型的缺血性脑卒中的年卒中风险预测

为实现缺血性脑卒中的年卒中风险的预测,提出一种基于BiLSTM(bi-directional long short-term memory)-Attention的预测模型。采用BiLSTM对患者诊断数据进行特征学习以捕获前向和后向序列数据中的信息;增加Attention机制,对隐藏层中指标信息进行权重分配来提高关键信息的有效利用率;数据集构建充分考虑缺血性脑卒中发生的影响因子,选取Logistic统计学分析方法进行确定,并定义一年为脑卒中研究时间周期,以患者当前及回归预测一年后的参数作为预测模型输入指标。试验结果表明,相比较单一模型,时序特征的提取融合Attention机制的BiLSTM模型的方法,在准确度、灵敏度、特异度等临床判断标准下的预测风险的效果较优,准确率达86%,在缺血性脑卒中疾病早筛查、早预防等领域具有良好的应用价值。     

基于融合多注意力机制的深度学习的盾构荷载预测方法

盾构荷载作为盾构的主要性能指标,准确的荷载预测对于保证盾构安全高效工作和周边环境稳定具有重要意义.鉴于传统预测方法精度差的局限性,本研究以数据的高维度特征和时序特征为切入点,提出一种结合卷积神经网络、双向长短期记忆神经网络和注意力机制的混合模型(CNN-BiLSTM-Multiattention, CBM),对盾构荷载进行精准预测.该模型不仅可以提取数据的高维度特征和时序特征,还能突出高维度特征的重要性和关键时间节点信息.通过实验证明了相较于4种现有的模型,本文所提出的模型在3种评价指标上均优于其他模型,对推力和扭矩预测的准确率达到94.2%和96.2%.     

基于卷积神经网络-双向长短期记忆网络的人体活动识别方法

针对人体活动传感器数据的时序性特点,以及当前机器学习算法过度依赖手工特征提取的问题,提出了一种融合卷积神经网络和双向长短期记忆网络的深度学习模型（CNN-BiLSTM）进行人体活动识别（HAR）。首先对人体活动数据进行样本分割,然后采用卷积神经网络（CNN）自动提取人体活动数据的特征,再通过双向长短期记忆网络（BiLSTM）学习人体活动数据特征在时间序列上前后两个方向的相关性,最后利用softmax分类器实现对人体活动分类。DaLiAc公开数据集上的仿真实验结果表明,基于CNN-BiLSTM网络的人体活动识别方法对13种人体活动的识别准确率达到了97.7%,与仅具备时间特征学习的LSTM网络和BiLSTM网络相比,具有更好的识别分类效果。     

基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

基于数据增强技术与CNN-BiLSTM-Attention的油田注水流量预测及效果

准确识别地层注水情况是油田开发的重要前提，对制定合理的注水发展规划也具有重要的指导意义。为准确预测注水，提出一种结合卷积神经网络、双向长短期记忆网络与注意力机制的油田注水流量预测方法，该方法首先将卷积神经网络(convolutional neural network，CNN)和双向长短期记忆网络(bidirection long short-term memory，BiLSTM)进行联合，用于捕获注水流量的复杂非线性时空关系，然后采用注意力机制来关注输入的重要特征。并针对油田历史数据匮乏问题，提出使用数据增强技术来增加一维时间序列的数据量。采用国内某油田注水井真实历史注水数据进行实验，研究结果表明，本研究中提出的CNN-BiLSTM-Attention预测模型的平均绝对误差(Mmean absolute error，MAE)、均方根误差(root mean square errorRoot Mean Square Error, RMSE)、平均绝对百分比误差(mean absolute percentage errorMean Absolute Percentage Error，MAPE)和决定系数(Ccoefficient of Ddetermination，R2)MAE、RMSE、MAPE 和R2 分别为0.027、0.043、9.936和0.968，通过多种模型对比，表明该方法具有较高的预测精度，可以更准确地预测注水流量。此外，研究还证实，采用数据增强技术可以有效提高模型的预测精度。研究成果可为油田精细化注水提供调整方案与高质量数据，从而为油田智能化开发提供理论依据。     

基于DSCNN-BiLSTM的入侵检测方法

针对传统的入侵检测方法无法有效提取网络流量数据特征的问题,提出了一种基于DSCNN-BiLSTM的入侵检测方法,该方法引入了深度可分离卷积代替标准卷积从而减少了模型参数,降低了计算量,并应用双向长短期记忆网络(BiLSTM)提取长距离依赖信息的特征,充分考虑了前后特征之间的影响.首先,通过主成分分析法(PCA)对网络流量数据进行特征降维,并创新性地将一维网络流量数据转化为三维图像数据;然后,分别运用深度可分离卷积神经网络(DSCNN)和双向长短期记忆网络(BiLSTM)提取网络流量数据的空间特征和时间特征;最后,利用KDDCUP99数据集进行训练、验证和测试.实验结果表明,与其他传统的入侵检测方法相比,该方法具有更高的准确率和更低的漏报率.     

小曲率半径隧道盾构施工的地表沉降规律分析——以南昌地铁1号线为例

为探究小曲率半径隧道盾构施工引起地表沉降的变化规律，利用Mindlin解建立小曲率半径隧道盾构施工引起地表沉降的解析计算模型，以南昌地铁1号线盾构隧道工程为依托，通过与现场监测和已有Mindlin解析计算模型的对比分析，验证本文所建立沉降预测模型的合理性，并依次从盾构附加推力、盾壳不均匀摩擦力和地层损失对地面变形的影响进行分析。研究结果表明：本文所建立的小曲率半径隧道盾构施工引起的地表沉降解析计算模型可有效应用于实际隧道工程的沉降预测，提高了预测精度；盾构开挖过程中，横断面地表沉降槽呈“V”型，近似正态分布，施工产生的地层损失对地面沉降的影响更大；随着盾构路径两侧推力及摩擦力分布不均程度的增加,地面沉降槽中心偏移情况而增大，地面沉降与地层损失呈非线性相关。研究成果可为类似拟建和在建盾构隧道工程提供理论指导与参考。     

融合多通道信息的社交网络人格预测模型

构建了融合多通道信息的社交网络人格预测模型(MCIPP),在深度学习框架内用客观行为数据自动预测用户人格特质，并分析用户在线行为与其线下人格特质是否具有一致性。具体而言，利用双向长短期记忆网络(BiLSTM)和注意力机制(Attention)捕捉文本的上下文语义特征，通过图卷积网络((GCN)构造句法依存树，得到基于句法的结构表示，将Attention融入主题模型(Topic Model)从而提取深层语义信息，最后共同输入Softmax层得到用户微博的人格倾向。结果表明：MCIPP模型预测效果较好，准确率最高可达0.806 4.个体线上线下对应维度存在显著正相关，因此可采用该模型对用户网络数据进行心理建模，使理论驱动的心理科学研究能够客观解读个体心理和行为。     

一种混合深度神经网络的赖氨酸乙酰化位点预测方法

赖氨酸乙酰化(Lysine acetylation,Kace)普遍存在于人体代谢酶中,与多种代谢疾病密切相关,因此准确识别该位点对于代谢疾病治疗的研究具有重要意义.现有的Kace位点预测方法大多采用蛋白质序列层面的信息作为输入,蛋白质结构特性考虑不全面;特征提取时未关注氨基酸残基间顺序相关性,信息丢失严重,降低了预测准确度.提出一种新的Kace位点预测深度学习CL-Kace模型. CL-Kace引入蛋白质结构特性,并与蛋白质原始序列、氨基酸理化属性共同构建位点特征空间,采用卷积神经网络(Convolutional Neural Network,CNN)提取特征;引入双向长短期记忆(Bidirectional Long Short-Term Memory,BiLSTM)网络捕获残基间的顺序依赖关系,以提高网络的抽象能力,识别潜在的Kace位点.实验结果表明,CL-Kace模型优于现有的Kace位点预测器,能够有效地预测潜在的位点.     

集成局部和全局关键特征的文本情感分类方法

融合卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(Bi-directional long short-term memory,BiLSTM)的情感分析模型(CNN_BiLSTM)是一个流行的模型,其学习文本的局部特征和全局特征实现情感分类,但是忽略了特征对分类结果的重要程度,且没充分利用词语间的特征,导致分类准确率不高.提出一种集成基于多卷积核的卷积神经网络和注意力双向长短期记忆网络特征的文本情感分类方法(MCNN_Att-BiLSTM),其集成局部和全局的重要特征作为文本语义特征,该特征进而用于训练文本情感分类器XGBoost(eXtreme gradient Boosting).该方法基于注意力机制的BiLSTM提取对分类影响大的全局关键特征,基于多卷积核的CNN获得更全面的词语间特征,为集成分类器准备了有效分类的特征.实验结果表明,该模型具有更好的情感分类准确率,与CNN_BiLSTM模型相比,在IMDB数据集上准确率提升了1.75%,在txt-sentoken数据集上准确率提升了1.67%,在谭松波-酒店评论数据集上准确率提升了3.81%.     

融合TCN与BiLSTM+Attention模型的疫情期间文本情感分析

鉴于目前主流的文本情感分析方法存在难以解决长期依赖和对上下文信息使用不足的缺陷,本文首次提出将时序卷积网络(TCN)和BiLSTM+Attention模型融合的文本情感分析模型。该模型利用TCN的因果卷积和扩张卷积结构获取更高层次的文本序列特征,并通过双向长短期记忆网络(BiLSTM)进一步学习上下文相关信息的情感特征;最后,引入自注意力机制(Self-Attention)帮助模型优化特征向量,提高情感分类的准确度。在新型冠状病毒疫情期间的微博文本数据集上进行对比实验,结果表明该模型的性能相较于其它模型有明显的提升。     

盾构快速穿越法超浅覆土及负覆土隧道施工预测分析

盾构快速穿越(ultra-rapid under pass, URUP)法隧道施工技术是一种盾构机从地表直接始发掘进, 最后在设定目标地点直接掘进到地表的新型施工方法. 以南京机场城轨URUP法隧道示范工程为背景, 利用三维非线性有限元方法(finit element method, FEM), 对URUP 法隧道施工过程进行了数值模拟. 预测分析了隧道施工过程中超浅覆土和负覆土区间的地表变形规律、施工影响范围以及最终沉降值. 分析结果与实测数据比较吻合, 说明了数值模拟的有效性和预测分析的可信性.