融合长短期记忆网络和图卷积网络的轨道交通短时客流起讫点预测

轨道交通客流起讫点(origin-destination,OD)矩阵存在时间相关性和空间相关性。根据客流OD的时空特征,提出长短期记忆(long short-term memory,LSTM)网络和图卷积网络(graph convolutional networks,GCN)的短时组合预测方法。预测方法主要利用LSTM网络来获取客流的时间相关性,利用GCN来获取客流的空间相关性,基于出站口建立客流OD矩阵,对整个路网的客流OD进行训练预测。实验表明:融合LSTM神经网络和GCN神经网络的短时预测模型能有效预测轨道交通客流OD。相较于单独的LSTM神经网络,组合模型在预测误差方面有所改善,更适用于短时客流OD的预测。     

结合上下文词汇匹配和图卷积的材料数据命名实体识别

材料领域的文献中蕴含着丰富的知识, 利用机器学习和自然语言处理等手段对文献进行数据挖掘是研究热点. 命名实体识别(named entity recognition, NER)是高效利用挖掘和抽取数据中信息的首要步骤. 为了解决现有实体识别方法中存在的向量表示无法解决一词多义、模型常提取上下文特征而忽略全局特征等问题, 提出了一种基于上下文词汇匹配和图卷积命名实体识别方法. 该方法首先利用 XLNet 获取文本的上下文动态特征, 其次利用长短期记忆网络并结合文本上下文匹配词汇的图卷积神经网络(graph convolutional network, GCN)模型分别获取上下文特征与全局特征, 最终经过条件随机场输出标签序列. 2 种不同语料对模型进行验证的结果表明, 该方法在材料数据集上的精确率、召回率和 F1 值分别达到 90.05%、88.67% 和 89.36%, 可有效提升命名实体识别的准确率.     

融合多粒度特征和标签语义共现的多标签分类

为了从文本中可以更加准确地分析其蕴含的内容,给人们的生产生活提供建议,在基于深度学习的传统多标签分类方法的基础上,提出一种融合多粒度特征和标签语义共现的多标签分类模型。该模型利用双向长短时记忆网络双向长短时记忆网络(bidirectional long short-term memory network, Bi-LSTM)提取多粒度的文本特征,获得不同层次的文本特征;并通过计算pmi的方式构建标签关系图,利用图卷积网络(graph convolution network, GCN)深入提取标签的隐藏关系,获得具有标签信息的文本表示;最终融合多粒度文本特征,进行多标签文本分类。在AAPD和news数据集上进行实验。结果表明：所提出模型的Micro-F1值分别达到0.704和0.729,验证了模型的有效性。     

基于图Transformer网络的城市路网短时交通流预测模型

针对城市路网短时交通流预测问题,在考虑路网交通状态时空相关性基础上,提出一种基于图Transformer（graph transformer,Graformer）的预测方法。该方法将多条路段的交通状态预测问题转化为图节点状态预测问题,针对区分相同结构的空间路网结构图,本文将带有边的图同构网络（graph isomorphism network with edges,GINE）和Transformer网络相结合,对交通状态在路网层面的时空相关性进行建模,从而实现城市路网短时交通流预测。具体来说,Graformer模型首先利用长短期记忆网络（long short-term memory,LSTM）对交通数据的时序信息进行预处理,接着采用基于GINE与Transformer的全局注意力机制提取交通数据的空间特征,最后实现路网各路段交通流的同步预测。通过使用PeMS数据集进行实验验证,结果表明提出的Graformer模型在各项性能指标上均优于对比模型,证明了其作为一种可靠且高效的路网短时交通流预测方法的有效性。     

基于样本间潜在关系的多变量时间序列分类

多变量时间序列(multivariate time series, MTS)分类任务旨在确定多变量时间序列样本的标签。多变量时间序列数据存在时序关系和样本相似性关系等丰富的关系信息,然而现有的算法未能充分利用关系信息导致分类性能难以提升。基于此,文章提出一种基于图卷积网络(graph convolutional network, GCN)的多变量时间序列分类方法,通过挖掘样本间的潜在关系来提高分类性能。为了有效表示样本关系,设计基于样本相似度的构图规则,对样本数据进行建模从而将样本的时序特征和潜在关系信息映射到图空间中,提出基于图卷积的分类模型,通过聚合样本特征来捕获有利于分类的潜在样本关系,更新到样本自身特征向量以提升分类精度。在11个公共数据集上的大量实验结果表明,该文所提算法优于12种对比算法,可见通过挖掘时间序列数据之间潜在的关系用于分类对分类结果具有重要影响,从而为处理时间序列分类问题提供一种新的途径。     

基于AMCNN-LSTM的电力无线接入专网异常流量检测

为了减轻电力无线专网系统因网络业务增多而带来的网络攻击以及异常流量入侵的安全事故隐患,提出了一种基于注意力机制的卷积-长短期记忆网络(convolution-long short-term memory network based on attention mecha-nism,AMCNN-LSTM)模型.该模型为避免序列特征稀疏分布的问题,采用卷积神经网络(convolutional neural net-work,CNN)提取时间序列数据特征并转化为维度固定的稠密向量;为防止记忆丢失和梯度分散问题,使用融合注意力机制的CNN单元来捕捉重要的时间序列细粒度特征;将CNN提取局部特征与长短期记忆网络(long short-term memory network,LSTM)提取序列特征的优势相结合,对电力接入专网流量数据进行异常检测.通过在电力网真实数据集上实验表明,基于注意力机制的算法能够在150轮次迭代下达到89.14％的召回率及89.67％的综合F-meas-ure得分.所提出的模型能够及时、准确地检测电力网络异常流量,有效提高检测效率及准确度.     

基于近邻样本联合学习模型的疟疾识别算法

疟疾早期诊断可以有效防止疾病暴发.深度学习在细胞形态和组织图像检测等任务中具有出色能力.已有许多基于深度学习的疟疾研究,但它们主要用于环状体和红细胞二分类.本文首次研究疟疾多阶段识别,并提出近邻样本联合学习(neighbor sample joint learning,NSJL)模型.NSJL包括卷积神经网络(convolutional neural network,CNN)特征学习、领域相关性挖掘和图特征嵌入.它提取CNN特征,并将其与K近邻(K-nearset neighbor,K-NN)建立的邻域图传入图卷积网络(graph convolutional network,GCN).为评估NSJL,将其与先进方法比较,结果表明NSJL模型可达92.50%准确率,92.84%精确度,92.50%召回率和92.52%F1分数,至少高于其他方法7%的准确率表明其优秀疟疾识别能力.     

基于GCN-GRU组合模型的基坑周边管线沉降预测

为提高基坑变形预测结果的准确性，在传统的单点时间序列预测基础上，引入监测数据的空间特征对预测方法进行改进.基于图卷积神经网络(graph convolutional network, GCN)和门控循环单元(gate recurrent unit, GRU),构建一种能捕获数据时空关联性的变形预测模型GCN-GRU,并将其应用于上海某基坑周边管线沉降的变形预测.结果表明，相比于GRU时间序列预测模型，考虑了空间关联性的GCN-GRU模型在单步预测中的均方根误差(root mean square error, RMSE)和平均绝对百分比误差(mean absolute percentage error, MAPE)分别降低了27.3%和25.0%,多步预测中的RMSE和MAPE降低了37.2%和37.3%,预测结果准确性较高.该方法可为同类基坑工程周边管线沉降变形预测提供参考.     

基于组合神经网络的中文事件抽取

中文事件抽取通常使用循环神经网络(recurrent neural network, RNN)来进行事件和事件要素的抽取, 但 RNN 在处理长度较长的词语时容易丢失重要信息, 为此提出一种组合卷积神经网络(convolutional neural network, CNN)与双向长短期记忆(bidirectional long short-term memory, Bi-LSTM)网络的中文事件抽取模型 CNN-Bi-LSTM-CRF, 其中 CRF (conditional random field) 为条件随机场. 采用基于注意力机制和语义特征生成的字词联合向量, 使用 CNN 和 Bi-LSTM 模型对字词联合向量进行处理, 以获取其隐含表示, 最后通过 CRF 得出预测结果. 实验结果表明, 所提出的方法与其他现有的中文事件抽取方法相比, 准确率有明显提升.     

基于自适应神经网络的云资源预测模型

为了避免容器云资源因资源供求不均衡而导致的资源利用率差等问题,需要对未来时刻的资源需求情况进行预测来进行更精准的调度和分配资源,因此,结合神经网络的高效学习能力与自适应调整的学习率,提出一种基于自适应神经网络的云资源预测模型。首先,融合卷积神经网络(convolutional neural network, CNN)和长短期记忆(long short-term memory, LSTM)网络的特点去挖掘历史数据的特征,预测未来的资源需求;然后,根据模型预测情况自适应调整学习率,提高模型预测的精度。使用Microsoft Azure公开数据集进行测试,相较于单一模型CNN、LSTM和未加入自适应学习率的神经网络模型,均方根误差分别下降了17.74%、18.27%和6%,证明了模型的有效性。     

基于时空图卷积网络的输电线路覆冰预测

针对已有的输电线路覆冰预测模型鲜有考虑覆冰过程中的空间特征信息,从而导致预测精度欠佳的问题,本文从时空序列预测的角度建立输电线路覆冰方面的预测体系,采用图卷积网络(Graph Convolutional Network, GCN)构建输电线路覆冰预测模型,基于图神经网络设计对输电线路覆冰拉力的图数据进行深度特征学习与图特征向量表示,以更好地提取电网塔杆覆冰拉力值的时空分布特征,从而准确预测未来的拉力值。基于南方电网的真实实验数据,设计一套可靠的数据预处理流程,将电网覆冰拉力数据转化为可以深度学习的时空序列大数据进行训练和验证。实验结果表明,本文提出的模型较已有的主流覆冰预测模型具有更加优异和稳定的预测结果,能够为输电线路及时除冰工作提供决策参考。     

超短期风电功率预测的混合深度学习模型

针对风电功率预测(WPF)问题,提出一种基于离散小波变换(DWT)、时间卷积网络(TCN)和长短期记忆(LSTM)神经网络的混合深度学习模型(DWT-TCN-LSTM),对超短期风电功率进行预测.将DWT-TCN-LSTM模型分别与差分整合移动平均自回归(ARIMA)模型,支持向量回归(SVR)模型,长短期记忆神经网络模型和卷积长短期记忆(TCN-LSTM)混合模型进行对比实验,通过对称平均绝对百分比误差(SMAPE),均方根误差(RMSE)和平均绝对误差(MAE)3种评价指标值对各个模型进行评价.实验结果表明:DWT-TCN-LSTM模型具有较好的预测性能.     

基于双通道模型的航空发动机剩余寿命预测

针对现阶段航空发动机单一剩余使用寿命预测模型数据挖掘深度不足导致预测精度低的问题,提出一种双通道模型的预测方法。首先,构建双通道网络结构：通道一使用时间卷积网络,通过残差结构和空洞卷积使得网络具有更大的感受野和计算速度;通道二使用卷积长短时间记忆网络,提取多维时空特征,捕捉数据长期依赖关系。其次,利用多头注意力机制为双通道网络特征重新赋予权重。最后,将双通道网络进行特征融合输出,实现对航空发动机剩余寿命预测。使用涡扇发动机退化数据集进行实验验证,并与其它文献中提到的卷积双向长短时间记忆网络模型、多特征注意力模型、多头注意力模型、卷积门控单元循环神经网络模型进行对比。结果表明,所提模型在3种评价指标上均取得更好的表现,为航空发动机剩余寿命预测提供了一种新思路。     

基于TCN-LSTM神经网络的线缆性能衰退预测方法

针对复杂机电产品线缆在长时间使用后会出现性能衰退现象,而导致运作出现的安全问题可以对线缆衰退进行预警预知以预防突发事故,提出了基于时序卷积网络结合长短期记忆网络的复杂机电产品线缆性能衰退预测方法。首先通过对线缆的衰退原因进行分析,依据分析结果选取参数指标来确定数据集,将其中反映线缆性能状态的数据在时序卷积网络下进行时序特征的提取。最后将这些特征数据与经过皮尔逊相关系数分析确定的相关性、影响系数足够高的非时序数据一同通过长短期记忆网络进行训练预测,得到预测结果。通过案例分析以及不同神经网络之间预测的结果对比,验证了构建的方法的预测效果同实际情况贴合程度高。     

基于图卷积的计算机辅助设计模型分类

计算机辅助设计(CAD)模型是一种带有顶点信息和网格信息的三维数据,三维模型数据存储方式常见的有点云、体素、网格模型等是典型的非欧氏空间数据。为了改进现有方法利用深度学习训练CAD模型的分类时,常有丢失局部信息或局部信息提取不足的情况。针对这种非欧氏空间的CAD数据,提出了一个结合CAD数据本身特点的基于图卷积的分类模型。首先通过图卷积网络(GCN)计算顶点的邻接矩阵和顶点的度矩阵。针对CAD模型的特点提出了不同于K近邻(KNN)的方法,直接根据CAD模型面片信息构建计算所需的邻接矩阵。其次,图卷积网络可以聚合邻近顶点的信息,设计通过拼接两层图卷积网络来提取不同尺度的局部特征。结果表明:在ModelNet40 CAD模型数据集上,若采用CAD模型面片信息建图的方法,本文方法为91.2%。而采用KNN建图的方法虽然比PointNet++模型低1%的精确度,比KD-NET模型低0.9%的精确度,但参数量要比PointNet++减少0.54 MB,比KD-NET减少6.54 MB。可见本文模型结合了CAD模型的特点和图卷积聚合邻接顶点提取局部信息的优势,使得分类的精确度相比PointNet++提高0.6%,用更少的模型参数量得到了更高的分类精确度。     

利用SVM-LSTM-DBN的短期光伏发电预测方法

为解决传统预测算法的不足,利用深度信念网络(DBN)耦合支持向量机(SVM)和长短期记忆神经网络(LSTM),提出一种新的光伏功率组合预测方法.分别构建以高斯径向基函数为核函数的支持向量机预测模型、4层长短期记忆神经网络为单项预测模型,通过深度信念网络组合,优化预测结果并输出.根据实际出力和预测结果的误差,利用DBN动态调整以获得最优值,进一步验证SVM-LSTM-DBN模型的有效性和准确性,并以新疆维吾尔自治区某光伏电站的实测数据进行仿真验证.结果表明:基于SVM-LSTM-DBN组合的光伏出力预测模型与单一模型相比,预测精度明显提高.