卷积神经网络在锚杆锚固类型识别中的应用

为了解决手工特征提取方法依赖广泛的专业知识和先验知识,难以挖掘新特征而影响识别结果的问题,将一维卷积神经网络应用于锚杆锚固系统类型识别,以实现端到端的分类过程;为了避免随机初始化卷积核会造成网络在训练时收敛速度慢、易陷入局部最优等问题,利用稀疏自编码器对网络的卷积核进行预训练,并利用实验锚杆锚固数据对稀疏自编码器一维卷积神经网络模型、传统一维卷积神经网络模型和反向传播神经网络模型进行测试。结果表明:一维卷积神经网络可应用于锚杆锚固系统类型识别,实现端到端的分类过程;在锚杆锚固系统类型识别中,稀疏自编码器一维卷积神经网络模型的准确率高于传统一维卷积神经网络模型和反向传播神经网络模型的准确率,识别率可达98.57%。     

基于光流约束自编码器的动作识别

为了改进特征学习在提取目标运动方向及运动幅度等方面的能力,提高动作识别精度,提出一种基于光流约束自编码器的动作特征学习算法.该算法是一种基于单层正则化自编码器的无监督特征学习算法,使用神经网络重构视频像素并将对应的运动光流作为正则化项.该神经网络在学习动作外观信息的同时能够编码物体的运动信息,生成联合编码动作特征.在多个标准动作数据集上的实验结果表明,光流约束自编码器能有效提取目标的运动部分,增加动作特征的判别能力,在相同的动作识别框架下该算法超越了经典的单层动作特征学习算法.     

一种轻量级文本蕴含模型

现有主流文本蕴含模型大多采用循环神经网络编码,并采用各种注意力推理机制或辅以手工提取的特征来提升蕴含关系识别准确率,由于复杂的网络结构和RNNs网络串行机制导致这些模型训练和推理速度较慢.本文提出轻量级文本蕴含模型,采用自注意力编码器编码文本向量,点积注意力交互两段文本,再采用卷积神经网络对交互特征推理,整个结构可根据不同数据的推理难度叠加不同模块数量.在多个文本蕴含数据集实验表明,本文模型在保持较高识别准确率情况下仅用一个块参数仅为665K,模型推理速度相比其他主流文本蕴含模型至少提升一倍.     

一种基于深度融合模型的滚动轴承故障诊断方法

针对噪声环境下滚动轴承故障难以诊断的问题,提出一种基于深度学习融合网络的轴承故障识别新方法。该方法首先对轴承振动信号进行一定程度的随机损坏,并将加噪后的数据输入卷积降噪自编码器(convolutional denoising autoencoder,CDAE)中对网络进行训练,目的是降低信号中的噪声干扰并提取浅层特征;然后,利用深度信念网络(deep belief network,DBN)学习深层特征并建立轴承状态识别模型,输出故障识别结果。在融合模型中,将卷积降噪自编码器作为网络的第一层以增强网络的抗干扰能力,提高故障的识别精度。使用凯斯西储大学(CWRU)滚动轴承数据对所提模型进行验证,结果表明提出的融合模型在噪声环境下能够较好地实现轴承的故障状态识别。     

一种基于深度融合模型的滚动轴承故障诊断方法

针对噪声环境下滚动轴承故障难以诊断的问题,提出一种基于深度学习融合网络的轴承故障识别新方法。该方法首先对轴承振动信号进行一定程度的随机损坏,并将加噪后的数据输入卷积降噪自编码器(convolutional denoising autoencoder,CDAE)中对网络进行训练,目的是降低信号中的噪声干扰并提取浅层特征;然后,利用深度信念网络(deep belief network,DBN)学习深层特征并建立轴承状态识别模型,输出故障识别结果。在融合模型中,将卷积降噪自编码器作为网络的第一层以增强网络的抗干扰能力,提高故障的识别精度。使用凯斯西储大学(CWRU)滚动轴承数据对所提模型进行验证,结果表明提出的融合模型在噪声环境下能够较好地实现轴承的故障状态识别。     

语音识别中的DenseNet模型研究

为了解决语音识别中由网络加深导致的低层特征消失、参数量大及网络训练困难的问题,基于Inception V3网络的非对称卷积思想,提出了一种改进的密集连接卷积神经网络(densely connected convolutional neural networks, DenseNet)模型。根据语音识别的长时相关性,通过密集连接块建立起不同层之间的连接关系,从而保存低层特征、加强特征传播;为了得到尺度更丰富的声学特征,将卷积核的范围进行扩大;利用非对称卷积思想分解卷积核,以减少参数量。实验结果表明,相较经典深度残差卷积神经网络模型和原始DenseNet模型,提出的模型在THCHS30数据集上的语音识别性能更好,在保证识别率的情况下,还减少了网络参数量,提高了模型训练效率。     

基于CNN-GRU的入侵检测算法研究

入侵检测是网络安全的一个重要组成部分。针对常用基于长短期记忆网络的入侵检测算法的收敛速度慢的问题,考虑到网络流量数据同时存在时间和空间的特征,提出了一种基于卷积神经网络和门控循环单元的入侵检测方法。使用卷积神经网络将流量数据的空间特征提取出来,以多个相同参数的小卷积核来替代大卷积核,使得网络结构加深。将提取出的特征输入到门控循环单元中,学习流量数据的时序特征后进行分类。数据集采用KDD99,实验表明,该模型能够对网络流量进行有效的识别。     

基于两层迁移卷积神经网络的抽象图像情感识别

为弥合抽象图像底层视觉特征与高层情感语义间的鸿沟,同时缓解抽象图像情感识别所固有的小样本缺陷,将两层迁移学习策略引入传统的卷积神经网络,提出一种基于两层迁移卷积神经网络的抽象图像情感识别模型.该模型利用深度特征的层次性,首先通过大规模通用图像数据集来学习提取普适的底层图像特征;然后利用抽象图像风格分类数据集来学习提取抽象图像的专有高层语义特征;最后采用抽象图像情感识别数据集来微调整个网络.MART数据集上的实验结果表明,与传统的抽象图像情感识别方法相比,所提出的模型能够有效地提高识别精度.     

基于改进的卷积神经网络的工件识别技术

针对传统的工件识别流程是由人工根据工件的特点设计需要提取的特征,整个过程具有耗时高、成本大、通用性较差和识别准确率不高等问题,改进了经典的卷积神经网络模型AlexNet和LeNet-5,通过将AlexNet网络的输入图像尺寸缩小到120×120,用BN层代替LRN层,减少两层卷积和全连接层,用3×3的卷积核代替第一层卷积层11×11的卷积核;将LeNet-5的输入图像尺寸提升至60×60,用ReLU取代原始Sigmoid激活函数,使用多个小卷积核代替大卷积核;分别使用改进前后的网络模型对工件数据集进行训练、测试.结果表明,改进后的两种网络模型,在测试集上分别达到94.31%和92.75%的平均识别准确率,平均识别时间分别为0.271s和0.321 s,满足生产需求.     

基于小波分解-卷积神经网络和支持向量回归的短期负荷预测

为了提高短期负荷预测精度,考虑到除历史负荷数据之外的其他因素对短期负荷预测的重要影响,提出了一种基于离散小波分解(wavelet decomposition, WD)、卷积神经网络(convolutional neural network, CNN)和支持向量回归(support vector regression, SVR)的负荷预测模型。首先,该方法通过小波分解算法对历史负荷数据进行分析与重构,得到长度相同的历史负荷数据,降低了原始序列中非平稳性对预测精度的影响;其次,对天气因素、日期类型进行特征构造,得到特征数据;最后,将处理后的负荷数据输入卷积神经网络支持向量回归机模型,将天气特征数据输入反向传播(back propagation, BP)神经网络支持向量回归模型,通过两个模型结果的叠加得到最终的预测值。实验结果表明,模型的预测精度和效率优于传统的CNN网络、SVR网络以及输入不进行划分的CNN-SVR模型,验证了其可行性。     

基于稀疏自编码神经网络的抽油机井故障诊断

针对传统示功图识别方法对抽油机井进行故障诊断存在人工选取示功图几何特征,识别准确度低等问题,提出一种基于稀疏自编码神经网络的示功图智能识别模型。采用无监督学习方式的稀疏自编码器构建特征学习网络自动提取无标签示功图训练集图像特征,然后采用有标签示功图训练集对softmax分类器进行有监督训练,最后通过稀疏自编码神经网络对学习到的有标签示功图测试集特征进行分类并给出故障诊断结果。结果表明,将稀疏自编码神经网络应用于示功图识别,测试准确度能够达到99.44%,优于其它分类模型。稀疏自编码神经网络直接从像素层面提取所需要的特征,不需要人为选定设计特征,为提高示功图识别准确度提供了帮助,进而解决了抽油机井故障难以准确诊断的难题。     

基于特征稀疏化的粉尘图像深度预测

【目的】针对粉尘环境中单幅图像深度预测精度低的问题，提出了一种基于输入特征稀疏化的粉尘图像深度预测网络。【方法】使用粉尘图像的直接传输率与深度的关系设计预估计深度网络，利用图像颜色衰减先验原理进一步获取粉尘图像的稀疏深度特征。将该稀疏深度特征与粉尘图像一起作为深度预测网络的输入。深度预测网络以“编码器-解码器”为模型框架，编码器中使用残差网络(ResNet)对粉尘图像进行编码，设计融合通道注意力机制的稀疏卷积网络对稀疏深度特征进行编码。解码器中采用反卷积以及多尺度上采样的方法，以更好的重建稠密的深度信息。使用最小绝对值损失和结构相似性损失作为边缘保持损失函数。【结论】在NYU-Depth-v2数据集上的实验结果表明该方法能够从粉尘图像中有效预测深度信息，平均相对误差降低到0.054,均方根误差降低到0.610,在δ<1.25时准确率达到0.967.     

基于改进Inception网络及LightGBM的弓网电弧识别方法

针对弓网电弧识别方法对数据识别的单一性问题,提出一种基于改进多尺度卷积网络（GInception）结合LightGBM的弓网电弧识别方法。运用完整集合经验模态分解（CEEMDAN)和小波软阈值相结合的方法对原始信号进行降噪重构,将重构信号进行广播机制（Broadcasting）处理,变成多维信号后输入到GInception网络中进行特征提取,再将GInception网络提取的特征导入到轻量级梯度提升机中进行识别。研究结果表明：该识别方法在5组工况下弓网电弧识别的准确率达到96.3%。研究结论可为电车弓网电弧识别提供参考。     

融合词汇特征的生成式摘要模型

生成过程中利用词汇特征(包含n-gram和词性信息)识别更多重点词汇内容,进一步提高摘要生成质量,提出了一种基于sequence-to-sequence(Seq2Seq)结构和attention机制的、融合了词汇特征的生成式摘要算法。算法的输入层将词性向量与词向量合并后作为编码器层的输入,编码器层由双向LSTM组成,上下文向量由编码器的输出和卷积神经网络提取的词汇特征向量构成。模型中的卷积神经网络层控制词汇信息,双向LSTM控制句子信息,解码器层使用单向LSTM为上下文向量解码并生成摘要。实验结果显示,在公开数据集和自采数据集上,融合词汇特征的摘要生成模型性能优于对比模型,在公开数据集上的ROUGE-1,ROUGE-2,ROUGE-L分数分别提升了0.024,0.033,0.030。因此,摘要的生成不仅与文章的语义、主题等特征相关,也与词汇特征相关,所提出的模型在融合关键信息的生成式摘要研究中具有一定的参考价值。     

基于改进的卷积神经网络的钢号识别

为获取样本的多样性特征,提出了一种改进的卷积神经网络结构。该网络中引入多层递归神经网络,利用卷积神经网络提取输入图像的浅层特征,同时利用卷积神经网络和递归神经网络并行提取高层特征,最后将两种网络学习到的特征进行融合输入到分类器中分类。利用迁移学习理论解决小样本集数据训练不足的问题,并将这种卷积神经网络结构应用于石油物资管线钢号识别中。实验探究了递归神经网络个数与卷积核个数对网络性能的影响,实验结果表明,改进的网络结构与其它网络进行对比,错误率降低了 3% 。     

一种MCSEM数据噪声压制方法

针对海洋可控源电磁(MCSEM)信号在勘探中极易受各种噪声干扰,影响后期反演以及数据处理准确性的问题,提出一种注意力机制引导的卷积自编码器海洋可控源电磁数据消噪方法.首先基于自编码器,构建基于卷积自编码器的海洋可控源电磁数据消噪网络,然后根据数据中存在噪声的特点对其进行优化,加深网络深度、引入注意力机制,使网络能更关注数据中的有效信号特征,增强特征提取能力,构建网络模型,实现对海洋可控源电磁数据噪声的压制.实验结果表明,在对海洋可控源电磁数据噪声压制中,该方法比db8小波消噪方法和变分模态分解消噪方法信噪比更高、均方误差更低,同时应用到实测数据中仍能较完整地保留信号特征并增加偏移距的可解释范围,证明了该方法在海洋可控源电磁数据噪声压制中的有效性.     

用于稳态视觉诱发电位目标识别的多尺度特征融合卷积神经网络方法

针对传统稳态视觉诱发电位(SSVEP)脑电信号目标识别方法分类精度低、提取特征不充分、方法复杂且耗时等问题,提出一种基于多尺度特征融合卷积神经网络的SSVEP信号分类识别方法(SSVEP-MF)。利用小波变换将多通道SSVEP信号整合转化为二维图像作为输入样本集;建立多尺度特征融合卷积神经网络模型(MFCNN),该模型利用三层二维卷积核实现图像样本不同尺度特征的充分提取,构建多尺度特征融合单元对不同层级特征进行融合,并通过全连接等操作完成模型的训练;将样本集输入到MFCNN模型中实现脑电信号特征自适应提取及端到端分类。所提SSVEP-MF方法能够充分提取信号各层级特征,实现短时间视觉刺激下SSVEP信号的有效识别,并具有较高的目标识别效率。实验结果表明,在1 s刺激时长时,相比传统功率谱密度分析方法、典型相关分析方法以及普通卷积结构方法,所提方法的识别准确率分别提升了18.57%、20.08%及7.03%,有效提高了基于稳态视觉诱发电位范式下脑机接口的信号识别性能。     

基于改进的多通道卷积神经网络模型的图像分类方法

为了充分提取图像特征信息,同时减轻模型过拟合,提出了一种改进的多通道卷积神经网络模型。首先,利用三条卷积通道提取图像特征信息,各通道选择不同的卷积核大小,并利用小卷积核堆叠代替大卷积核的方法减少模型参数,再采用特征融合与批标准化技术对特征信息进行处理,最后输入到softmax分类器进行分类。将改进模型、单通道模型、多通道模型、传统图像分类模型用于对CIFAR-10数据集进行分类。实验结果表明,改进模型可以有效提取图像特征信息,减轻过拟合,进而提升模型的分类精度。     

基于卷积自编码器的高光谱图像有损压缩方法研究

高光谱图像包含丰富的信息，但其数据量巨大，限制了其在实际应用中的使用。提出一种基于卷积自编码器的高光谱图像有损压缩算法，首先通过卷积层和最大池化层的有效组合来降低图像维度；然后在池化层和展平层之间嵌入通道分组双重注意力模块，以帮助卷积自编码器更好地捕捉输入数据的关键特征，准确地提取特征进行加权处理；最后，使用熵编码技术对量化后的特征映射进行编码，使用转置卷积层来重建图像。在多个数据集上进行实验，采用峰值信噪比（PSNR）和结构相似性指标（SSIM）评估。实验结果表明，在相同压缩比下，与传统的压缩方法相比，此方法 PSNR和SSIM均有较大提升，所提方法能够提供更好的高光谱图像压缩性能。     

多尺度时空信息融合驱动的图神经网络故障诊断方法

行星齿轮箱作为机械系统中常见的减速装置,由于长期在强噪声环境和变工况工作条件下运行,导致采集到的振动信号故障特征微弱、信号模式多变难以识别,针对行星齿轮箱故障诊断效果不佳,泛化能力差的问题,提出一种多尺度时空信息融合驱动的图神经网络故障诊断方法来提高故障诊断模型准确率和泛化能力。该方法首先构建多尺度卷积核对原始时序信号进行不同尺度特征提取,削弱强噪声信号对有效信息的掩盖作用并增强故障特征的表达能力;然后再构造通道注意力机制,根据通道特征重要程度,给不同尺度卷积核提取的特征自适应分配不同权重,对含有关键故障特征的信息片段进行特征强化;最后对卷积输出的多尺度特征,构造空域下的图数据并通过图卷积网络聚合多尺度特征,从而有效利用数据的时序多维信息和空域结构关联信息,实现多尺度下时空域故障信息的深度融合,提高诊断的准确精度和模型的泛化性能。通过利用具有行星齿轮箱结构的风电装备故障数据集对所提方法进行验证,并与其他深度学习方法（第一层宽卷积核深度卷积神经网（WDCNN）、长短时记忆网络（LSTM）、残差网络（ResNet）、多尺度卷积神经网络（MSCNN））进行比较,结果表明：本研究提出的方法在跨...