基于WDCNN-DLSTM的滚动轴承故障诊断方法

滚动轴承是机械设备中的核心部件,其运行状态对设备的运转有重要影响。深度学习作为滚动轴承故障诊断的重要方法越来越受到重视。由于传统的故障诊断方法没有充分利用数据时序性,提出了一种将第一层为宽卷积核的深度卷积神经网络(deep convolutional neural networks with wide first-layer kernels, WDCNN)和深度长短时记忆网络(deep long short-term memory networks, DLSTM)相融合的模型(WDCNN-DLSTM)。WDCNN将传统的CNN第一层卷积核尺寸加宽,提高了模型对一维振动信号中的空间特征信息的提取能力;DLSTM将多个LSTM模块进行堆叠,提高了模型对一维振动信号中时序信息的提取能力。WDCNN-DLSTM将二者通过连接层融合,优势互补,提高了模型的判别能力。通过实验结果表明,相较于一些其他模型,所提出的方法具有更高的精确度。在变负载的情况下,也仍然实现了更好的分类效果。     

基于深度典型相关性分析的跨媒体语义检索

基于典型相关性分析的跨媒体检索是一种将不同媒体特征通过相关性分析映射到同构的最大相关子空间,并在子空间中完成跨媒体数据间的相似性比较和检索的方法.典型相关性分析(canonical correlation analysis,CCA)是一种线性模型,并不能很好地挖掘跨媒体数据中的复杂相关关系.为此针对深度典型相关性分析(deep CCA,DCCA)的结构进行改进,使用隐含狄利克雷分布(latent Dirichlet allocation,LDA)发现文本语义信息并学习语义映射,提出了跨媒体深度相关性学习模型(cross-media correlation learning with deep canonical correlation analysis,CMC-DCCA)以及跨媒体语义相关性检索方法(cross-media semantic correlation retrieval,CMSCR).在维基百科文本图像数据集上的实验证明,CMC-DCCA模型能够较好地挖掘跨媒体数据中的复杂相关关系,CMSCR在跨媒体检索中具有较好的性能.     

基于Mel频谱和LSTM-DCNN的矿山微震信号混合识别模型

微震监测是保证矿山安全生产的有效手段，微震信号识别精度直接影响着微震事件的判定及分析结果.鉴于此，以夏甸金矿微震监测数据作为样本，建立了基于Mel频谱和长短时记忆(long short-term memory, LSTM)神经网络与深度卷积神经网络(deep convolutional neural networks, DCNN)混合的矿山微震信号识别模型.首先对监测信号进行预处理，利用Mel时频谱降低干扰频段的权重并减小样本尺寸.然后利用LSTM和DCNN模型分别提取信号的时间特征及空间特征.通过多种模型的对比分析，结果表明本文提出的Mel-LSTM-DCNN混合模型对微震信号识别准确率最高.该模型为矿山准确识别微震信号提供参考.     

基于DBNMI模型的海洋遥感影像自动标注方法

研究大规模海洋遥感影像管理的关键是缩小影像低层视觉特征与高层语义之间的鸿沟.针对海洋遥感影像中不同区域对语义相似性度量的贡献程度不同,提出一种基于深度信念网络多示例(deep belief networks multi-instance,DBNMI)的遥感影像语义自动标注模型.模型对初始输入遥感影像进行自适应分割,粗粒度划分海洋遥感影像背景区域和对象区域;对影像对象区域的低层视觉特征和高层语义概念间关系,利用深度信念网络模型进行自动建模;定量计算标注词间共现和对立的语义关系,改善图像标注结果.在公开遥感影像数据集上进行验证,实验表明所提出方法在标注精度上取得了较好效果.     

基于GRU-DRSN的双通道人体活动识别

人体活动识别(human activity recognizition, HAR)在医疗、军工、智能家居等领域有很大的应用空间。传统机器学习方法特征提取难度较大且精度不高。针对上述问题并结合传感器时序特性,提出了一种融合CBAM(convolutional block attention module)注意力机制的GRU-DRSN双通道并行模型,有效避免了传统串行模型因网络深度加深引起梯度爆炸和消失问题。同时并行结构使得两条支路具有相同的优先级,使用深度残差收缩网络(deep residual shrinkage network, DRSN)提取数据的深层空间特征,同时使用门控循环结构(gated recurrent unit, GRU)学习活动样本在时间序列上的特征,同时进行提取样本不同维度的特征,并通过CBAM模块进行特征的权重分配,最后通过Softmax层进行识别,实现了端对端的人体活动识别。使用公开数据集(wireless sensor data mining, WISDM)进行验证,模型平均精度达到了97.6%,与传统机器学习模型和前人所提神经网络模型相比,有更好的识别效果。     

基于DCGAN和改进YOLOv5s的桥梁表面缺陷检测识别

针对人工检测桥梁表面缺陷存在精度低、速度慢和漏检率高等问题,该文提出了基于深度卷积生成式对抗网络(deep convolutional generative adversarial networks,DCGAN)和改进YOLOv5s的桥梁表面缺陷检测识别模型.首先,通过DCGAN网络对自主采集的桥梁表面缺陷图像进行数据增强,建立每类缺陷样本数量较为均衡的数据集; 其次,在YOLOv5s模型基础上嵌入CBAM注意力机制模块,使模型将注意力集中于缺陷区域,从而提升图像分类的准确率; 最后,为验证所提方法的适用性,将包含4类桥梁表面缺陷的数据集进行训练与测试.实验结果表明:该文提出的模型在桥梁表面缺陷检测上的准确率为92%,相比其他深度学习模型具有更高的检测精度和鲁棒性.     

基于深度学习的红外图像超分辨率重建

为提升红外图像分辨率,本文构建了用于红外图像超分辨率重建的IEDSR(enhanced deep residual networks for infrared image super-resolution)网络。该网络在EDSR网络模型的基础上加入了池化层,避免了EDSR(enhanced deep residual networks for single image super-sesolution)网络移除批正则化层(batch normalization, BN)可能会带来训练困难的问题。同时考虑到红外图像对比度低、纹理不明显的特性,在残差块内加入新的卷积层和激活层,通过增加网络深度扩大局部残差模块的感受野,有利于恢复图像的局部细节信息。最后利用增强预测算法对重建图像进行优化,提升重建精度。实验结果表明:本文算法重建的红外图像在主观视觉效果与客观指标上较传统红外图像重建方法均有所改善,具有较高的实用价值。     

多价值链视角下基于深度学习算法的制造企业产品需求预测

多价值链协同发展背景下,制造企业没有充分考虑服务链、营销链等其他价值链对产品需求的影响。为提高制造企业产品需求预测的精度,本文提出了产品数据空间和一维卷积神经网络(One-dimensional convolutional neural networks, 1D-CNN)-长短期记忆神经网络(Long short-term memory, LSTM)的深度学习算法。首先,整合不同价值链对产品需求影响的相关数据构建产品数据空间。其次,从数据空间中获取多链数据集用于1D-CNN-LSTM模型的预测。其中,1D-CNN通过两次卷积池化操作获取数据的深层次特征,LSTM则通过进一步学习数据特征中的重要信息来进行时间序列预测。最后,通过某电气设备制造企业生产销售的环网柜产品的相关数据进行算例分析,并与其他几种模型进行预测结果比较。结果表明：1D-CNN-LSTM模型的预测效果优于神经网络模型和单一的LSTM模型。可见本文提出的1D-CNN-LSTM深度学习模型更具优越性,预测效果好。     

卷积神经网络的研究进展综述

深度学习(deep learning,DL)强大的建模和表征能力很好地解决了特征表达能力不足和维数灾难等模式识别方向的关键问题,受到各国学者的广泛关注.而仿生物视觉系统的卷积神经网络(convolutional neural network,CNN)是DL中最先成功的案例,其局部感受野、权值共享和降采样三个特点使之成为智能机器视觉领域的研究热点.对此,本文综述CNN最新研究成果,介绍其发展历程、最新理论模型及其在语音、图像和视频中的应用,并对CNN未来的发展潜力和发展方向进行了展望和总结.     

基于双向长短时记忆模型的中文分词方法

中文分词是中文自然语言处理中的关键基础技术之一.目前,传统分词算法依赖于特征工程,而验证特征的有效性需要大量的工作.基于神经网络的深度学习算法的兴起使得模型自动学习特征成为可能.文中基于深度学习中的双向长短时记忆(BLSTM)神经网络模型对中文分词进行了研究.首先从大规模语料中学习中文字的语义向量,再将字向量应用于BLSTM模型实现分词,并在简体中文数据集(PKU、MSRA、CTB)和繁体中文数据集(HKCity U)等数据集上进行了实验.实验表明,在不依赖特征工程的情况下,基于BLSTM的中文分词方法仍可取得很好的效果.     

一种用于肺结节恶性度分类的生成对抗网络

针对肺结节数据集中良恶性样本数比例失衡的问题,首次引入深度卷积生成对抗网络(deep convolutional generative adversarial networks,DCGAN)模型,该模型根据输入的肺结节图像,生成与输入图像具有相似纹理特征的肺结节并将生成图像用于训练DCGAN模型.此外,将图像来源分类问题改为图像来源分类和肺结节等级1~5分类问题,从而增强了DCGAN模型的抗噪能力和实现了DCGAN模型对肺结节的等级分类.实验表明,改进的DCGAN中G模型在生成图像时具有良好的抗噪能力且生成图像中大约有90.42%的图像判别为真实图像,D模型对肺结节图像的等级分类具有较好的判别能力且肺结节等级分类准确率为70.89%,肺结节良恶性分类准确率为80.13%.     

基于门限卷积神经网络和词嵌入的中文分词法

目前,许多研究者将神经网络模型应用到中文分词任务中,其表现虽然优于传统的机器学习分词法,但未能充分发挥神经网络自动学习特征的优势,且未使用词向量信息.针对该问题,提出基于门限卷积神经网络(gated convolutional neural networks,GCNNs)的中文分词法,并利用词嵌入方法将词向量融入模型中,使该模型在不需要大量特征工程的情况下可以自动学习二元特征.通过在简体中文数据集(PKU、MSRA和CTB6)上进行实验,结果表明,与以往的神经网络模型相比,在不依赖特征工程的情况下,该模型仍能取得较好的分词效果.     

基于时序预测与异常检测的烟草违法销售预警

为提升烟草市场监管水平，通过某烟草专卖局的协作调研和历史销售数据，构建基于深度自回归网络(Deep auto regression network, DARN)和季节性自回归差分移动平均模型(Seasonal auto regression integrated moving average, SARIMA)的混合预测模型。然后以预测销量为基础进行异常检测，设计了烟草商户违法销售预警模型。实验表明混合预测模型较单个模型预测误差均有改善。预警模型在测试集上达到50%查实率，满足市场监管预警基本要求。     

深度学习在图像识别中的应用

深度学习通过建立深层神经网络来模拟人脑进行分析、学习和解释数据,被广泛用于图像识别领域.首先,简述了深度学习在图像识别中的研究现状;其次,介绍了卷积神经网络、深度置信网络、循环神经网络和生成对抗网络等几种常用于图像识别领域的深度学习网络模型;然后,从人脸识别、动作识别、跌倒检测等方面,论述了深度学习在图像识别领域的典型应用;最后,探讨了该领域的研究难点及发展前景.深度学习可以从不同的图像中自动提取相似的特征并进行分类,识别率高,鲁棒性强,推动了人工智能背景下图像识别的发展.无监督学习、对抗网络等将成为深度学习领域的热点.     

深度学习结构和算法比较分析

Hinton等人提出的深度机器学习,掀起了神经网络研究的又一个浪潮.介绍了深度机器学习的基本概念和基本思想.对于目前比较成熟的深度机器学习结构深度置信网DBNs和约束Boltzmann机(RBM)的结构和无监督贪婪学习算法作了比较详细的介绍和比较,并对算法的改进方向提出了有建设性的意见,对深度机器学习的未来发展方向和目前存在的问题进行了深刻的分析.     

基于并联式卷积神经网络的遥感影像超分辨率重建

遥感影像超分辨率重建有助于丰富地物细节,从而更全面地反映地物目标信息。为了解决目前基于深度学习的超分辨率重建方法难以同时兼顾影像高、低频信息的问题,本文提出了一种并联式遥感影像超分辨率重建方法。该方法并联了密集深层反投影网络和浅层多尺度网络,利用密集深层反投影网络精确预测遥感影像的高频内容;同时利用浅层多尺度网络来增加目标可分辨能力,并保留影像的低频部分来提升影像的质量。这个方法在在GF-1和GF-2数据集上进行了实验,并在Landsat 8和ASTER异源遥感影像数据集上进行了泛化验证,研究结果表明,相较于增强深度残差网络（enhanced deep residual networks for single image super-resolution,EDSR）、深层和浅层端到端卷积网络（end-to-end image super resolution via deep and shallow convolutional network,EEDS）和密集深层反投影网络（deep back-projection networks for super-resolution,DBPN）,峰值信噪比（peak signal to noise ratio,PSNR）指标分别提升了2.30 dB、2.23 dB、0.25 dB,结构相似度（structural similarity,SSIM）性能指标分别提升了 0.1 316、0.1 085、0.0 096。本文方法有助于从数据端改善遥感影像目标识别、地物分类等应用的精度,进一步提高遥感数据在资源调查、环境监测、灾害预报等领域的应用效能。     

基于渐进式神经网络的机器人控制策略迁移

在机器人领域,通过深度学习方法来解决复杂的控制任务非常具有吸引力,但是收集足够的机器人运行数据来训练深度学习模型是困难的.为此,提出一种基于渐进式神经网络(progressive neural network,PNN)的迁移算法,该算法基于深度确定性策略梯度(deep deterministic policy gradient,DDPG)框架,通过把模型池中的预训练模型与目标任务的控制模型有机地结合起来,从而完成从源任务到目标任务的控制策略的迁移.两个仿真实验的结果表明,该算法成功地把先前任务中学习到的控制策略迁移到了目标任务的控制模型中.相比于其他基准方法,该算法学习目标任务所需的时间大大减少.     

面向各向异性3D-MRI图像超分辨率 重建的ESRGAN网络

高分辨率磁共振图像(MRI, magnetic resonance images)能够提高疾病诊断精度,但高分辨率MRI图像的获取十分困难。基于深度学习的图像超分辨率(SR, super resolution)技术可有效地提高图像分辨率。近年来,生成对抗网络(GANs, generative adversarial networks)为3D-MRI图像SR重建提供了新思路。相较于传统的基于深度卷积神经网络(DCNN, deep convolutional neural network)的SR算法,GANs网络以人类视觉机制为目标,且引入判别函数,使重建3D-MRI图像更接近真实图像。研究采用增强超分辨率生成对抗网络(ESRGAN, enhanced super-resolution generative adversarial networks)对3D-MRI图像进行SR重建;并利用3D-MRI图像的跨层面自相似性,将重建任务降维到2D,在保证重建效果的基础上,减少了网络训练时间和内存需求。通过与其他传统算法和基于DCNN算法对比实验表明,提出的算法能够进一步提高3D-MRI图像的视觉...     

基于深度确定性策略梯度的队列纵向协同控制策略

为了解决车辆队列控制中的车辆连续精确控制问题和行驶过程中车辆队列纵向稳定性问题,提出了一种在中等速度环境下基于深度强化学习(deep reinforcement learning, DRL)的车辆队列纵向控制策略。该策略充分考虑了影响队列安全的车辆距离、车辆速度和车辆加速度3个关键影响因素,并将车辆动力学和舒适性作为策略学习过程中的约束条件。首先,建立基于强化学习的车辆队列纵向控制模型。其次,提出一个深度强化学习过程来进行队列纵向控制策略的迭代,最终目标为获得车辆的最优控制策略;并且设计了一个多目标的奖励函数,该函数综合了距离误差、速度误差和加速度约束对应的奖励。最后,采用深度确定性策略梯度(deep deterministic policy gradient, DDPG)求解队列纵向控制问题,该算法将动作-评价(actor-critic, AC)网络的优点与深度Q网络(deep Q-network, DQN)的优点相结合,有效解决连续状态空间和连续动作空间上的车辆队列控制问题;并设计和训练了基于DDPG的队列控制模型用于队列纵向控制,验证该控制策略的有效性。结果表明:提出的基于强化学习的队列控制方法具有和分布式模型预测控制算法相当的控制精度,并能在"前车-领航车跟随"通信拓扑下实现队列的串稳定性。     

采用视觉显著性和深度卷积网络的鲁棒视觉车辆识别算法

针对传统采用人工特征的机器学习算法难以满足复杂交通场景下鲁棒车辆识别需求的问题,以视觉显著性理论为依据,提出一种利用显著图的车辆候选提取方法.在深度学习的知识框架下,提出了一种采用深度卷积网络(deep convolutional neural networks,DCNN)的鲁棒视觉车辆识别算法.该DCNN分类器采用卷积层和池层构建2组隐层,并直接以灰度图片像素作为输入,经由随机梯度下降算法进行训练,最后以全连接层输出车辆识别判断.选择KITTI标准库作为测试数据库进行了车辆识别试验.结果表明,所提出的车辆识别算法可实现98.13%的检测率和1.77%的误检率,总体性能优于已有算法.