变电站巡检机器人道路语义分割方法及其应用

为提升变电站巡检机器人对道路场景的识别理解能力,将深度学习技术应用于变电站巡检机器人中,提出了一种适用于变电站道路场景的全卷积语义分割网络。该网络借鉴ENet编码结构提取图像特征,同时融入多种解码结构来获取更多有效特征,恢复图像目标信息。同时,针对巡检机器人以及变电站道路特点,将语义分割结果转化为机器人前方目标信息以及机器人偏离情况信息,辅助机器人导航避障。实验结果表明:所提出的网络有效地提升了图像分割精度,并能较好地适应于实际变电站环境中。研究结果为机器人提供了有效的道路场景信息,辅助机器人导航避障。     

基于深度学习的变电站巡检机器人道路场景识别

为了提升变电站巡检机器人对自身所处环境的理解能力,将深度学习技术应用于变电站巡检机器人对道路场景的识别中,提出了一种全卷积道路场景识别网络(road scene recognition net,RSRNet)。该网络主要由相对浅层的编码网络和镜像结构与跳层融合结构相结合的解码网络组成,通过编码网络提取图像特征后由解码网络识别出图像目标信息。通过实验表明,本文提出的网络在同类型网络中识别精度及效率更高,同时在实际变电站场景中也表现出了优良的场景识别性能。     

变电站巡检机器人避障方法研究与应用

为提升变电站巡检机器人的导航避障能力,将深度学习技术应用于变电站场景识别中,提出了一种基于深度卷积神经网络的避障方法.该方法联合图像分类和语义分割两个分支来共同辅助机器人导航避障,分类分支通过获取图像全局信息,保证机器人正确行驶方向;而语义分割支路则根据图像局部信息以及机器人前方目标类别,指导机器人准确避障.实验结果表明,避障方法可以高效地对图像进行分类和分割,同时,在实际变电站环境中,该方法也能为巡检机器人提供有效的避障信息,实现实时自主避障.     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

基于卷积神经网络的壁面清洗机器人障碍物检测识别算法

结合机器人的工作原理以及卷积神经网络(CNN)在图像分类中的应用,提出了一种基于卷积神经网络的壁面障碍物检测识别算法.首先,以壁面障碍物准确识别为目标,构建壁面障碍物图像库;然后,通过对VGG-16网络简化后进行优化,得到适合壁面障碍物准确识别的卷积神经网络模型.在此基础上,设计该网络由输入层、4层卷积层、2层池化层、1层全连接层以及输出层组成,进一步利用3×3卷积核对训练样本进行卷积操作,并将所获取的特征图以2×2领域进行池化操作.重复上述操作后,通过学习获取并确定网络模型参数,得到最佳网络模型.实验结果表明,障碍物的识别准确率可达99.0%,具有良好的识别能力.     

基于稀疏联结卷积递归神经网络的RGB-D图像识别算法

RGB-D传感器能够同时获取图像的彩色信息和深度信息,深度信息的引入有效提高了图像分类的精度。文章提出了一种基于稀疏联结卷积神经网络的RGB-D图像目标识别方法。该方法以卷积递归神经网络(convolutional and recursive neural networks,CNN-RNN)深度学习网络为基础,利用一种尺度归一化方法对图像进行处理,并且对CNN滤波器层进行改进;在CNN滤波器层,通过加速稳健特征(speeded up robust features,SURF)算子得到归一化图像中特征点的位置;然后以特征点为中心选取图像块,对所有训练图像的图像块进行训练,从而获取CNN滤波器组层的卷积核;以归一化图像的SURF点为中心确定滤波器层在图像的感受野,所得感受野与卷积核形成局部联结网络,构成了CNN的滤波器组层。实验结果表明,该方法有效地提高了图像的识别精度,具有较强的鲁棒性。     

一种基于深度卷积神经网络的道路损伤检测研究

基于传统道路损伤检测方法主要通过人工选取特征识别道路损伤,致使检测过程中抗干扰性较差,进而制约道路损伤识别精度的提高.针对这一问题,提出一种基于深度卷积神经网络的道路损伤检测方法.通过引入深度学习算法,利用迁移学习策略,构建稳健的非线性道路损伤识别模型;结合真彩色的道路图像,利用多层卷积神经网络抽取局部损伤区域的高级语义特征,实现复杂背景变化下的道路损伤智能检测.实验结果表明,提出的方法可准确识别道路损伤图像,相比常用方法能显著提高识别准确率.     

基于深度学习网络的电气设备图像分类

为了对变电站中智能巡检系统采集到的海量图片进行快速分析和识别,提出一种深度学习和支持向量机(support vector machine, SVM)相结合的图像分类模型。首先,运用旋转、翻折等方法对采集到的原始数据进行扩充。然后,合并扩展图像集,并在相同类型的条件下将其随机划分为训练集和测试集。基于实际图像改进卷积神经网络(convolutional neural network, CNN),并提取训练集的图像特征。最后,通过使用训练集图片的深度特征来训练SVM分类器,并且在测试集图片上实现分类测试。利用巡检机器人采集到的8 000张图片对模型精度进行实验验证,结果表明,该模型具有较强的分类性能。     

基于多尺度特征融合的单目图像深度估计

为解决从单目图像中很难恢复出准确、有效深度信息的问题,提出一种多尺度特征融合的单目图像深度估计算法.算法采用端对端训练的卷积神经网络(CNN)结构,引入从图像编码器到解码器的跳层连接来实现在不同尺度上特征的提取和表达,设计了一种多尺度的损失函数来提升卷积神经网络的训练效果.通过在NYU Depth V2室内场景深度数据集和KITTI室外场景深度数据集上的训练、验证和测试,实验结果表明:提出的多尺度特征融合方法得到的深度图边缘清晰、层次分明,且在室内场景和室外场景中均能适用,具有较强的泛化性,可以适应多种实际场景的需求.     

全卷积神经网络在道路场景语义分割中的应用研究

在使用全卷积神经网络处理图像时,网络中的池化层会造成特征信息的丢失,从而导致图像分割结果不理想.为保留更多的特征信息,提出一种没有池化层,只有卷积层的语义分割网络,在保留特征空间降维功能的前提下降低了图像处理过程中特征信息的损失,加深网络深度,同时在反卷积过程中使用跳跃结构融合不同层次的特征信息,提高语义分割结果的精确度.实验结果表明,提出的语义分割网络与全卷积神经网络相比,其结果在MIoU和像素精度方面均有提升.     

面向遥感图像的小样本目标检测改进算法研究

针对传统的遥感图像目标检测中面临的小样本以及目标样本分布不均衡等问题, 提出了一种基于改进的卷积神经网络(convolutional neural network, CNN)的遥感图像小样本目标检测算法. 首先, 该算法利用 $K$ 近邻($K$-nearest neighbor, kNN)回归分别对每个点和卷积层提取特征构建局部邻域; 同时, 通过最大池化聚合所有局部特征进行全局特征表示; 最后, 采用全连接层与缩放指数型线性单元(scaled expected linear unit, SELU)激活函数计算各类别对应的概率并分类. 实验结果表明, 该算法能够更有效地融合局部特征, 提高了遥感图像小样本目标识别与检测的精度, 同时保持信息的非局部扩散.     

基于彩色-深度图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。提出了一个基于RGB-D(彩色-深度)图像的场景语义分割网络;该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其他state-of-the-art的语义分割网络结构相比,所提出的场景语义分割网络性能突出。     

基于可见光/红外图像的夜间道路场景语义分割

针对夜间道路场景解析困难的问题,提出了一种联合可见光与红外热像图实现夜间场景语义分割的方法。首先将双谱图像分别输入至两路并行的全卷积神经网络中,在网络的尾端融合特征并预测得到初步的语义分割结果。在此基础上,对双谱图像进行自适应直方图均衡及双边滤波,并利用基于双谱图像信息的稠密条件随机场对语义分割结果进行优化。实验结果表明,相比于单独使用可见光图、红外热像图、融合图,本文方法可以对夜间道路场景进行更准确的解析。     

基于双流混合变换CNN特征的图像分类与识别

具有表达能力及可辨别性更强的特征是图像分类与识别技术的关键。深度CNN特征经过多次中间非线性变换,特征鲁棒性更强,在图像分类与识别领域已取得重大进展。但传统的CNN模型只增加变换层次,下层变换依赖于上层输出结果,因此其中间特征冗余度较低,最终得到的特征向量信息丰富程度不够。本文提出一种基于双流混合变换的CNN模型——DTM-CNN。该模型首先使用不同大小的感受野卷积核提取图像不同的中间特征,然后在多次深度变换时,对中间特征进行混合流动,经过多次混合变换,最终得到1024维的特征向量,并使用Softmax回归函数对其分类。实验结果表明,该模型经过多次卷积、池化及激活变换,提取的特征更加抽象、语义及结构信息更加丰富,对图像具有更强的表达能力及辨别性,因此图像分类及识别性能优越。     

基于稠密连接和非局部运算的烟雾识别方法

烟雾图像检测已经成为早期火灾预警的主要技术手段之一,为了提升烟雾识别准确率和运算效率,提出基于稠密连接和非局部运算的深度卷积神经网络用于烟雾识别。首先,设计深度网络中卷积层间的稠密连接机制,构建稠密基本块,增强信息流通和特征重利用,同时也减少模型参数量。然后,为了进一步考虑烟雾图像的全局信息,将非局部运算与稠密基本块中的卷积运算相结合,构建稠密和非局部基本卷积块。最后,利用已经构建的若干个稠密和非局部基本卷积块搭建用于烟雾识别的深度卷积神经网络。在已经公开的烟雾图像数据库上进行性能评估,实验结果表明,提出的基于稠密连接和非局部运算的烟雾识别方法以不到1M的模型参数量取得了更令人满意的性能。     

基于混合空洞卷积网络的多鉴别器图像修复

为了有效解决大面积语义信息缺失、孔洞区域大小及形状不规则、图像背景复杂时修复结果出现边缘模糊、伪影或修复失真等缺陷,提出了一种基于混合空洞卷积网络的多鉴别器图像修复算法.首先,将待修复图像输入一个基于混合空洞卷积层的模糊卷积网络,以重构损失为标准,进行粗修复.然后,将粗修复结果输入双平行卷积网络,该网络包含混合空洞卷积(HDC)层的卷积路径及一个与之平行的感知层卷积路径,两个平行路径的输出经过解码和反卷积后,送入鉴别器进行判别优化.最后,在网络的优化过程中,利用全局鉴别器、局部鉴别器和中心鉴别器增强修复图像的整体及局部语义一致性和细节特征.在国际公认的人脸数据集CelebA和风景数据集Places2上,对提出算法进行训练和测试,实验结果表明:提出方法在修复背景复杂和各种大小及形状的孔洞时,增强了图像细节的修复精度,有效避免了修复失真,在修复的视觉效果、峰值信噪比、结构相似度和平均误差方面,优于对比的4种经典修复算法.     

基于卷积神经网络的入侵检测算法

作为深度学习的一种有效算法,深度卷积网络已成功应用在处理图像、视频和音频等领域.通过建立一卷积神经网络模型并应用于网络入侵检测,选取的卷积核与数据进行卷积操作提取特征的局部相关性从而提高特征提取的准确度.采集到的网络数据通过多层"卷积层-下采样层"的处理对网络中正常行为和异常行为的特征进行深度刻画,最后通过多层感知机进行正确分类.KDD 99数据集上的实验表明,文中提出的卷积神经网络模型与经典BP神经网络、SVM算法等相比,有效提高了入侵检测识别的分类准确性.      

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

顾及区域信息的卷积神经网络在影像语义分割中的应用

高分辨率遥感影像在实际应用中得到广泛使用。高分影像语义分割方法的研究具有重要实际应用价值。近来基于深度卷积网络的遥感影像标注方法表现出了比传统方法更为优越的性能;然而由于其基于固定感受野大小的上下文信息获取方法没有显式利用像素间约束关系,导致同一地物内部语义标注结果不一致。基于同一区域内部像素属于相同类别概率较大的假定,试图引入图像区域内部语义标注一致性约束,以改善现有深度卷积神经网络描述上下文信息的能力。在现有全卷积网络模型基础上,利用卷积神经网络最后一层特征,引入一个表示区域内部像素特征一致性的损失函数;将该损失函数与softmax损失函数进行联合训练,得到网络模型参数。在ISPRS(国际摄影测量与遥感学会)的Vaihingen 2D语义标注数据集上,对提出的方法进行了实验验证,实验结果表明所提方法在大多数类别上取得了较现有卷积神经网络模型更优的分类结果,总体准确率达85.18%。提出的引入区域内部像素标记一致性的全卷积网络模型,可以有效捕捉区域内部像素特征一致性的上下文信息,能有效纠正全卷积网络模型在区域内部像素分类中的冲突,获得区域一致较好的分类结果,从而改善图像的语义标注效果。