基于彩色-深度图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。提出了一个基于RGB-D(彩色-深度)图像的场景语义分割网络;该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其他state-of-the-art的语义分割网络结构相比,所提出的场景语义分割网络性能突出。     

全卷积神经网络在道路场景语义分割中的应用研究

在使用全卷积神经网络处理图像时,网络中的池化层会造成特征信息的丢失,从而导致图像分割结果不理想.为保留更多的特征信息,提出一种没有池化层,只有卷积层的语义分割网络,在保留特征空间降维功能的前提下降低了图像处理过程中特征信息的损失,加深网络深度,同时在反卷积过程中使用跳跃结构融合不同层次的特征信息,提高语义分割结果的精确度.实验结果表明,提出的语义分割网络与全卷积神经网络相比,其结果在MIoU和像素精度方面均有提升.     

基于可见光/红外图像的夜间道路场景语义分割

针对夜间道路场景解析困难的问题,提出了一种联合可见光与红外热像图实现夜间场景语义分割的方法。首先将双谱图像分别输入至两路并行的全卷积神经网络中,在网络的尾端融合特征并预测得到初步的语义分割结果。在此基础上,对双谱图像进行自适应直方图均衡及双边滤波,并利用基于双谱图像信息的稠密条件随机场对语义分割结果进行优化。实验结果表明,相比于单独使用可见光图、红外热像图、融合图,本文方法可以对夜间道路场景进行更准确的解析。     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.     

结合语义分割和特征融合的行人检测方法

针对传统行人检测方法在复杂场景下存在遮挡行人和小尺寸行人检测效果差的问题,提出一种结合语义分割和特征融合的行人检测方法。该方法的网络结构以区域全卷积神经网络为基础框架,根据行人检测任务进行改进。使用深度残差网络提取出多尺度的特征映射图;通过全卷积语义分割网络,得到对应的语义分割图;利用特征融合模块构造出融合特征图;将融合特征图送入区域建议网络和检测网络,完成行人检测。在Caltech和ETH行人检测数据集上进行试验验证,结果表明,与传统行人检测方法相比,该方法的行人检测准确率得到提高,同时检测速度满足实时性要求。     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

结合目标检测的小目标语义分割算法

卷积神经网络(Convolutional Neural Networks,CNN)可以提供比传统分类算法更强大的分类器并且能够自学习得到深层特征,有效地提高了图像语义分割的准确性.然而,基于CNN的语义分割算法依然存在一些挑战,例如在复杂场景中现有较优的方法较难分割小目标.为了解决复杂场景下小目标分割的难题,提出一种结合目标检测的小目标语义分割算法.与现有较优方法不同的是,该方法没有直接利用单个神经网络模型同时分割单幅图像中的小尺寸和较大尺寸目标,而是将小目标分割任务从完整图像的分割任务中分离.算法首先训练一个目标检测模型以获取小目标图像块,然后设计一个小目标分割网络得到图像块的分割结果,最终根据该结果修正整体图像的分割图.该算法提升了语义分割数据集的总体性能,同时能够有效地解决小目标分割的难题.     

基于Mask R-CNN的满文文档版面分析

提出一种基于Mask R-CNN深度学习框架的满文文档版面分析方法,将满文文档版面分析问题转化为基于深度学习的图像实例分割问题。使用ResNet101网络和FPN网络构成的卷积神经网络自动提取满文文档图像特征,特征图经过RPN网络和RoI Align层生成新的特征图。新特征图经过全连接层完成感兴趣区域的类别和边框预测,并经过全卷积神经网络对感兴趣区域的像素进行分类得到mask预测,最终实现满文文档图像的实例分割。通过《新满汉大辞典》的文档图像构建了满文文档图像数据集,算法在该满文文档图像数据集上进行了实验。实验结果表明,本算法在满文文档版面分析中取得了较好的检测和分割效果。     

基于卷积-递归神经网络和费舍尔向量的RGB-D物体识别

综合利用彩色和深度信息,采用多数据模式的特征提取策略,提出一种基于卷积-递归神经网络和费舍尔向量的RGB-D 物体识别方法. 对于彩色图像和深度图像,分别利用卷积-递归神经网络和卷积-费舍尔向量-递归神经网络提取物体的纹理及形状特征. 为了更加全面的获取物体信息的特征表述,引入了灰度图像和表面法向量作为原始数据的补充,并利用卷积-递归神经网络提取特征. 最后,将4 种数据模式下提取到的特征融合起来,输入到softmax 分类器中实现RGB-D 物体识别. 在标准的RGB-D 数据库中对算法进行验证,所提算法可以有效提高物体识别率.     

变电站巡检机器人道路语义分割方法及其应用

为提升变电站巡检机器人对道路场景的识别理解能力,将深度学习技术应用于变电站巡检机器人中,提出了一种适用于变电站道路场景的全卷积语义分割网络。该网络借鉴ENet编码结构提取图像特征,同时融入多种解码结构来获取更多有效特征,恢复图像目标信息。同时,针对巡检机器人以及变电站道路特点,将语义分割结果转化为机器人前方目标信息以及机器人偏离情况信息,辅助机器人导航避障。实验结果表明:所提出的网络有效地提升了图像分割精度,并能较好地适应于实际变电站环境中。研究结果为机器人提供了有效的道路场景信息,辅助机器人导航避障。     

基于卷积神经网络的细胞图像分割与类型判别

组织细胞图像形态各异、大小不一、纹理变化多样等特点,导致难以精准地分割细胞区域的问题,对此提出了一种基于卷积神经网络(CNN)和边缘聚类方法的新算法.对原始切片采用染色校正预处理,提高色彩对比度,利用CNN得到初步分割结果,结合边缘聚类方法提升初步分割结果的连续性和完整性.在此基础上,结合计算机视觉技术,获得分割图像中细胞颗粒的基本属性特征,并使用Softmax分类器判别细胞类型.实验结果表明:相较于经典的卷积神经网络、阈值分割、模糊聚类等细胞图像分割算法,该算法在分割结果的完整度方面提升了6.15个百分点.     

基于阈值分割法和卷积神经网络的图像识别算法

针对传统卷积神经网络严重依赖数据量的问题, 提出一种基于均值迭代阈值分割法和卷积神经网络的图像识别算法, 通过均值迭代阈值分割法过滤图像背景, 并基于AlexNet构造新的卷积神经网络. 与其他常用的卷积神经网络进行对比实验结果表明, 在样本数量不足的图像识别任务中, 该算法识别效果较理想, 与其他卷积神经网络相比, 具有更高的识别准确度、 更低的识别误差和更快的收敛速度.     

基于阈值分割法和卷积神经网络的图像识别算法

针对传统卷积神经网络严重依赖数据量的问题, 提出一种基于均值迭代阈值分割法和卷积神经网络的图像识别算法, 通过均值迭代阈值分割法过滤图像背景, 并基于AlexNet构造新的卷积神经网络. 与其他常用的卷积神经网络进行对比实验结果表明, 在样本数量不足的图像识别任务中, 该算法识别效果较理想, 与其他卷积神经网络相比, 具有更高的识别准确度、 更低的识别误差和更快的收敛速度.     

基于深度学习的汽车轮毂缺陷自动分割技术

针对建立轮毂无损检测智能化平台的需要,本文提出一种基于深度学习算法的轮毂缺陷自动分割方法,利用卷积神经网络的结构和径向基函数神经网络的非线性特点,构造一种深度学习网络结构来模拟人类的视觉感知。本文依据汽车轮毂X射线图像,利用U-Net网络来训练轮毂缺陷分割模型,并在感兴趣区域的基础上模拟人脑层次感知系统,该层次感知系统能识别感兴趣区域的灰度像素,通过深度学习分层网络和卷积神经网络,逐层提取缺陷区域的内在特征,从而实现轮毂缺陷的自动分割。实验表明本方法针对复杂轮毂缺陷的识别率达到90%以上,且识别时间开销大约5ms/张,优于传统方法。可见该方法能够满足轮毂缺陷自动分割的需求,具有潜在的应用前景。     

基于深度学习的岩石铸体薄片图像孔隙自动提取

岩石铸体薄片图像中孔隙区域的准确提取是分析评估工作的前提。但目前传统的孔隙提取方法主要是通过颜色特征进行阈值分割,精度较低,需加入大量的人工交互操作才能提高精度。因此提出一种新的基于深度学习的孔隙区域自动提取算法,该算法基于U-net搭建网络基本框架。首先,网络在编码阶段加入残差块来提升网络的深度。其次,针对残差块进行优化并引入空洞卷积,提取更全局、语义层次更深的特征。最后,在解码阶段加入网络模块间的短连接,提出新的融合特征方法,更好地将浅层特征与深层语义特征相结合,得到更加精细的孔隙区域。实验结果表明,该方法优于传统的孔隙提取方法,具有更高的分割精度且无需人工操作,与主流卷积神经网络相比也具有更高的精度和平均交并比。     

基于DCNN的图像语义分割综述

图像的语义分割是计算机视觉中重要的基本问题之一,其目标是对图像的每个像素点进行分类,将图像分割为若干个视觉上有意义的或感兴趣的区域,以利于后续的图像分析和视觉理解.近年来,深度卷积神经网络(Deep Convolutional Neural Network,DCNN)的出现,极大地推动了语义分割的发展.本文从语义分割的基本定义出发,对语义分割中存在的困难和挑战进行了分析和描述.总结了目前用于评测语义分割算法的典型数据库,并以PASCAL VOC数据库为主线对近年来基于DCNN的语义分割算法进行了梳理和总结.最后对语义分割未来的研究重点进行了探讨和预测.     

基于回环残差注意力机制U-net的胰腺分割

器官自动分割是医学图像分析中的一个重要而具有挑战性的问题.胰腺是一种位于腹部内部的软组织器官,其欠缺有形器官有固定形状的特点.由于胰腺周围的重要结构组织的关系紧密且多变,且有边缘界限不易确定等特点,采用传统的分割方法存在受噪声影响大、过分割和欠分割等问题,难以达到很高的准确率.虽然基于深度卷积神经网络的U-net很好地解决了传统分割方法中的一系列问题,但仍然存在器官形状分割不清晰,以及存在较多毛刺的问题.提出一种基于回环残差注意力机制U-net(ringed residual attention U-net,RRA U-net)的胰腺分割方法,通过加入注意力机制增大有效特征的占重比以及引入回环残差结构来增强鉴别特征的能力和加快网络的收敛速度,最终达到了较高的分割准确率.     

Joint learning based on multi-shaped filters for knowledge graph completion

To solve the problem of missing many valid triples in knowledge graphs(KGs),a novel model based on a convolutional neural network(CNN) called ConvKG is proposed,which employs a joint learning strategy for knowledge graph completion(KGC).Related research work has shown the superiority of convolutional neural networks(CNNs) in extracting semantic features of triple embeddings.However,these researches use only one single-shaped filter and fail to extract semantic features of different granularity.To solve this problem,ConvKG exploits multi-shaped filters to co-convolute on the triple embeddings,joint learning semantic features of different granularity.Different shaped filters cover different sizes on the triple embeddings and capture pairwise interactions of different granularity among triple elements.Experimental results confirm the strength of joint learning,and compared with state-of-the-art CNN-based KGC models,ConvKG achieves the better mean rank(MR) and Hits@10 metrics on dataset WN18 RR,and the better MR on dataset FB15k-237.     

基于上下文情景结构的图像语义分割

语义分割的目标是对图像进行像素级分类并分割为表示不同语义的区域,以便实现对更复杂场景的分析及理解。考虑到更大的卷积核对目标的定位及分割都有促进作用,故提出的网络里使用了一种基于上下文情景结构层(contextual structure)的卷积神经网络,既增大了感受野的范围,同时解决了增大传统卷积核带来大量参数的问题。自然图像中的目标往往具有不同的尺度和纵横比,提取丰富的细节信息和上下文信息对于像素级的预测至关重要。提出的网络同时实现了多尺度特征的提取,从规模较小区域到规模较大区域,再到完整目标,可以有效提取局部信息和全局信息,达到分割多尺度目标的效果。实验中使用PASCAL VOC 2012数据集对提出的方法进行评测,在综合考虑算法复杂度以及运行时间效率的基础上,提出算法取得了更好的实验结果。