基于彩色-深度图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。提出了一个基于RGB-D(彩色-深度)图像的场景语义分割网络;该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其他state-of-the-art的语义分割网络结构相比,所提出的场景语义分割网络性能突出。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

基于多尺度全卷积与CRF的路面裂缝检测算法

针对已有路面裂缝检测算法对细小特征提取不够完善,并且未考虑到全局信息的问题,提出一种具有全局信息的多尺度全卷积神经网络路面裂缝检测算法。该算法融合了3个具有不同空洞卷积率的单尺度空洞卷积,构成多尺度空洞卷积,在不丢失分辨率的情况下扩展感知范围,减少参数计算量。利用反卷积层融合深层信息与浅层信息来扩充图像细节。最后将网络与一个条件随机场实现端到端的连接以计算损失值,优化处理结果。算法可有效避免特征丢失,实现多尺度裂缝感知,并对全局像素信息进行传递。模型在8 048张数据集上进行训练,在200张测试集上取得的交并比为80.3%,平均准确度为96.9%,查准率为69.7%,召回率为91.7%,实验结果表明多尺度全卷积与条件随机场算法优于经典全卷积算法。     

基于深度CRF模型的图像语义分割方法

从图像中提取多种特征向量堆叠为一个高维特征向量用于图像语义分割,会导致部分特征向量的分类能力减弱或丢失。针对此问题,提出了一种结合深度卷积神经网络AlexNet和条件随机场的图像语义分割方法。利用预训练好的AlexNet模型提取图像特征,再通过条件随机场对多特征及上下文信息的有效利用来实现图像的语义分割。与利用传统经典特征的方法进行对比,实验结果表明:在利用AlexNet模型提取特征进行图像语义分割时,Conv5层为最有效的特征提取层,在Stanford background和Weizmann horse数据集下的识别准确率分别为81.0%和91.7%,均高于其他2种对比方法,说明AlexNet可以提取更有效的特征,得到更高的语义分割精度。     

基于Mask R-CNN的满文文档版面分析

提出一种基于Mask R-CNN深度学习框架的满文文档版面分析方法,将满文文档版面分析问题转化为基于深度学习的图像实例分割问题。使用ResNet101网络和FPN网络构成的卷积神经网络自动提取满文文档图像特征,特征图经过RPN网络和RoI Align层生成新的特征图。新特征图经过全连接层完成感兴趣区域的类别和边框预测,并经过全卷积神经网络对感兴趣区域的像素进行分类得到mask预测,最终实现满文文档图像的实例分割。通过《新满汉大辞典》的文档图像构建了满文文档图像数据集,算法在该满文文档图像数据集上进行了实验。实验结果表明,本算法在满文文档版面分析中取得了较好的检测和分割效果。     

基于深度学习的汽车轮毂缺陷自动分割技术

针对建立轮毂无损检测智能化平台的需要,本文提出一种基于深度学习算法的轮毂缺陷自动分割方法,利用卷积神经网络的结构和径向基函数神经网络的非线性特点,构造一种深度学习网络结构来模拟人类的视觉感知。本文依据汽车轮毂X射线图像,利用U-Net网络来训练轮毂缺陷分割模型,并在感兴趣区域的基础上模拟人脑层次感知系统,该层次感知系统能识别感兴趣区域的灰度像素,通过深度学习分层网络和卷积神经网络,逐层提取缺陷区域的内在特征,从而实现轮毂缺陷的自动分割。实验表明本方法针对复杂轮毂缺陷的识别率达到90%以上,且识别时间开销大约5ms/张,优于传统方法。可见该方法能够满足轮毂缺陷自动分割的需求,具有潜在的应用前景。     

基于语义分割技术的任意方向文字识别

针对现有文本检测与定位方法只能处理单一方向文本行的缺点,提出了一种基于语义分割方法的用于自然图像中文本检测的新方法。首先通过对现有检测方法以及目前语义分割方法在文本行检测中的局限性分析。然后对加入矩形卷积核的全卷积网络模型进行训练,获得文本行区域的分类图。最后,通过全连接条件随机场(conditional random field,CRF)的高精度分割能力将网络前端输出的文本行区域中的文字给区分出来。该框架用于处理任意方向、语言和字体中的文本。所提出的方法在MSRA-TD500和ICDAR2015两个文本检测数据集上获得良好的分割结果且性能优越。     

基于全卷积神经网络的多尺度人脸检测

如何快速而准确地定位到人脸,针对这个问题,提出了一种基于全卷积神经网络的多尺度人脸检测方法.首先用全卷积层替换VGG网络中的全连接层,然后用二分类代替分类层,最后进行该算法下的人脸检测,通过对待检测的图片进行多尺度变换并将其输入到全卷积神经网络中,得到相应的概率矩阵,人脸图框通过非极大值抑制法获取.试验结果表明,该算法的准确率较高,检测时间短,性能较好.     

基于卷积神经网络的商品图像精细分类

针对某一类别商品图像的精细分类,研究并实现了深度学习中的卷积神经网络方法。所设计的卷积神经网络由2个卷积层、2个亚采样层及1个完全连接层组成,特征平面的神经元只对其感受野的重叠区域做出反应,由反向传播算法调整网络参数最终完成学习任务。通过鞋类图像的精细分类实验表明,该方法平均分类正确率可达91.5%。     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

基于可见光/红外图像的夜间道路场景语义分割

针对夜间道路场景解析困难的问题,提出了一种联合可见光与红外热像图实现夜间场景语义分割的方法。首先将双谱图像分别输入至两路并行的全卷积神经网络中,在网络的尾端融合特征并预测得到初步的语义分割结果。在此基础上,对双谱图像进行自适应直方图均衡及双边滤波,并利用基于双谱图像信息的稠密条件随机场对语义分割结果进行优化。实验结果表明,相比于单独使用可见光图、红外热像图、融合图,本文方法可以对夜间道路场景进行更准确的解析。     

基于卷积神经网络的细胞图像分割与类型判别

组织细胞图像形态各异、大小不一、纹理变化多样等特点,导致难以精准地分割细胞区域的问题,对此提出了一种基于卷积神经网络(CNN)和边缘聚类方法的新算法.对原始切片采用染色校正预处理,提高色彩对比度,利用CNN得到初步分割结果,结合边缘聚类方法提升初步分割结果的连续性和完整性.在此基础上,结合计算机视觉技术,获得分割图像中细胞颗粒的基本属性特征,并使用Softmax分类器判别细胞类型.实验结果表明:相较于经典的卷积神经网络、阈值分割、模糊聚类等细胞图像分割算法,该算法在分割结果的完整度方面提升了6.15个百分点.     

基于全卷积神经网络的绝缘设备紫外图像评估算法研究

针对绝缘子表面沉积污秽容易导致闪络的问题,文中分析了全卷积神经网络(fully convolutional networks,FCN)的典型结构和训练方法,提出了基于全卷积神经网络的绝缘子紫外图像污秽度评估方法.该方法首先采用全卷积神经网络进行绝缘子放电紫外图像光斑分割提取,然后将分割的紫外光斑图像作为卷积神经网络(convolutional neural networks,CNN)的输入,实现绝缘子污秽度的评估.仿真算例的计算结果表明,FCN-16s模型融合浅层细节特征适中,应用于绝缘子放电紫外图像光斑分割的效果更优;验证了文中所提FCN-CNN算法能够实现绝缘子污秽度的评估,具有更高的准确度,为输变电系统的智能化运维提供了参考.     

基于可能性聚类和卷积神经网络的道路交通标识识别算法

为解决图像采集中噪声和复杂背景对图片的影响以及深度神经网络的高耗时问题,基于可能性聚类算法与卷积神经网络,提出一种道路交通标识识别算法.该方法运用了图像分割技术,并结合卷积神经网络模型对道路交通标识进行更准确的识别.首先,通过色彩增强、图像分割、特征提取、数据增强和归一化等批量预处理操作,形成一个完整的数据集;然后,结合Squeeze-and-Excitation思想和残差网络结构,充分训练出MRESE(My Residual-Squeeze and Excitation)卷积神经网络模型;最后,将优化的网络模型用于道路交通标志的识别.实验结果表明,该方法使训练时间缩短了5%左右,识别精度可达99.02%.     

基于深度学习的三维乳腺超声影像自适应分割

针对传统乳腺超声影像分割算法存在准确率低、精度低且耗时长等问题,提出基于深度学习的三维乳腺超声影像自适应分割算法。首先预处理图像,采用深度多示例学习方法检测病变图像块,删除正常图像块。然后对乳腺超声影像数据集扩增处理,用于神经网络训练。其次构建残差卷积神经网络模型,设计残差学习单元,结合扩增数据集形成特征映射,采用softmax函数训练网络并进行特征块判断,并结合阈值设置实现三维乳腺超声影像自适应分割。实验结果表明,该算法能更细致地完成图像分割,算法平均运行耗时为52.3 s,图像分割精度为95.5%,且F1分数值高,整体性能佳,为卷积神经网络分割应用提供参考。     

基于SegNet的非结构道路可行驶区域语义分割

为了增强自动驾驶车辆对非结构化道路中可行驶区域的场景理解能力,基于SegNet深度学习网络结构,提出了一种针对非结构道路的可行驶区域语义分割方法。在传统的卷积神经网络基础上,构建编码-解码深度卷积神经网络,用于自动习得图片中非结构化道路的特征,通过在数据集上进行训练和学习,得到图像语义分割模型,可直接用该模型预测非结构道路中的可行驶区域,实现自动驾驶车辆在非结构道路中行驶时的环境感知。实验结果表明,研究方法分割效果和精确度提升明显,Dice相似度和Jaccard相似系数均可达80%以上。     

基于密集连接的高分辨率遥感图像分类

高分辨率遥感图像分类是当前一个研究热点，基于深度卷积网络和全连接条件随机场的高分辨率遥感图像分类模型(Deeplab),因其高效精准的分类性能被广泛应用于该研究领域，但Deeplab模型存在空洞卷积核对高分辨率遥感图像的信息利用率不足、限制分类精度进一步提高的问题。本文提出一种基于密集连接的轻量级高分辨率遥感图像分类模型Dspp,采用密集卷积网络连接结构，将Deeplab的空洞卷积金字塔结构替换成密集连接结构，以提高信息利用率且增强模型的泛化能力，并与当前经典的FCN、FCN8S、Deeplab分类网络模型进行实验对比。结果表明，Dspp模型相较于FCN模型、FCN-8S模型和Deeplab模型的整体精度分别提高16.8、11.7和7.7个百分点，验证了本模型的有效性。     

一种基于去除干扰基团Markov随机场的SAR图像分割算法

研究了马尔科夫随机场模型与图像的关系.利用条件迭代模型算法逐点更新图像标记,并结合区域生长思想,提出了一种基于去除干扰基团Markov随机场的SAR图像分割方法.数值试验通过与传统Markov分割算法从分割时间、迭代次数和收敛能量进行对比分析,结果表明,该方法具有更高的分割正确率,分割目标边界更清晰平滑,分割效果也更好.     

基于卷积神经网络的病理细胞核分割

针对病理图像中细胞核的精准分割问题,结合全卷积网络框架和高分辨率网络框架的特点,提出一种卷积网络对细胞核进行自动精准地分割;基于稀疏非负矩阵分解的方法将具有严重颜色分布差异的病理图像进行颜色分布归一化,以归一化后的图像为输入,利用所提出的卷积网络对细胞核进行分割;该网络通过减少下采样算子的使用,使图像信息在前向计算过程中不会过分丢失,并使用扩张卷积扩大深层神经元的局部感受野尺度大小;所采用的分割方案在2017年MICCAI病理数字图像分割数据集中达到0. 848的平均dice分数;实验表明,融合全卷积网络框架和高分辨率网络框架的卷积网络在病理图像中实现了细胞核自动精准的分割,可以有效减轻影像医师的工作负担。     

采用多层图模型推理的道路场景分割算法

针对传统图模型分割算法提取的物体边缘不够精细、难以适应复杂道路场景布局的问题,提出了一种基于多层图模型推理的道路场景分割(HGI)算法。该算法先将图像过分割为同质的超像素块,再采用随机森林模型训练超像素块的多类别回归器和相邻超像素的一致性回归器;然后用2种回归值计算马尔科夫随机场(MRF)模型的能量项,通过推理得到初始分割;最后为了解决超像素块包含多类别带来的分类混淆,在初始分割基础上构建像素级的全连接条件随机场模型,进行优化得到精细的分割结果。实验结果表明,采用HGI算法对人工标注数据库和真实拍摄的场景图像处理能够得到精细的分割边缘,能够解决超像素推理中的类别混淆问题,与传统的MRF图模型分割方法相比,在总体精度和平均召回率2个指标上分别提高了2%和3%。