基于残差注意力和金字塔上采样的图像语义分割

针对图像语义分割中,存在细节信息丢失、分割类别边缘模糊而粗糙的问题,在编码解码结构的基础上,结合残差模块和注意力机制,设计一种残差注意力模块.通过注意力机制加强特征图通道之间的联系,以提升语义分割的细腻度.为提高模型对多尺度物体的识别能力,结合金字塔模型,设计一种金字塔上采样模块.利用编码过程中产生的不同尺度的特征图,...     

基于局部语义上下文的场景分类方法

针对现有方法难以解决复杂场景图像分类的问题,本文提出一种基于局部语义上下文的场景分类方法。该方法将整个图像分割为一系列超像素,从超像素提取局部特征表示图像的局部观察;在观察图像和场景类别标签之间引入表示超像素区域语义的随机变量,通过不同随机变量之间的依赖关系引入局部语义上下文信息,较好地描述了图像观察、图像内容与场景类别标签之间的语义关联度,最后定义判别图像场景类别的目标函数,采用优化方法推断图像的场景类别。在标准图像库进行的实验证明了该方法的有效性。     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于图像上下文语义信息的场景分类方法

针对传统“视觉词袋模型”在进行场景分类时只利用图像的特征域,忽略其空间域中上下文语义信息的问题,提出一种基于图像上下文语义信息的场景分类方法.在传统“视觉词袋模型”的基础上,引入马尔科夫随机场模型对图像上下文语义信息进行建模,利用潜在的狄利克雷分布学习场景的主题分布,且利用支持向量机构造场景分类器.对16类场景的分类实验证明该方法能够有效提高分类精确度     

基于U-Net多尺度和多维度特征融合的皮肤病变分割方法

针对皮肤病变区域尺度不同和形状不规则, 传统U-Net网络方法缺乏从不同尺度分析目标的鲁棒性, 并在提取图像高层语义特征时丢失部分空间上下文信息而影响后续分割精度等问题, 提出一种基于U-Net多尺度和多维度特征融合的医学图像分割方法. 首先, 用空洞卷积融合不同尺度的空间上下文信息; 其次, 用通道上下文信息融合模块提取特征图各通道间的权重信息; 最后, 将特征图中的多尺度和多维度信息进行融合, 以保留更多的空间上下文信息. 实验结果表明, 该方法在皮肤病变数据集上对皮肤病变区域进行分割的分割效果较好.     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

一种融合分割和消失点提取的车道线检测方法

针对路面干扰时车道线检测鲁棒性差和消失点检测误差大的问题,提出了一种基于融合分割和消失点提取的车道线检测方法.对获取视频帧图像进行灰度化和高斯滤波处理之后,利用Canny边缘检测算法对图像进行边缘提取.以边缘点最多的一行作为上界划分预处理图像的动态感兴趣区域(ROI),结合大津算法(OTSU)分割出预处理图像的车道线背景,提取车道线信息.采用直线段检测(LSD)算法对ROI区域内车道线标志进行提取,并结合改进的消失点检测方法快速提取车道线.实验结果表明:所提出的方法对多场景下离线照片的平均正检率为97.16％,识别速度为34 ms/帧,能够很好地对多场景下车道线进行快速检测.     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.     

基于深度学习的无人驾驶汽车车道线检测方法

车道线检测是实现当前汽车辅助驾驶和未来无人驾驶汽车的关键,深度学习技术在近年来迅猛发展,在图像识别、图像分割、语音识别及数据预测等方面都取得了出色成绩。结合深度学习技术对无人驾驶汽车环境感知中的车道线检测进行了相应的研究,提出一种基于深度学习的车道线识别算法。对比研究已有算法,针对其中的信息融合问题,提出了一种新的特征图上下文信息融合方法,将该方法与VGG(Visual Geometry Group)网络相结合提出融合上下文信息的车道线识别网络VGG-FF,进一步加入空洞卷积提出融合空洞卷积及上下文信息的车道线识别网络VGG-FFD。将该网络模型在公开数据集以及自制数据集上进行了性能测试,实验结果表明该模型具有良好的识别效果。     

基于边缘特征融合和跨连接的车道线语义分割神经网络

无人驾驶中的车道线检测任务需要同时确定车道线的位置、颜色和线型,而现有方法通常仅识别车道线的位置,不识别车道线的类型.为了端到端地解决这一问题,设计了一种语义分割神经网络,将一幅图像中不同车道线分割为不同区域,用每个区域的类别标签表示其对应的车道线类型.首先,在主流的编码器-解码器框架下,构建了一个结构较为简单的基础网络.考虑到边缘特征是车道线检测中的重点,为基础网络的编码器并联了一个边缘特征提取子网络,通过逐层融合边缘特征图和原始特征图增强车道线的特征.边缘特征提取子网络的结构与基础网络的编码器相同,其输入是对车道线图像进行Sobel滤波的结果.此外,编码器和解码器对称位置的卷积层输出的特征图尺寸相同,但具有不同的语义层级.为了更好地利用这一特性,建立从编码器到解码器对称位置的跨连接,在解码器逐层上采样的过程中融合编码器对应尺寸的特征图.在TSD-Lane车道线检测数据集上的实验表明,相比于基础网络,基于边缘特征融合和跨连接的神经网络的分割性能得到了较为显著的提高.该网络具有较好的车道线分割性能,能够在确定车道线位置的同时,区分黄线或白线、虚线或实线.在计算资源充足的前提下,该网络能够达到实时的检测速度.     

基于双向门控机制和层次注意力的方面级情感分析

针对传统情感分析模型将单词或词语作为单一嵌入,而忽略句子之间依存信息和位置信息的问题,提出基于双向门控机制和层次注意力的方面级情感分析模型（Based on Bi-GRU and Hierarchical Attention,BGHA）。首先,将文本数据转成词向量再加入位置编码信息,得到包含位置和语义信息的词向量后通过双向门控机制提取上下文特征;接着,分别在单词注意力层和句子注意力层用注意力机制对特征分配权重,突出重点词和重点句信息;最后,结合给定的方面信息选择性提取与其较匹配的情感特征。在SemEval 2014、SemEval 2016和Twitter短文本评论数据集上的实验结果表示,BGHA模型的准确率对比其他模型都有不同程度的提高,证明了模型的有效性。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

结合位置关系卷积与深度残差网络的三维点云识别与分割

针对现有点云识别与分割算法因忽视点的位置特征和局部几何特征关系而导致难以捕获具有鉴别力的局部几何信息的问题,提出基于位置关系深度残差神经网络的三维点云识别与分割算法。将原始点云嵌入到高维空间并获取其高维特征;将点云的高维特征输入位置关系卷积实现局部邻域内当前点特征与位置几何特征的信息交流,并通过深度残差模块强化提取到的深层语义特征,分层重复以上步骤可逐步得到点云的高级上下文语义特征;通过全连接层与解码器,得到点云的识别与分割结果。实验结果表明,所提算法在ModelNet40点云分类数据集的识别精度达到了93.9%,在ShapeNet Part点云部件语义分割数据集的平均交并比达到了86.0%。所提算法能够提取三维点云的关键特征信息,具有较好的三维点云识别与分割能力。     

基于特征相似性学习的抛洒物检测方法

针对当前以目标检测为核心的抛洒物检测算法无法识别“未知类别”的缺陷，以抛洒物引发外观特征变化的视角切入，提出基于特征相似性学习的抛洒物检测方法。首先，在抛洒物体过程中采集参考图像和待检图像，通过参数共享的孪生卷积神经网络得到两张图像的外观特征，然后利用欧式距离等特征相似性函数计算图像区域之间的特征变化并得到欧式距离热力图，最后经阈值筛选得到抛洒物检测结果。为了提升算法对光照等噪声的抗干扰能力，提出全新的注意力掩膜单元，并通过构建长跨度上下文信息和强监督学习的方式提升注意力掩膜的语义判别性能，引导特征响应聚焦于抛洒物引起的外观变化，同时忽略噪声产生的扰动，最终解决噪声干扰和抛洒物产生的特征缠绕问题。为了验证方法的有效性，本研究在真实高速公路场景下进行视频影像数据采集、标注、构建成标准数据集。结果表明：注意力掩膜单元有效提升了特征的语义判别性能，大幅度提高抛洒物检测精度，其中调和均值F₁提高6.4个百分点，同时算法运行速度稳定在30帧/s，满足实时性需求；利用特征序列状态转移方式构建的长跨度上下文信息更有利于注意力掩膜聚焦抛洒物特征信息，抗噪声干扰能力更强；通过强监督...     

一种用于车道线识别的图像灰度化方法

车辆所处车道线的识别是高级辅助驾驶系统(ADAS)的基础,在此基础上可以开发出车道偏离预警系统和车道保持等系统。然而实际路面情况复杂多变,运用传统的图像灰度化方法难以准确地提取到车道信息。以一段在复杂工况下车载相机捕捉到的视频为例,提出了一种改进的图像灰度化方法用于车道线识别中图像的前处理。基于此方法,可在复杂路面上准确提取出车道线信息。     

基于彩色-深度图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。提出了一个基于RGB-D(彩色-深度)图像的场景语义分割网络;该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其他state-of-the-art的语义分割网络结构相比,所提出的场景语义分割网络性能突出。     

级联融合边缘特征的高分辨率遥感影像道路提取

针对进行高分辨率遥感影像道路提取时常出现的识别错误和提取结果断裂等问题，提出一种级联融合边缘特征和语义特征的ACEResUNet多任务融合模型。该模型通过边缘检测任务进行道路边缘特征自动化提取，将其与改进的ResUNet模型对应的卷积单元进行特征级联融合，为语义分割道路训练提供更多的决策依据，提升道路提取结果的连通性。通过在各模型特征提取单元中引入交叉压缩注意力模块，提升模型的特征提取能力，并在改进的ResUNet模型的编解码器之间添加全局多尺度特征融合模块，获取不同尺度目标地物的全文特征信息，以提升道路最终提取结果的完整性。在DeepGlobe道路数据集上的实验结果表明，该模型的道路提取精确率和交并比分别达到了0.798和0.661,相较于VNet和ResUNet等经典模型均有提升。     

多时间尺度双流CNN与置信融合的视频动作识别

考虑视频采样的变化和目标主体运动速度的不同,针对目前深度网络学习的视频序列特征单一、多种动作分类器分类置信程度不同的问题,提出了一种多时间尺度双流CNN与置信融合的视频动作识别方法.对视频序列采用两流神经网络在多个时间尺度上学习,提取不同时间跨度的视频帧之间的上下文信息特征,并采用LSTM进行多种特征的动作类别预测.然后,针对每一种尺度与模态的动作分类器,建立综合考虑样本所属类别与其他类别的总体差异性和所属类别的唯一性情形的类别判定置信度.最后,采用各分类器对动作类别判定的置信度与类别得分进行动作类别决策融合,识别视频动作.在数据集UCF101上进行了视频动作识别试验.结果表明:所提出的方法可以有效地学习视频多种时间尺度的上下文信息,并将视频动作识别的准确率提高到92.2％.     

结合二阶注意力机制的多尺度人体姿态估计

为解决人体姿态估计任务中存在的不同视角下人体实例尺度变化、遮挡问题导致的人体关键点定位不准确问题，提出融入二阶注意力机制的多尺度人体姿态估计网络模型（GOS-HRNet）。首先，在特征提取阶段为了获得高质量的特征图，通过在多分辨率网络结构中使用Octave卷积，保留更多的图像空间特征信息以提高关键点定位准确率；然后，为有效的利用图像上下文信息，融入二阶注意力模块Gsop使网络能更好的学习各分辨率表征的空间信息；最后，为了应对尺度变换对关键点定位的影响采用尺度增强训练方法，提高模型对尺度变化的鲁棒性。本文提出模型在MS COCO 2017数据集上进行实验，结果表明：提出的GOS-HRNet模型平均检测精度比HRNet模型提升了2.2%，能够更加准确的利用上下文信息、丰富空间特征信息以提高对关键点定位的准确性。     

循环多特征信息融合法： 一种基于深度学习的车道线检测方法

车道线检测是辅助驾驶和自动驾驶的核心技术之一。为了进一步增强车道线特征的提取能力,提出一种基于深度学习的循环多特征信息融合车道线识别算法。针对模型计算效率问题,该算法将车道线检测问题视为基于行选择单元格的分类问题;针对图像中车道信息聚合问题,提出了一种新的循环多特征信息聚合(recurrent multi-feature information aggregator,RMFA)方法,并将该方法与残差神经网络(residual neural network,ResNet)相结合提出融合上下文及多通道信息的车道线识别网络ResNet-RMFA。将该网络模型在Tusimple和CULane公开数据集上进行了性能测试,实验结果表明该模型单帧图像的推理时间可达4.8 ms,在Tusimple数据集上的精确度为96.07%,在CULane数据集上的F1(IoU=0.5)评分为69.3%,达到了速度与精度的良好平衡。