基于深度学习的无人驾驶汽车车道线检测方法

车道线检测是实现当前汽车辅助驾驶和未来无人驾驶汽车的关键,深度学习技术在近年来迅猛发展,在图像识别、图像分割、语音识别及数据预测等方面都取得了出色成绩。结合深度学习技术对无人驾驶汽车环境感知中的车道线检测进行了相应的研究,提出一种基于深度学习的车道线识别算法。对比研究已有算法,针对其中的信息融合问题,提出了一种新的特征图上下文信息融合方法,将该方法与VGG(Visual Geometry Group)网络相结合提出融合上下文信息的车道线识别网络VGG-FF,进一步加入空洞卷积提出融合空洞卷积及上下文信息的车道线识别网络VGG-FFD。将该网络模型在公开数据集以及自制数据集上进行了性能测试,实验结果表明该模型具有良好的识别效果。     

基于多尺度全卷积与CRF的路面裂缝检测算法

针对已有路面裂缝检测算法对细小特征提取不够完善,并且未考虑到全局信息的问题,提出一种具有全局信息的多尺度全卷积神经网络路面裂缝检测算法.该算法融合了3个具有不同空洞卷积率的单尺度空洞卷积,构成多尺度空洞卷积,在不丢失分辨率的情况下扩展感知范围,减少参数计算量.利用反卷积层融合深层信息与浅层信息来扩充图像细节.最后将网络...     

一种融合分割和消失点提取的车道线检测方法

针对路面干扰时车道线检测鲁棒性差和消失点检测误差大的问题,提出了一种基于融合分割和消失点提取的车道线检测方法.对获取视频帧图像进行灰度化和高斯滤波处理之后,利用Canny边缘检测算法对图像进行边缘提取.以边缘点最多的一行作为上界划分预处理图像的动态感兴趣区域(ROI),结合大津算法(OTSU)分割出预处理图像的车道线背景,提取车道线信息.采用直线段检测(LSD)算法对ROI区域内车道线标志进行提取,并结合改进的消失点检测方法快速提取车道线.实验结果表明:所提出的方法对多场景下离线照片的平均正检率为97.16％,识别速度为34 ms/帧,能够很好地对多场景下车道线进行快速检测.     

全卷积神经网络在道路场景语义分割中的应用研究

在使用全卷积神经网络处理图像时,网络中的池化层会造成特征信息的丢失,从而导致图像分割结果不理想.为保留更多的特征信息,提出一种没有池化层,只有卷积层的语义分割网络,在保留特征空间降维功能的前提下降低了图像处理过程中特征信息的损失,加深网络深度,同时在反卷积过程中使用跳跃结构融合不同层次的特征信息,提高语义分割结果的精确度.实验结果表明,提出的语义分割网络与全卷积神经网络相比,其结果在MIoU和像素精度方面均有提升.     

基于实例分割和自适应透视变换算法的多车道线检测

为了解决传统的车道线检测算法对光照变化、阴影遮挡等环境干扰较为敏感而导致鲁棒性不足的问题,提出了一种基于实例分割和自适应透视变换算法的多车道线检测方法.该算法首先通过设计的多分支实例分割网络实现多车道线分割,该多分支实例分割网络包括车道线语义分割分支和车道线Id分支;再应用自适应透视变换模型获得鸟瞰图视角下的实例分割后的车道线像素点集合;最后利用最小二乘法二阶多项式完成车道线像素点的拟合.基于Culane车道线数据集进行训练及验证,验证表明,每帧图片检测用时约28 ms,车道线检测准确率达91.4%.将车道线检测模型集成到实车ROS平台进行测试,测试表明,所提算法能够实现各类复杂交通场景下的多车道线实时检测.     

基于边缘特征融合和跨连接的车道线语义分割神经网络

无人驾驶中的车道线检测任务需要同时确定车道线的位置、颜色和线型,而现有方法通常仅识别车道线的位置,不识别车道线的类型.为了端到端地解决这一问题,设计了一种语义分割神经网络,将一幅图像中不同车道线分割为不同区域,用每个区域的类别标签表示其对应的车道线类型.首先,在主流的编码器-解码器框架下,构建了一个结构较为简单的基础网络.考虑到边缘特征是车道线检测中的重点,为基础网络的编码器并联了一个边缘特征提取子网络,通过逐层融合边缘特征图和原始特征图增强车道线的特征.边缘特征提取子网络的结构与基础网络的编码器相同,其输入是对车道线图像进行Sobel滤波的结果.此外,编码器和解码器对称位置的卷积层输出的特征图尺寸相同,但具有不同的语义层级.为了更好地利用这一特性,建立从编码器到解码器对称位置的跨连接,在解码器逐层上采样的过程中融合编码器对应尺寸的特征图.在TSD-Lane车道线检测数据集上的实验表明,相比于基础网络,基于边缘特征融合和跨连接的神经网络的分割性能得到了较为显著的提高.该网络具有较好的车道线分割性能,能够在确定车道线位置的同时,区分黄线或白线、虚线或实线.在计算资源充足的前提下,该网络能够达到实时的检测速度.     

多尺度空洞卷积金字塔网络建筑物提取

为改善现有深度学习方法获取图像特征尺度单一、提取精度较低等问题,提出多尺度空洞卷积金字塔网络建筑物提取方法。多尺度空洞卷积金字塔网络以U-Net为基础模型,编码-解码阶段采用空洞卷积替换普通卷积扩大感受野,使得每个卷积层输出包含比普通卷积更大范围的特征信息,以利于获取遥感影像中建筑物特征的全局信息,金字塔池化模块结合U-Net跳跃连接结构整合多尺度的特征,以获取高分辨率全局整体信息及低分辨率局部细节信息。在WHU数据集上进行提取实验,交并比达到了91.876%,相比其他语义分割网络交并比提升4.547%～10.826%,在Inria数据集上进行泛化实验,泛化精度高于其他网络。结果表明所提出的空洞卷积金字塔网络提取精度高,泛化能力强,且在不同尺度建筑物提取上具有良好的适应性。     

基于U-Net多尺度和多维度特征融合的皮肤病变分割方法

针对皮肤病变区域尺度不同和形状不规则,传统U-Net网络方法缺乏从不同尺度分析目标的鲁棒性,并在提取图像高层语义特征时丢失部分空间上下文信息而影响后续分割精度等问题,提出一种基于U-Net多尺度和多维度特征融合的医学图像分割方法.首先,用空洞卷积融合不同尺度的空间上下文信息;其次,用通道上下文信息融合模块提取特征图各通...     

使用候选框进行全卷积网络修正的目标分割算法

由于反卷积和上池化操作的存在,传统全卷积网络在解码阶段常常会丢失目标位置信息,降低图像的分割精度.针对这种情况,提出基于候选框网络对全卷积网络的输出进行缺陷位置微调的液晶面板缺陷分割算法.算法基于ResNet-101网络搭建全卷积主干网络,此构建2个分支,候选框生成网络和反卷积网络.在反卷积网络的输出层中使用多通道分类...     

基于多通道融合和极线约束的道路检测与定位

计算机双目视觉道路检测及定位在实现无人运动平台自主导航中具有重要意义.根据双目摄像机系统模型,提出基于多通道阈值融合的车道线检测方法,融合车道线边缘和色彩信息进行图像阈值分割,采用透视变换和自适应动态滑窗法提取车道线像素,采用最小二乘法拟合道路模型并依据极线约束关系进行定位,投影至SLAM地图中.实验结果表明,算法在光照变化、阴影遮挡等场景中均能精确检测车道线,将车道线信息投影至三维地图可以有效地将车道信息与地图信息进行融合,提高了道路感知能力.      

基于改进SegNet算法的车道线检测方法

无人驾驶车辆在结构化道路中需要通过车道线判断自身位置,为提高其检测的实时性与准确性,本文提出一种利用改进SegNet网络算法与连通域约束相结合的方法实现车道线检测识别。将对称的SegNet网络算法改为非对称结构对车道线作逐像素提取：利用卷积与池化提取车道线特征,摒弃传统的车道线聚类过程,利用二值化图像结合连通域约束与关联对车道特征点进行分类,最后对相同类别的车道特征点进行车道线拟合。该算法在香港中文大学的 CULane 数据集和图森未来的TuSimple数据集上进行了训练与测试,该算法对车道分割准确、实时处理能力优秀,检测识别效果优于传统SegNet网络算法,其平均检测精度为 94.60%,每帧检测耗时提升53毫秒。     

基于改进Mask RCNN的工程车辆分割算法

针对输电通道下施工车辆与输电线之间距离难以计算、工程车辆检测精度较低等问题,提出一种改进Mask RCNN的工程车辆分割算法.首先将特征提取网络中的卷积替换为动态卷积,使网络训练时可以根据输入图像及时调整卷积核的大小,有效提高模型性能;然后在网络中添加NAM注意力机制,提高网络对工程车辆的关注度;最后修改特征融合网络为ssFPN,防止特征融合时信息丢失,加强语义融合,提高模型检测精度.对比试验结果表明,与改进前基于ResNet50的Mask RCNN算法相比,改进后算法提高了对工程车辆的检测精度,mAP提高了4.1%,后续处理得到的车辆轮廓精确,证明了改进后算法的有效性.     

基于多信息融合优化的鲁棒性车道检测算法

为了提高复杂环境下车道线检测的鲁棒性,提出一种基于多特征信息融合优化的鲁棒性车道线检测算法.首先构建了基于二次曲线空间道路模型图像中左右车道线数学模型;然后融合像素梯度值、梯度方向、像素灰度以及车道线结构等多特征信息,构造后验概率函数;最后采用基于免疫克隆策略的改进粒子群优化算法优化车道线模型参数,实现车道线提取.对实际道路图像的实验结果表明,引入多特征信息后,在道路中存在阴影、车辆和道路标记等干扰因素,以及车道线模糊、对比度较低的情况下,该算法也能快速准确地提取车道线,具有很强的鲁棒性.     

一种基于IPM-DVS的车道线检测算法

为了提高在复杂情形下车道线检测的鲁棒性,提出了一种基于IPM-DVS的车道线检测算法。首先,对视频序列中连续两帧图像进行IPM得到鸟瞰图像,对这两帧鸟瞰图像进行差值运算,对差值图像进行Sobel算子卷积,然后将卷积结果与鸟瞰图像进行DVS,实现车道线信息的分离,最后根据车道线特征信息进行滤波检测。通过阴影、水渍、逆光等场景对该方法进行测试,实验结果表明:该方法能在各种复杂环境中检测出车道线,具有实时性好、鲁棒性强、正确率高的优点,适用于无人驾驶智能车视觉导航。     

融合深度残差网络和注意力机制的3D目标检测

针对Frustum-PointNets的实例分割网络结构单一且卷积深度较深、易出现特征丢失和过拟合，检测准确率较低的问题，提出了一种改进的Frustum-PointNets网络。该网络首先构建深度残差网络并融入实例分割网络，提高特征提取能力，解决深层网络的退化问题；引入双重注意力网络以增强特征，提高分割效果；运用Log-Cosh Dice Loss解决样本不均衡，加快网络训练；使用Mish激活函数保留特征信息；最后基于Kitti和SUN RGB-D两个数据集进行实验验证本文算法的有效性。实验结果表明，本文算法相对于Frustum-PointNets，在Kitti数据集中，3D框检测精度提高了0.2%～13.0%；鸟瞰图的3D框检测精度提高了0.2%～11.3%。在SUN RGB-D数据集中，本文算法的3D框检测精度提高了0.6%～16.2%，平均检测精度（m AP）提高了4.4%。实验验证，本文算法在室外和室内场景中获得较好的目标检测及分割效果。     

基于卷积神经网络的病理细胞核分割

针对病理图像中细胞核的精准分割问题,结合全卷积网络框架和高分辨率网络框架的特点,提出一种卷积网络对细胞核进行自动精准地分割;基于稀疏非负矩阵分解的方法将具有严重颜色分布差异的病理图像进行颜色分布归一化,以归一化后的图像为输入,利用所提出的卷积网络对细胞核进行分割;该网络通过减少下采样算子的使用,使图像信息在前向计算过程中不会过分丢失,并使用扩张卷积扩大深层神经元的局部感受野尺度大小;所采用的分割方案在2017年MICCAI病理数字图像分割数据集中达到0. 848的平均dice分数;实验表明,融合全卷积网络框架和高分辨率网络框架的卷积网络在病理图像中实现了细胞核自动精准的分割,可以有效减轻影像医师的工作负担。     

一种基于消失点和颜色过滤器的车道线检测算法

针对经典霍夫车道线检测方法实用性较差,无法准确区分车道线和路沿与应用道路场景简单等问题,提出 了一种基于消失点和颜色过滤器的车道线检测算法,不仅提高车道线检测的准确率,而且能够应用较复杂行车场 景;首先,对行车视频连续五帧图像进行预处理,获取行车环境下车道线消失点位置,能够自适应选取行车环境图 像的感兴趣区域(Region of Interest,ROI);然后,对 ROI 图像根据车道线颜色特征进行过滤得到二值图像,获取二 值图像中所有连通区域质心和倾斜角等数据,通过结合消失点特征和角度阈值进行限制,筛选记录符合车道线特 征连通区域的数据,接着分割较大区域获取更多质心点,识别漏检符合车道线特征的区域质心点;最后,对获取的 质心点使用最小二乘法进行拟合并标识车道线;实验结果表明:算法能够在多场景道路上快速准确的检测出车道线,与经典霍夫算法进行仿真比较,算法具有一定的鲁棒性和实时性。     

基于分数阶微分Frangi的夜间车道线检测

基于机器视觉和图像处理的夜间车道线检测一直是该领域的研究难题,即使是近年的深度学习方法,检测精度只能达到50%左右.为此,研究了一种新的算法,根据车道线的特点和车辆的行驶速度,将视频中多幅图像融合到一幅图像中;利用图像的特点,在区域合并中识别出有效的车道线检测区域;将有效区域分割成新的图像后,采用基于Frangi和Hessian矩阵的算法对图像进行平滑和增强;为了提取车道线的特征点,提出了一种新的分数阶微分模板进行车道线特征点检测,该算法根据车道线在图像中可能的位置,从4个方向检测特征点;在检测出候选点后,应用递归Hough直线变换得到候选车道线,为了确定最终的车道线,一条车道线的角度应介于25°～65°之间,而另一条车道线的角度应介于115°～155°之间,否则,通过降低线点数的阈值继续进行Hough直线检测,直到获得两条车道线为止.通过对数百幅夜间车道线图像的测试,并与深度学习方法和传统的图像分割算法进行比较,新算法的检测准确率可达70%.     

多尺度特征融合的图像语义分割

针对多尺度下的目标分割问题,提出了一种多尺度特征融合的图像语义分割方法.该方法改进了空洞空间金字塔池化(ASPP)模块,采用6种不同采样率空洞卷积并行架构增强了对输入图像信息的提取,该模块可以获取多尺度的卷积特征,从而进一步增强图像分割能力.通过在PASCAL VOC 2012数据集上进行训练和验证,达到了82.0%的平均像素准确率和71.9%的平均交并比.实验结果表明:通过改进空间维度上的ASPP模块,该方法可以达到良好的图像语义分割效果.     

基于残差U-Net网络的染色体图像分割方法

针对染色体识别的难题,提出一种基于残差U-Net网络的染色体图像分割方法.以残差网络和U-Net网络为基础简化深层网络的训练,利用丰富的跳跃连接促进信息传播;通过将U-Net网络底层的卷积层替换成不同尺度的空洞卷积,保持特征空间分辨率不变的同时扩大特征感受野,实现多尺度感受野提取图像特征的同时减少特性信息的丢失;压缩路...