基于多尺度特征融合的快速单目图像深度估计

文章针对目前采用深度学习估计单目图像深度中存在推理时间长、物体边缘细节不清晰的问题,设计一种基于多尺度特征融合的快速单目图像深度估计网络.将GhostNet运用到单目图像深度估计网络的编码网络中,提高网络的编码速度;采用反卷积和双线性插值设计解码网络,并通过跨层连接将编码网络的特征与解码网络的特征融合增强深度图中物体的...     

强化边缘的单目图像深度估计

为解决目前单目图像深度估计过程中物体边界处深度跳变不明显导致的遮挡难以判别、边界处深度估计准确度较低的问题,提出了一种强化边缘的单目图像深度估计方法．采用深度估计网络输出最初预测的深度图,同时采用深度补偿网络输出应补偿深度的预测值,通过融合两组网络的输出实现对最初预测的深度图中物体边界轮廓处深度值的补偿．此外,通过设计点约束损失函数,并引入多尺度特征融合损失函数进一步提升边界处的深度估计精度．在NYU Depth v2数据集和iBims数据集上的测试实验表明本文方法能有效提升深度图中物体轮廓的清晰度,使得物体遮挡判别更加容易,可进一步提升单目图像深度估计的效果．     

基于多尺度特征提取的单目图像深度估计

在目前基于深度学习的单目图像深度估计方法中,由于网络提取特征不够充分、边缘信息丢失从而导致深度图整体精度不足。因此提出了一种基于多尺度特征提取的单目图像深度估计方法。该方法首先使用Res2Net101作为编码器,通过在单个残差块中进行通道分组,使用阶梯型卷积方式来提取更细粒度的多尺度特征,加强特征提取能力;其次使用高通滤波器提取图像中的物体边缘来保留边缘信息;最后引入结构相似性损失函数,使得网络在训练过程中更加关注图像局部区域,提高网络的特征提取能力。在NYU Depth V2室内场景深度数据集上对本文方法进行验证,实验结果表明所提方法是有效的,提升了深度图的整体精度,其均方根误差(RMSE)达到0.508,并且在阈值为1.25时的准确率达到0.875。     

一种改进的卷积神经网络的室内深度估计方法

针对单幅图像的室内深度估计缺少显著局部或全局特征问题,提出了一种基于多种网络(全卷积网络分别与通道注意力网络、残差网络结合)构成的编码器解码器结构.该网络采用端到端的学习框架.首先使用全卷积网络与通道注意力网络结合的全卷积通道注意力网络模块作为编码器,通过信道信息获取全局感受野,提高特征图精度,并适当地将全连接层改为卷积层以达到减少网络参数的目的.然后将全卷积网络与残差网络结合构成的上采样模块作为解码器,利用ResNet的特点——跳层连接,将解码器网络加深,提高深度图的精度,将卷积网络与残差网络结合,实现端对端,并减少网络运行所用时间.最后,使用L1损失函数优化模型.在公开数据集NYUDepth v2的测试下,实验结果表明,和现有的其他单目深度估计方法相比,本文所提出的网络模型不仅精简了繁琐的精化粗图的过程,而且所预测的深度图精度更高,阈值精度的提升不少于0.5%,运行网络结构的平均用时21 ms,为实现实时性奠定了基础,具有一定的理论研究价值和实际应用价值.     

基于多尺度特征混合注意力的连续帧深度估计

目的 估计获取拍摄物体到相机之间距离的深度信息是单目视觉 SLAM 中获取深度信息的方法,针对无监督 单目深度估计算法出现精度不足以及误差较大的问题,提出基于多尺度特征融合的混合注意力机制的连续帧深度 估计网络。 方法 通过深度估计和位姿估计的两种编码器解码器结构分别得到深度信息和 6 自由度的位姿信息,深 度信息和位姿信息进行图像重建与原图损失计算输出深度信息,深度估计解码器编码器结构构成 U 型网络,位姿 估计网络和深度估计网络使用同一个编码器,通过位姿估计解码器输出位姿信息;在编码器中使用混合注意力机 制 CBAM 网络结合 ResNet 网络提取四个不同尺度的特征图,为了提升估计的深度信息轮廓细节在提取的每个不 同尺度的特征中再进行分配可学习权重系数提取局部和全局特征再和原始特征进行融合。 结果 在 KITTI 数据集 上进行训练同时进行误差以及精度评估,最后还进行了测试,与经典的 monodepth2 单目方法相比误差评估指标相 对误差、均方根误差和对数均方根误差分别降低 0. 034、0. 129 和 0. 002,自制测试图片证明了网络的泛化性。 结论 使用混合注意力机制结合的 ResNet 网络提取多尺度特征,同时在提取的特征上进行多尺度特征融合提升了深度 估计效果,改善了轮廓细节。     

基于特征稀疏化的粉尘图像深度预测

【目的】针对粉尘环境中单幅图像深度预测精度低的问题，提出了一种基于输入特征稀疏化的粉尘图像深度预测网络。【方法】使用粉尘图像的直接传输率与深度的关系设计预估计深度网络，利用图像颜色衰减先验原理进一步获取粉尘图像的稀疏深度特征。将该稀疏深度特征与粉尘图像一起作为深度预测网络的输入。深度预测网络以“编码器-解码器”为模型框架，编码器中使用残差网络(ResNet)对粉尘图像进行编码，设计融合通道注意力机制的稀疏卷积网络对稀疏深度特征进行编码。解码器中采用反卷积以及多尺度上采样的方法，以更好的重建稠密的深度信息。使用最小绝对值损失和结构相似性损失作为边缘保持损失函数。【结论】在NYU-Depth-v2数据集上的实验结果表明该方法能够从粉尘图像中有效预测深度信息，平均相对误差降低到0.054,均方根误差降低到0.610,在δ<1.25时准确率达到0.967.     

基于全尺度特征融合的无监督单目深度估计

当前无监督单目深度估计取得了很大的进展，但仍然存在着大梯度区域估计不准确的问题，主要是因为深度估计网络没有探索出有效的空间特征和语义信息，导致物体边界等大梯度区域存在着较大误差。针对这一问题，提出全方位探索特征信息的深度估计网络架构，整个框架利用全尺度的跳跃连接进行特征的整合，最后通过有效的通道注意力特征融合模块来进行特征融合，这两个巧妙的设计共同提升了单目深度估计模型的精度。在KITTI数据集上的实验结果表明，能够提升无监督单目深度估计的准确性以及生成更加锐利的物体边界。     

基于深度学习的无人机单目视觉避障算法

针对基于单目视觉的无人机(UAV)避障问题,本研究提出基于单目深度估计和目标检测的四旋翼自主避障方法。其中,单目深度估计模型提供障碍物像素级别的深度信息,目标检测模型提供障碍物的位置信息。单张红绿蓝(RGB)图像的深度图和目标检测结果由卷积神经网络(CNN)获得;图像的区域划分以目标检测结果为依据,区域深度以深度估计结果为计算依据;规划算法依据区域深度和区域划分结果计算无人机的线速度和角速度,实现无人机的自主避障。为验证算法的自主避障性能,采用Parrot Bebop2无人机对本研究提出的算法与直飞算法进行实飞对比实验。结果表明:本研究提出的算法可用于四旋翼无人机的低速自主避障。     

深度补全的无动态对象单目视觉SLAM研究

现有的单目视觉SLAM方案为了提高精度，大多都是通过增加各种传感器来实现的，这并没有将单目相机的表现发挥到极致。文章提出了一个基于ORB-SLAM3的视觉SLAM系统，旨在最大化地利用单目资源，在单目相机的基础上通过增加深度预测网络来模拟深度相机，利用CNN和ORB融合的方法进行特征点提取，并结合深度图进行特征过滤，旨在提高驾驶场景单目相机位姿预测精度，同时为避免动态对象对SLAM系统造成的干扰，文章引入了图像的实例分割网络。     

基于注意力特征融合稠密网络的图像去雾算法

目前主流图像去雾算法输出的结果图像存在颜色失真、边缘模糊的问题.为改善上述问题,提出一种基于深度学习的图像去雾算法,所提算法由两个模块构成:注意力特征融合模块和雾霾模型参数估计模块.注意力特征融合模块用于充分提取雾霾图像的颜色、边缘特征;基于稠密连接空洞卷积自编码器的雾霾模型参数估计模块用于估计雾霾模型的参数,改善网络退化的问题.在浓雾图像、薄雾图像数据集上的实验表明,本文提出的算法有效地实现了图像去雾,与主流的图像去雾算法相比具有更高的结构相似性(SSIM),更低的均方误差(mean-square error,MSE)和边缘误差e_○edge.     

融合边缘语义信息的单目深度估计

单目深度估计研究是许多视觉任务的基础,从图像中得到边缘清晰,细节丰富的深度图对于后续任务具有重要的作用.针对当前单目深度估计模型中不能深度融合图像语义信息以及不能较好地利用图像对象的边缘信息问题,首先构建了超像素拓扑关系图,使用图神经网络提取局部边缘信息之间的相互关系,得到以超像素为节点的拓扑关系图,其次构建了基于编解...     

基于目标检测的单目视觉半稠密语义地图构建

传统的视觉SLAM系统在机器人定位和制图工作中取得了显著的成功,但存在着缺乏场景信息、地图过于稀疏、单目相机初始化困难等亟待解决的问题。本文提出了MNS-SLAM（Monocular-semantic SLAM）,将目标检测算法与单目视觉SLAM（同时定位与地图构建）技术相结合,进而构建有助于环境理解的半稠密语义地图。首先,通过目标检测网络YOLOv4检测对象获取边界框和类别信息,通过消失点算法和二次曲面恢复算法由2D目标检测恢复出3D长方体及二次曲面,实现3D物体的位姿初始化。同时,引入了目标间相对位姿不变性的语义约束,构造了语义损失函数,将其添加到BA优化中,最后通过增量式3D线段提取,构建带有物体语义信息的半稠密地图。文中方法在TUM公开数据集和真实场景中进行试验,不仅构建了半稠密地图,同时添加了语义信息,为后端的优化提供了新的约束,相机的绝对和相对位姿误差表现出优于单目ORB-SLAM2的性能,有助于搭载单目相机的移动机器人感知和理解环境,执行更复杂的任务。     

一种改进的基于混合高斯分布模型的自适应背景消除算法

视频检测技术是智能交通系统研究中一个重要研究方向,根据交通流视频检测的特点,对基于混合高斯分布模型的自适应背景消除方法进行了改进.包括:背景模型匹配只使用亮度信息;将高斯分布模型按权值、方差排序;使用单目深度信息来确定背景;动态调整采样频度等.实验表明,本文提出的算法,分割效果较佳,分割的实时性大大增强.     

基于多掩膜技术的无监督深度与光流估计方法

针对自动驾驶领域现有方法在处理动态、遮挡等复杂实际场景时存在的估计不准确问题,提出了一种以多掩膜技术为基础的无监督深度与光流估计方法,通过无监督学习从单目视频序列中提取目标深度、相机运动位姿和光流信息。根据不同外点类型设计了多种特定掩膜,以有效抑制外点对光照一致性损失函数的干扰,并在位姿估计和光流估计任务中起到剔除外点的作用。引入预训练的光流估计网络,协助深度和位姿估计网络更好地利用三维场景的几何约束,从而增强联合训练性能。最后,借助训练得到的深度和位姿信息,以及计算得到的掩膜,对光流估计网络进行了优化训练。在KITTI数据集上的实验结果表明,该策略能够显著提升模型的性能,并优于其他同类型方法。     

一种基于三阶亮度校正的平面视频转立体视频快速算法

本文提出了一种新的平面视频转立体视频的快速算法.这种算法能够实时的将平面视频转换成立体视频,并能在三维显示设备上呈现出逼真的立体效果.首先将原始平面视频中的图像按照高斯分布进行立体变换,然后将视频中的图像序列生成加权平均亮度图,并将亮度分为3个等级,分别对这3个等级区域中的图像进行立体校正,最终得到完整的立体视频.我们的方法替代了传统方法中,生成深度图像的步骤,从而大大的提升了运算的速度,能够在原始平面视频的实时播放过程中,直接输出带有立体效果的画面.     

基于单目深度估计方法的图像分层虚化技术

实现了一种基于单目深度估计方法的图像分层虚化技术,可使前景清晰背景模糊,离镜头越远虚化效果越明显:首先对图像等比例缩小并且对图像中的物体做边缘检测,并利用线性追踪生成线条扫描信息图,利用双边滤波器对初始深度图做平滑处理得到深度图,依据深度信息选择阈值将图像分层,在分层的基础上对图像背景做高斯模糊处理,最终得到图像分层虚化效果,增强图像的表现力和艺术效果. 本技术的实现效果较为理想,能达到良好的图像分层虚化效果。     

改进的空间体素融合方法及其在线重建

目前,随着深度传感器的更新发展,使得三维重建的在线方法得以实现.在线重建的难点在于如何能够在保证较好的重建效果和重建规模的前提下,实时地将多个动态重叠深度图转化成一个三维模型.针对这一问题,本文算法基于空间索引策略构建了一种存取高效的空间体素数据结构,改进了传统体积融合方法中的规则分层网格数据结构,对隐含表面数据进行实时存取与更新的同时,实现大尺度的在线三维重建.这些表面数据仅在观测时存储,并且高效地流入和流出索引表,实现了传感器运动过程中的在线场景重建.算法通过在GPU(Graphics Processing Pipeline)上完成深度图预处理,摄像姿态估计,深度图融合和表面绘制几个核心阶段,实现对细粒度的细节和大尺度的环境进行交互式实时重建.通过实验表明,改进后的重建系统能够在保证重建质量与重建性能的同时,平均重建时间为21.6ms,ICP姿态估计15次,用时8.0ms,平均帧绘制速率提高13.3%,实现了对大尺度场景的实时三维重建.     

基于膨胀卷积的多模态融合视线估计

基于表观的视线估计方法主要是在二维的三原色(red green blue,RGB)图像上进行,当头部在自由运动时视线估计精度较低,且目前基于卷积神经网络的表观视线估计都普遍使用池化来增大特征图中像素点的感受野,导致了特征图的信息损失,提出一种基于膨胀卷积神经网络的多模态融合视线估计模型.在该模型中,利用膨胀卷积设计了一...