强化边缘的单目图像深度估计

为解决目前单目图像深度估计过程中物体边界处深度跳变不明显导致的遮挡难以判别、边界处深度估计准确度较低的问题,提出了一种强化边缘的单目图像深度估计方法．采用深度估计网络输出最初预测的深度图,同时采用深度补偿网络输出应补偿深度的预测值,通过融合两组网络的输出实现对最初预测的深度图中物体边界轮廓处深度值的补偿．此外,通过设计点约束损失函数,并引入多尺度特征融合损失函数进一步提升边界处的深度估计精度．在NYU Depth v2数据集和iBims数据集上的测试实验表明本文方法能有效提升深度图中物体轮廓的清晰度,使得物体遮挡判别更加容易,可进一步提升单目图像深度估计的效果．     

基于多尺度特征融合的快速单目图像深度估计

文章针对目前采用深度学习估计单目图像深度中存在推理时间长、物体边缘细节不清晰的问题,设计一种基于多尺度特征融合的快速单目图像深度估计网络.将GhostNet运用到单目图像深度估计网络的编码网络中,提高网络的编码速度;采用反卷积和双线性插值设计解码网络,并通过跨层连接将编码网络的特征与解码网络的特征融合增强深度图中物体的...     

基于多尺度特征混合注意力的连续帧深度估计

目的 估计获取拍摄物体到相机之间距离的深度信息是单目视觉 SLAM 中获取深度信息的方法,针对无监督 单目深度估计算法出现精度不足以及误差较大的问题,提出基于多尺度特征融合的混合注意力机制的连续帧深度 估计网络。 方法 通过深度估计和位姿估计的两种编码器解码器结构分别得到深度信息和 6 自由度的位姿信息,深 度信息和位姿信息进行图像重建与原图损失计算输出深度信息,深度估计解码器编码器结构构成 U 型网络,位姿 估计网络和深度估计网络使用同一个编码器,通过位姿估计解码器输出位姿信息;在编码器中使用混合注意力机 制 CBAM 网络结合 ResNet 网络提取四个不同尺度的特征图,为了提升估计的深度信息轮廓细节在提取的每个不 同尺度的特征中再进行分配可学习权重系数提取局部和全局特征再和原始特征进行融合。 结果 在 KITTI 数据集 上进行训练同时进行误差以及精度评估,最后还进行了测试,与经典的 monodepth2 单目方法相比误差评估指标相 对误差、均方根误差和对数均方根误差分别降低 0. 034、0. 129 和 0. 002,自制测试图片证明了网络的泛化性。 结论 使用混合注意力机制结合的 ResNet 网络提取多尺度特征,同时在提取的特征上进行多尺度特征融合提升了深度 估计效果,改善了轮廓细节。     

基于多掩膜技术的无监督深度与光流估计方法

针对自动驾驶领域现有方法在处理动态、遮挡等复杂实际场景时存在的估计不准确问题,提出了一种以多掩膜技术为基础的无监督深度与光流估计方法,通过无监督学习从单目视频序列中提取目标深度、相机运动位姿和光流信息。根据不同外点类型设计了多种特定掩膜,以有效抑制外点对光照一致性损失函数的干扰,并在位姿估计和光流估计任务中起到剔除外点的作用。引入预训练的光流估计网络,协助深度和位姿估计网络更好地利用三维场景的几何约束,从而增强联合训练性能。最后,借助训练得到的深度和位姿信息,以及计算得到的掩膜,对光流估计网络进行了优化训练。在KITTI数据集上的实验结果表明,该策略能够显著提升模型的性能,并优于其他同类型方法。     

基于多尺度特征提取的单目图像深度估计

在目前基于深度学习的单目图像深度估计方法中,由于网络提取特征不够充分、边缘信息丢失从而导致深度图整体精度不足。因此提出了一种基于多尺度特征提取的单目图像深度估计方法。该方法首先使用Res2Net101作为编码器,通过在单个残差块中进行通道分组,使用阶梯型卷积方式来提取更细粒度的多尺度特征,加强特征提取能力;其次使用高通滤波器提取图像中的物体边缘来保留边缘信息;最后引入结构相似性损失函数,使得网络在训练过程中更加关注图像局部区域,提高网络的特征提取能力。在NYU Depth V2室内场景深度数据集上对本文方法进行验证,实验结果表明所提方法是有效的,提升了深度图的整体精度,其均方根误差(RMSE)达到0.508,并且在阈值为1.25时的准确率达到0.875。     

结合轮廓信息递归融合的显著性检测

针对当前显著性检测算法在检测图像目标边界时,由于轮廓信息不能够及时有效地被利用,导致检测目标效果差的问题,提出一种结合轮廓特征信息的显著性检测算法。该算法以深度残差网络的编解码结构为基础,在自下而上的路径中,首先引用一种融合方式交换轮廓特征与显著特征之间信息的单元模块,然后采用递归结构加强融合进行优化,提升轮廓信息的利用率。最后在此基础上,通过特征提取模块从分阶段的网络模型中提取出最有价值的上层特征,并且与真值图进行监督学习,以生成最优的边界预测。在DUT-OMRON、ECSSD等公开数据集上进行实验,结果表明,相对ITSD、F3Net等算法,该算法能够明显提高检测目标边界的精准度。     

基于多尺度时序交互的第一人称行为识别方法

对于第一人称行为识别任务,现有方法大多使用了目标边界框和人眼视线数据等非行为类别标签对深度神经网络进行辅助监督,以使其关注视频中手部及其交互物体所在区域。这既需要更多的人工标注数据,又使得视频特征的提取过程变得更为复杂。针对该问题,提出了一种多尺度时序交互模块,通过不同尺度的3D时序卷积使2D神经网络提取的视频帧特征进行时序交互,从而使得单一视频帧的特征融合其近邻帧的特征。在只需行为类别标签作监督的情况下,多尺度时序交互能够促使网络更加关注第一人称视频中手部及其交互物体所在区域。实验结果表明,提出的方法在识别准确率优于现有第一人称行为识别方法。     

基于多尺度特征融合的单目图像深度估计

为解决从单目图像中很难恢复出准确、有效深度信息的问题,提出一种多尺度特征融合的单目图像深度估计算法.算法采用端对端训练的卷积神经网络(CNN)结构,引入从图像编码器到解码器的跳层连接来实现在不同尺度上特征的提取和表达,设计了一种多尺度的损失函数来提升卷积神经网络的训练效果.通过在NYU Depth V2室内场景深度数据集和KITTI室外场景深度数据集上的训练、验证和测试,实验结果表明:提出的多尺度特征融合方法得到的深度图边缘清晰、层次分明,且在室内场景和室外场景中均能适用,具有较强的泛化性,可以适应多种实际场景的需求.     

基于半稠密COLMAP自监督单目内窥镜深度估计

在单目内窥镜场景下人体内组织表面纹理稀疏,视野受限给图像的深度估计带来了一定的困难。针对以上问题,提出了一种基于半稠密COLMAP(structure-from-motion and multi-view stereo generation pipeline)结合动态卷积注意力机制的自监督单目深度估计方法。通过改进的COLMAP进行图像序列预处理,产生加权半稠密深度图作为监督信号,该过程引入加权可靠度对半稠密深度图中的干扰点和不准确点进行丢弃或抑制操作,在训练网络中加入了具有动态卷积的注意力机制模型(Selective Kernel Networks, SKNet),这种注意力机制模型可以对输入的特征图进行动态卷积以获得更多感受野的信息,加强网络对特征的提取能力。在肝脏数据集上进行试验,结果表明,绝对相对差为0.135,阈值T<1.25³时,准确率为0.985,对监督数据、SKNet模型进行了消融实验,证明了半稠密重建、SKNet模型以及加权半稠密深度图的有效性。     

基于关键点特征融合的六自由度位姿估计方法

针对单张RGB-D图像进行六自由度目标位姿估计难以充分利用颜色信息与深度信息的问题,提出了一种基于多种网络(金字塔池化网络和PointNet++网络结合特征融合网络)构成的深度学习网络框架.方法用于估计在高度杂乱场景下一组已知对象的六自由度位姿.首先对RGB图像进行语义识别,将每一个已知类别的对象掩膜应用到深度图中,按...     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

融合边缘语义信息的单目深度估计

单目深度估计研究是许多视觉任务的基础,从图像中得到边缘清晰,细节丰富的深度图对于后续任务具有重要的作用.针对当前单目深度估计模型中不能深度融合图像语义信息以及不能较好地利用图像对象的边缘信息问题,首先构建了超像素拓扑关系图,使用图神经网络提取局部边缘信息之间的相互关系,得到以超像素为节点的拓扑关系图,其次构建了基于编解...     

“弄假成真”：基于对抗学习的数据增广方法

 近年来,深度学习在计算机视觉领域取得了巨大的突破,其背后是利用大量标签数据对深度网络进行监督训练,而标注大规模数据集非常昂贵且十分耗时。针对大规模数据集标注问题,苹果公司的Shrivastava团队希望借助现有的计算机仿真技术以及对抗训练的方法,实现仿真图像的无监督学习,从而避免昂贵的图像标注过程。该团队在对抗网络的基础上提出3个创新点：（1）自正则项;（2）局部对抗损失;（3）使用历史生成图片更新判别器,使得生成真实化图片的同时保留输入图像特征。实验结果展示该方法可以生成高度真实化的图片。研究者通过训练凝视估计模型、手部姿态估计模型定量分析生成图片的效果,分析结果表明,使用生成图片训练的模型,在MPⅡGaze数据集上测试效果有很大的提升,达到了当时最好的效果。不过,研究者并未在包含多个物体的复杂场景下进行实验,文中提出的方法在复杂场景下的应用还存在局限性。     

基于特征融合SSD的微电连接器缺陷检测

提出基于多尺度特征融合单次多框检测器(SSD)算法,对微精密玻璃封装电连接器的缺陷进行检测．针对SSD算法在背景复杂、噪声干扰多、目标特征微弱环境下,特征提取能力弱、检测精度低的问题,在主干网络加入深度残差结构,丰富细节信息;针对在卷积网络中关键信息逐步丢失问题,提出了自顶向下的多尺度特征融合方法将含有上下文信息的高语义层与含有位置信息的低层特征进行融合,使得融合后的特征层包含丰富的边界信息和背景信息;在此基础上,构建了一种轻量级的通道注意力模块,增强SSD算法对特征层重要特征的提取并弱化无关特征,从而提高SSD网络的特征提取能力．实验结果表明：改进算法相对于原始的SSD算法,精度由86.42%提高到了91.28%.     

基于多模态深度神经网络的抓取检测方法

针对机器人抓取检测任务中对未知物体抓取检测精度低的问题,本文提出了一种多模态深度神经抓取检测模型。首先,在RGB和深度两个通道中引入残差模块以进一步提升网络的特征提取能力。接着,引入多模态特征融合模块进行特征融合。最终通过全连接层回归融合特征以得到最佳抓取检测结果。实验结果表明,在Cornell抓取数据集上,本文方法的图像拆分检测精度达到95.7%,对象拆分检测精度达到94.6%。此外,本文还通过消融实验证明了引入残差模块可以提高网络抓取检测性能。     

基于多任务深度特征提取及MKPCA特征融合的语音情感识别

【目的】针对传统声学特征所含情感信息不足的问题，提出一种基于多任务学习的深度特征提取模型优化声学特征，所提声学深度特征既能更好表征自身又拥有更多情感信息。【方法】基于声学特征与语谱图特征之间的互补性，首先通过卷积神经网络提取语谱图特征，然后使用多核主成分分析方法对这两个特征进行特征融合降维，所得融合特征可有效提升系统识别性能。【结果】在EMODB语音库与CASIA语音库上进行实验验证，当采用DNN分类器时，声学深度特征与语谱图特征的多核融合特征取得最高识别率为92.71%、88.25%,相比直接拼接特征，识别率分别提升2.43%、2.83%.     

基于权重组合学习的无参考立体图像质量评价

深度学习被广泛应用于2D 图像的质量评价(2D-IQA) 研究中,而在3D 图像质量评价(3D-IQA) 中还没有展开深入研究.针对对齐失真立体图像,本文提出了一种基于权重组合学习的无参考立体图像质量评价模型.通过有效融合两支独立的单视图质量评价深度网络模型,将左右眼视图作为整体对象进行评估; 再根据双目竞争原理,又设计了一种权重深度网络用以估计左右眼的不同能量分布; 最后,这两个子网络组合成端到端的权重组合学习深度质量网络.实验结果证明: 该模型对于对称失真的立体图像质量评价有显著提升.     

面向路面附着估计的路面图像识别

为提升智能辅助驾驶系统对路面附着系数估计的准确性与实时性，研究了一种基于视觉信息的路面识别深度学习算法，实现路面附着系数的预估计。设计压缩卷积机制以降低网络运算参数，采用特征图全局平均替换全连接层以提升网络的拟合性能，并构建路面识别深度卷积神经网络DW-VGG。利用自建路面图像数据集对网络进行训练，测试结果表明，基于提出的多层知识蒸馏技术的DW-VGG网络识别精度较高，分类性能评估指标F₁得分为96.57%，并有效降低了网络的运算和内存成本，识别单张图像只需32.06 ms，预测模型只有5.63 M。     

基于浅层残差网络的视线估计算法

针对目前的视线估计算法准确度较低的问题，提出一种基于浅层残差网络的算法。利用残差网络结构特点，对图片在不同层次提取到的特征进行融合计算。实验表明，使用基于浅层残差网络结构的算法与使用LeNet-5 结构算法相比，准确率提升了近 8． 5% ，视线估计算法准确度得到了有效的提升。     

基于图像矫正与去噪的车牌识别算法RD-LPRNet

复杂场景下的车牌目标存在大倾角、远距离、光照不均等负面因素，极大地加剧了车牌识别的难度。针对上述问题，提出了一种新的车牌识别算法RD-LPRNet,该算法首先采用改进空间变换网络RNet预测仿射变换参数，对存在大倾角的车牌进行几何矫正；接着构造基于自适应注意力机制的去噪网络DNet,以真实-标准车牌对为训练数据，提高网络提取有效特征、剔除无效噪声信息的能力；最后基于LPRNet,改进其网络输入结构以丰富初始输入特征，提高训练收敛速度；添加深度分离卷积瓶颈结构，增强网络的特征提取能力；加入残差卷积替代特征拼接实现更高效的特征融合与传递。对CCPD、CLPD、PKUdata、OpenITS以及本文人工采集的车牌数据的测试结果表明，RD-LPRNet在复杂场景下表现出更高的识别性能。