基于卷积神经网络的单幅图像室内物体姿态估计

单幅图像的目标检测和物体姿态估计一直是计算机视觉领域中非常重要的研究内容.利用卷积神经网络对单幅室内场景图像进行研究分析,提出了一种基于卷积神经网络的单幅图像室内物体姿态估计算法.该算法采用直接分类预测的方法来实现物体的姿态估计.通过改进Faster-RCNN网络结构,利用室内场景数据集SUNRGB-D训练网络,实现端到端单幅室内图像目标检测和姿态估计.实验结果表明,该算法目标检测平均准确度为70%,姿态估计结果中平移估计准确度为28%,旋转角度估计准确度为30%.     

基于激光雷达和摄像机融合的智能车障碍物识别方法

针对智能车环境感知中单一传感器所存在的局限性问题,提出一种通过激光雷达融合摄像机来感应识别智能车前方障碍物的方法。首先,通过激光雷达与摄像机之间的校准,实现目标的三维数据的图像投影,并进行视觉图像与目标的三维雷达数据的融合,以提取障碍物候选区域。其次,提出了一种基于卷积神经网络(convolutional neural network,CNN)和支持向量机(support vector machines,SVM)的障碍物识别模型,用于训练KITTI数据库中的数据,检测视觉图像中的行人和车辆目标,以此来得到所需要的单帧下各传感器的目标检测数据。实验结果表明,所提出的模型在KITTI中选择的小数据集上获得的模型在实际测试中具有良好的性能,具有可靠的识别能力和良好的分类结果。     

基于激光雷达和摄像机融合的智能车障碍物识别方法研究

针对智能车环境感知中单一传感器所存在的局限性问题,本文提出一种通过激光雷达融合摄像机来感应识别智能车前方障碍物的方法。首先,通过激光雷达与摄像机之间的校准,来实现目标的三维数据的图像投影,并进行视觉图像与目标的三维雷达数据的融合,以提取障碍物候选区域。其次,提出了一种基于卷积神经网络和SVM的障碍物识别模型,用于训练KITTI数据库中的数据,检测视觉图像中的行人和车辆目标,以此来得到所需要的单帧下各传感器的目标检测数据。实验结果表明,所提出的模型在KITTI中选择的小数据集上获得的模型在实际测试中具有良好的性能,具有可靠的识别能力和良好的分类结果。     

基于RGB图像的二阶段机器人抓取位置检测方法

随着机械臂在越来越多的场合扮演着重要的角色,准确的抓取位置检测是整个机械臂系统顺利完成任务的关键,为此提出一种以整个图片为输入直接输出结果的端到端实时检测方案.物体的抓取点位置会影响到该物体的抓取角度,基于此给出了一种两阶段预测方案将这两个要素分开预测.首先,建立一个卷积神经网络预测物体的抓取点位置;然后,以抓取点位置为中心采集原图像中的一个方形区域.针对这一区域利用Canny算法以及Hough变换进行边缘提取和直线检测,并提出一种主方向提取算法,分析得到直线,进而确定物体的角度和抓取时平行夹持器张开的间距.抓取位置检测算法给出了基于RGB图像预测的较好准确率,神经网络与传统方法的结合使用也为以后的研究提供了参考.     

复杂场景图像中人员目标检测算法的改进

图像或视频中的人员目标检测,一般采用单个深层神经网络检测器(SSD)算法.但在复杂场景下,SSD算法因场景复杂、物体重叠、遮挡等干扰,检测精度大大降低.在SSD算法中加入反卷积网络反馈用于增加环境感知信息;采用辅助损失函数以促进损失降低,并将复杂场景中的目标检测多分类问题转换为二分类问题.以无人机拍摄的复杂场景下的行人数据集为例进行人员目标检测实验,对比分析多种检测方法的准确率表明,改进后的SSD算法在检测速度和识别精度上均提高明显.     

目标追踪位置估计的单目视觉算法

提出了单摄像机安装在机器人上的视觉伺服系统的位置估计方法．提出的方法集成了由运动恢复深度和由散焦恢复深度的技术以满足实时要求．对于远距运动物体，用Grassmarm-Cayley代数中的Plucker表示法获取物体的位置估计．对于近距运动物体，用多层前馈型神经网络来恢复物体位置．用提出的判据在两种方法中切换．实验结果表明，估计精度得以提高．     

基于级联CNN的疏散场景中人群数量估计模型

对疏散场景中的人员数量进行准确估计，能为疏散路径的实时优化和应急资源的调度提供决策支持。为了获取疏散通道上不同区域的人员数量，该文在对已有方法分析和总结的基础上，通过设置分类情况和人员密度层级相联，建立了基于级联卷积神经网络(CNN)的人员数量估计模型，可有效避免卷积过程中部分图像信息丢失及过拟合的产生。通过学习图像中人员数量、位置随着图像特征变化的关系，可估计疏散通道上实时监控画面中人员数量。基于PyTorch深度学习平台开发，模型最终在验证集(612张图像)和测试集(182张图像)上的识别准确度分别为84.2%和83.6%,说明该模型可以比较准确地估计监控画面中的疏散人员数量。     

稀疏连通卷积神经网络有效近似研究

深度卷积神经网络在图像分类和物体检测上已取得卓越表现,其代价是需要大量参数和复杂计算.针对全连通卷积神经网络运算复杂性,已有研究提出稀疏卷积连通神经网络算法,但卷积(稀疏和非稀疏)连通深度神经网络算法在理论上还有待完善.主要研究稀疏连通卷积神经网络的近似理论,考虑在Sobolev空间中具有任意紧支集的函数,利用表示系统■实现稀疏连通卷积神经网络对函数的有效逼近.     

基于可变形卷积融合双注意力机制的缺陷检测方法

在工业生产制造过程中，由于生产失误致使产品表面缺陷不仅影响产品质量，同时也会损害企业形象.针对现有方法使用卷积神经网络只具备局部感受野的问题，将Vision Transformer(ViT)作为特征提取器，ViT可以通过位置编码与图像块间的互相运算充分利用图像中各部分间的关联特征.此外，针对现实场景下的缺陷区域是不规则、不连续的，现有的模型也未充分利用图像中通道与空间信息问题，提出了一种基于可变形卷积融合空间通道双注意力机制的方法(deformable convolutional and dual attention flow,简称DCA-Flow).对于不规则的缺陷区域，使用形变建模能力更强的可变形卷积进行特征提取，并利用通道与空间维度的注意力机制对可变形卷积提取的特征进行权重再调节.实验结果表明，所提出的方法能够有效检测各种类别物体中的表面缺陷，在多种物体中的平均AUROC值可达96.4%,相较基线方法最大值提高了1.4%,且具备更好的泛化性.     

基于图像的3D场景重建

给出了用DSP实现基于图像的3D场景重建的方法和步骤.3D场景重建主要由摄像机标定、图像采集和基于图像的重建3个部分组成.在摄像机标定中,使用摄像机作为测量装置来确定它的内部和外部参数,比对摄像机直接进行测量更为方便;利用摄像机、SEED-VPM642实时图像处理应用平台和PC机构成的系统进行图像采集,DSP芯片与PC机的图像传输采用PCI通信实现;采用体素着色(Voxel Coloring)方法实现3D场景重建,使现实物体在计算机虚拟世界中得以重现.     

基于卷积-递归神经网络和费舍尔向量的RGB-D物体识别

综合利用彩色和深度信息,采用多数据模式的特征提取策略,提出一种基于卷积-递归神经网络和费舍尔向量的RGB-D 物体识别方法. 对于彩色图像和深度图像,分别利用卷积-递归神经网络和卷积-费舍尔向量-递归神经网络提取物体的纹理及形状特征. 为了更加全面的获取物体信息的特征表述,引入了灰度图像和表面法向量作为原始数据的补充,并利用卷积-递归神经网络提取特征. 最后,将4 种数据模式下提取到的特征融合起来,输入到softmax 分类器中实现RGB-D 物体识别. 在标准的RGB-D 数据库中对算法进行验证,所提算法可以有效提高物体识别率.     

一种基于场景规则与深度卷积神经网络的行人检测方法

深度卷积网络是解决分类问题的一种有效手段,但行人检测任务并不能通过分类来直接实现.为了在行人检测问题中进一步发挥深度卷积网络的优越分类性能,在实拍场景下,针对平直道路的情况,提出了一种基于摄像机安装位置和摄像机参数的感兴趣区域分割方法,合理利用先验知识和规则,对行人在图像当中可能出现的位置,以及不同位置上行人的尺度大小给出限制,从而系统仅对可能发生危险的区域进行搜索,避免了传统方法中多尺度遍历搜索整副图像的弊端.在此基础上,将危险区域所得的候选目标窗口作为待检测样本传送到构建好的深度卷积网络中进行分类,完成行人检测任务.实验结果表明,所研究的算法在一定距离内达到了预期的检测效果.     

基于集成卷积小波极限学习的绝缘子故障检测

针对绝缘子因分布位置较远、背景复杂而导致传统方法无法精准并高效识别其故障的问题,提出一种基于集成卷积小波极限学习神经网络(ECWELNN:Ensemble Convolution Wavelet Extreme Learning Neural Network)的绝缘子故障检测方法.首先通过安装在无人机上的工业级摄像机采集现场的绝缘子图像数据并进行预处理;其次将卷积神经网络、自动编码器、极限学习机和小波函数的优势结合,构造集成卷积小波极限学习神经网络,并逐层堆叠建立多个深层神经网络;最后将绝缘子图像样本输入多个深层神经网络进行自动特征学习,将预测结果进行集成并输出最终的故障检测结果.通过实验对比验证了小波函数作为极限学习机网络模型中的激活函数在绝缘子识别领域中的优势.实验结果表明,该方法的平均故障检测准确率达到了98.49％,标准差仅0.20,相比其他方法在图像特征提取和故障检测准确率方面更具优势,适用于绝缘子故障的自动识别.     

平面型场景图像的非层次化三维度量重建

平面型场景图像的三维度量重建就是确定图像平面到度量平面的八自由度同形矩阵,通过对平面型场景图像的三维度量重建方法的阐释,提出了非层次化平面型场景图像的三维度量重建方法,该方法不必对摄像机定标,直接考虑射影图像平面上的圆点Ip和Jp,Ip和Jp包含非度量矩阵N的四个自由度,把它们结合起来用两个圆点Ip和Jp表示对偶二次曲线来计算非度量矩阵N,基于场景几何知识,计算图像平面和世界平面之间的非度量矩阵N后就可得到平面型场景图像的三维度量重建。     

基于卷积神经网络的三维物体检测方法

提出了一种新的三维物体检测方法.在物体定位部分,采用随机采样一致和欧式聚类算法分割三维物体点云以减少计算量;在物体识别部分,将物体点云转化为深度图像,利用k-Means聚类算法学习卷积核,利用卷积网络提取卷积特征,从而提高图像的识别率,并在2个公开的三维物体数据集上对所提出的特征提取算法进行测试.结果表明,与传统的点云特征提取方法相比,基于卷积网络的特征提取方法的识别率较高.     

结合高斯核函数的卷积神经网络跟踪算法

针对视觉跟踪中运动目标鲁棒性跟踪问题,结合高斯核函数和卷积神经网络(CNN),提出一种无需训练的卷积神经网络提取深度特征的视觉跟踪算法.首先,对初始图像进行归一化处理并聚类提取目标信息,结合跟踪过程中目标信息共同作为卷积网络结构中的各阶滤波器;其次,通过高斯核函数来提高卷积运算速度,提取目标简单抽象特征;最后,通过叠加简单层的卷积结果得到目标的深层次表达,并结合粒子滤波跟踪框架实现跟踪.结果表明:简化后的卷积网络结构能够有效地应对低分辨率、目标遮挡与形变等场景,提高复杂背景下的跟踪效率.     

基于深度学习的自动驾驶技术综述

该文在行人检测技术方面介绍了基于卷积神经网络(CNN)模型的目标识别、检测技术与改进的区域卷积神经网络(R-CNN)、任务辅助卷积神经网络(TA-CNN)模型技术。在立体匹配技术方面简述了基于孪生网络的立体匹配的深度学习模型技术。在多传感器融合技术方面回顾了基于深度学习网络的视觉传感器、雷达传感器与摄像机传感器的多源数据融合技术。在汽车控制技术方面分析了基于卷积神经网络实现无人驾驶车辆端到端的横向与纵向控制技术。深度学习技术在自动驾驶领域的感知层、决策层与控制层的广泛运用,不断地提高感知、检测、决策与控制的准确率,并取得一定的成功,分析表明深度学习技术将加速自动驾驶技术的发展速度,为自动驾驶成为现实带来巨大的可能性。     

结合目标检测的小目标语义分割算法

卷积神经网络(Convolutional Neural Networks,CNN)可以提供比传统分类算法更强大的分类器并且能够自学习得到深层特征,有效地提高了图像语义分割的准确性.然而,基于CNN的语义分割算法依然存在一些挑战,例如在复杂场景中现有较优的方法较难分割小目标.为了解决复杂场景下小目标分割的难题,提出一种结合目标检测的小目标语义分割算法.与现有较优方法不同的是,该方法没有直接利用单个神经网络模型同时分割单幅图像中的小尺寸和较大尺寸目标,而是将小目标分割任务从完整图像的分割任务中分离.算法首先训练一个目标检测模型以获取小目标图像块,然后设计一个小目标分割网络得到图像块的分割结果,最终根据该结果修正整体图像的分割图.该算法提升了语义分割数据集的总体性能,同时能够有效地解决小目标分割的难题.     

基于卷积神经网络的灾难场景图像分类

为了对灾难场景图像进行快速分析和识别,提出了一种基于多分辨率卷积神经网络和残差注意力机制(attention module)相结合的图像分类模型.首先,对灾难场景数据集进行预处理,在相同类型的条件下将其随机划分为训练集和测试集.基于改进的卷积神经网络(convolutional neural network,CNN),提取训练集的图像特征.使用训练集图片的特征进行训练,并且在测试集图片上实现分类测试.选取DenseNet、Xception和MobileNetV2三种模型,以灾难场景数据集(Disaster_Data_Scenes)为数据集进行实验验证.结果表明:改进的Xception和MobileNetV2网络在灾难场景数据集上进行的图像分类实验测试,比原网络精度分别提升了4.56％和3.04％.其中改进的DenseNet网络比原网络模型精度分别提升9.13％、17.88％和10.27％.可见改进的卷积神经网络模型的分类精度得到有效提高.     

基于RGB-D的室内场景实时三维重建算法

针对基于视觉的室内场景三维重建过程中存在三维点云匹配不准确、过程耗时和深度信息部分缺失的问题,提出一种带有深度约束和局部近邻约束的基于RGB-D的室内场景实时三维重建算法.该算法首先利用RGB-D相机采集到的RGB图像做哈里斯角点检测,再用SURF特征点描述方法对检测到的特征点生成64维特征描述子.接着利用特征点集合的深度信息和局部近邻特征点信息作为约束,初步筛选出相邻帧间正确的匹配点对,再结合随机抽样一致性(RANSAC)算法去除外点,以此得到相机的姿态估计.最后利用RGB-D的深度图像,在图优化方法(g2o)的基础上生成三维点云,实现室内场景的三维重建.实验中,RGB-D摄像头装载在自主移动导航的小车上,实时重构的三维场景验证了所提算法的可行性和准确性.