基于CR-RFPR101的钢板表面缺陷检测

针对钢板表面缺陷种类多、背景复杂、检测精度低等问题,文章首先对钢板表面缺陷数据集进行数据增强,并对原始Cascade区域卷积神经网络(region-basedconvolutional neural netwroks, R-CNN)算法进行改进,将ResNeXt-101-64×4d作为Cascade R-CNN算法的骨干网络,优化特征提取模块,利用递归特征金字塔(recursive feature pyramid, RFP)网络以反馈连接的方式进行特征优化,提出一种CR-RFPR101(Cascade R-CNN RFP ResNeXt-101-64×4d)的检测算法,以更好地保留细节和语义信息;同时使用可切换的空洞卷积替换主干网络的卷积层,以改变感受野的方式提高检测性能;最后使用引入软化非极大值抑制算法,保留有效信息,提高识别率。经实验验证,CR-RFPR101算法的检测率为83.4%,比原Cascade R-CNN算法提高了7.3%,满足了钢板表面缺陷检测要求。     

基于多模态深度神经网络的抓取检测方法

针对机器人抓取检测任务中对未知物体抓取检测精度低的问题,本文提出了一种多模态深度神经抓取检测模型。首先,在RGB和深度两个通道中引入残差模块以进一步提升网络的特征提取能力。接着,引入多模态特征融合模块进行特征融合。最终通过全连接层回归融合特征以得到最佳抓取检测结果。实验结果表明,在Cornell抓取数据集上,本文方法的图像拆分检测精度达到95.7%,对象拆分检测精度达到94.6%。此外,本文还通过消融实验证明了引入残差模块可以提高网络抓取检测性能。     

基于2D先验的3D目标判定算法

提出一种基于2D先验的3D目标判定算法.首先用轻量级MobileNet网络替换经典SSD的VGG-16网络，构建出MobileNet-SSD目标检测模型；其次，通过改进网络结构，提高模型对小目标的检测能力，并引入Focal Loss函数来解决正负样本不均衡和易分样本占比较高的问题；在相同数据集上，将改进算法与Faster R-CNN、 YOLOv3及MobileNet-SSD进行对比测试，其平均精度mAP分别提高了7.2%、 8.8%和10.6%;最后，通过改进算法获取ROI,利用深度相机将二维ROI转换为ROI点云，并借助直通滤波来判断目标物体是否为真实场景物体，既省去了传统点云识别中的诸多步骤又避免了点云深度学习中三维数据集制作难度较大的问题，在识别速度和识别精度上达到了较好的平衡.     

基于触觉阵列感知的机器人稳定抓取判别方法

针对传统的单点压力传感器获取的接触力无法完备反映机器人的抓取接触状态,难以实现准确的机器人抓取状态判别的问题,基于触觉阵列传感器的多点感知特性,提出一种高效高准确率的机器人稳定抓取判别方法．首先,采集机器人抓取属性各异物体时的接触分布力信息,建立分布力与触觉图像的映射,构建机器人抓取触觉图像数据集;基于多层感知机框架建立机器人抓取状态判别模型,实现机器人抓取状态的分类．然后,通过训练并对多层感知机在不同模型层数与节点数下的模型性能进行优选,得到抓取状态判别模型的最优参数,进而与多种基于学习的抓取判别算法进行对比．结果表明：所提出的抓取状态判别方法具有99.74%的判别准确率,平均耗时为2.3 ms,在判别精度和速度上均优于基线算法;通过实物抓取实验,该方法的判别准确率达到94%,充分证明其对数据集外物体的稳定抓取判别具有较强的鲁棒性．     

基于改进Faster R-CNN的行人检测算法

针对行人检测中复杂环境,提出一种改进Faster R-CNN的行人检测算法,使用深度卷积网络从图片中提取适合检测目标的特征。基于Faster R-CNN算法,以Soft-NMS算法代替传统NMS算法,加强Faster R-CNN算法对重叠区域的识别能力。同时,算法通过"Hot Anchors"代替均匀采样的锚点避免大量额外计算,提高检测效率。最后,将21分类问题的Faster R-CNN框架,修改成适用于行人检测的2分类检测框架。实验结果表明:改进Faster R-CNN的行人检测算法在VOC 2007行人数据集,检测效率和准确率分别提升33%、2.6%。     

一种机械臂像素级抓取检测方法的研究

目的 针对在平面抓取的场景下,机械臂如何感知目标物体的位置信息并完成抓取作业,提出了一种兼顾检测速度和精度的抓取检测网络。方法 根据抓取检测任务中输入与输出尺寸大小相同的特点,采用语义分割思想设计了抓取检测网络;输入为随机裁剪后的深度图片,输出为同尺寸的抓取置信度、抓取角度和抓取宽度特征图;为了提高平面抓取任务的效率,在综合考虑检测网络速度和精度的情况下,对网络结构进行了改进,除了在网络结构中加入了注意力机制外,还使用U-net和Deeplabv3算法替换了网络的主体结构;通过对比实验认为加入注意力机制的检测网络在检测速度和检测精度上平衡得较好,能够实现抓取任务,将抓取位姿传输给ROS系统,通过一系列的坐标变换和运动规划进行了抓取作业。结果 添加注意力机制后,检测网络的推理时间仍为毫秒级,最大抓取置信度提高了7.2%;采用U-net和Deeplabv3的网络检测速度较慢,U-net网络的抓取置信度Q_max提高了18.8%,Deeplabv3网络的准确率A_cc提高了12.8%;由于抓取检测网络应同时考虑检测速度和精度,因此加入注意力机制的检测网...     

基于改进Faster R-CNN的无人机视频车辆自动检测

为了从广域视角准确提取道路交通信息,提出了一种用于无人机视频车辆自动识别的改进Faster R-CNN模型.该模型以基于ZF网络的Faster R-CNN为原型,优化调整学习策略、训练图像尺寸、学习率等模型参数,调整RPN网络卷积核并引入SoftNMS算法,增加1～3个特征提取卷积层和激活层.基于无人机交通视频构建了训练图像集,对现有Faster R-CNN模型及改进模型进行训练和测试.结果显示,与采用Step学习策略的模型相比,采用学习策略Inv的模型车辆识别平均准确率提高了0.4%～9.4%.引入SoftNMS算法的模型比引入前的模型平均准确率提高了0.1%～7.9%.提出的改进模型平均准确率为94.6%,较基于ZF的Faster R-CNN模型、基于VGGM的Faster R-CNN模型和基于VGG16的Faster R-CNN模型分别提高了13.1%、13.1%和4.1%,且训练时间减少约3%,对多种场景的视频车辆检测具有较好的适用性.     

TB-MYOLO：融合MLP与YOLOv5的双分支网络船舶目标检测方法

针对复杂场景下可见光卫星遥感影像的多类别船舶目标检测中易产生误检、漏检的问题,基于YOLOv5算法改进,提出了一种融合MLP的双分支网络船舶目标检测方法TB-MYOLO.该算法通过引入分支网络作为辅助以增强小目标的特征表达能力,分支网络只负责关注小目标物体的学习,携带更多的浅层位置信息.将分支网络学习到的小目标特征向量与主干网络学习到的小目标特征向量相融合,使小目标特征在网络中占有更大的比重,以此增强模型对目标位置的特征学习能力.同时使用MLP模块代替原始YOLOv5的SPPF模块,利用MLP的特征长依赖性的特点对深层网络的特征向量进行筛选加权,突出重点信息,避免了池化层带来的信息损失.实验结果表明,相比原始YOLOv5算法,改进后的TB-MYOLO算法显著提升了小目标类别的召回率和定位精度.对于复杂场景下可见光卫星遥感影像的多类别船舶目标检测,平均准确率mAP50达到了80.8%,相比原始YOLOv5、Retinanet和Faster R-CNN算法、改进后的TB-MYOLO算法,分别提升了2.4%、24.5%和28.1%.     

基于改进Mask R-CNN模型的电力场景目标检测方法

为了解决电力施工现场中安全帽佩戴情况以及危险区域行人入侵检测问题,提出一种基于改进Mask R-CNN模型的目标检测方法。首先依据迁移学习策略对Mask R-CNN主干网络进行参数初始化,以提取图像基本特征;然后引入特征金字塔结构进行自下而上的特征图提取,完成多尺度特征融合;接着,通过多尺度变换方法对区域推荐网络进行调整,获取锚点进行回归计算完成检测实验;最终对结果进行分析评价,多目标平均准确率达到了95.22%。将改进后的Mask R-CNN模型用于监控视频分析,针对监控视频像素过低问题,加入拉普拉斯算法锐化边缘,精准率提高到90.9%,验证了拉普拉斯算法对低质量监控视频检测的有效性。     

基于抓取模式识别的欠驱动灵巧手抓取方法

针对桌面上单个物体场景的抓取任务,提出一种基于抓取模式识别的欠驱动灵巧手自主抓取方法．受人类抓取策略启发,基于四种典型抓取模式建立物体的抓取模式数据集,并通过深度学习预测物体的抓取模式和抓取区域,利用图像处理获得抓取角度,从而简化欠驱动灵巧手的抓取规划．深度学习算法在测试集中的识别准确率达98.70%,对未知物体的识别准确率达82.70%,具有较好的泛化能力．当执行自主抓取时,深度学习方法的不准确性通过欠驱动手的自适应性得到了一定的补偿．通过UR3e机械臂搭载欠驱动灵巧手对24个物体进行抓取实验,在120次抓取中平均成功率为90.80%．实验结果表明所提方法能适应不同形状大小的物体,具备抓取实用性．     

基于RGB图像的二阶段机器人抓取位置检测方法

随着机械臂在越来越多的场合扮演着重要的角色,准确的抓取位置检测是整个机械臂系统顺利完成任务的关键,为此提出一种以整个图片为输入直接输出结果的端到端实时检测方案.物体的抓取点位置会影响到该物体的抓取角度,基于此给出了一种两阶段预测方案将这两个要素分开预测.首先,建立一个卷积神经网络预测物体的抓取点位置;然后,以抓取点位置为中心采集原图像中的一个方形区域.针对这一区域利用Canny算法以及Hough变换进行边缘提取和直线检测,并提出一种主方向提取算法,分析得到直线,进而确定物体的角度和抓取时平行夹持器张开的间距.抓取位置检测算法给出了基于RGB图像预测的较好准确率,神经网络与传统方法的结合使用也为以后的研究提供了参考.     

基于神经网络架构搜索的X射线图像违禁品检测算法

为了提高卷积神经网络设计的自动化程度并进一步提高复杂背景下违禁品检测的准确率和速度,提出了一种基于神经网络架构搜索的X射线图像违禁品检测算法。首先,设计逐层渐进式搜索策略和多分支搜索空间,并基于批量归一化指标为每一个layer结构搜索最佳侧分支;然后,逐层搜索构建新的骨干网络组件;最后,组成由数据驱动的新目标检测模型。该算法在数据集HiXray、OPIXray、PIDray上分别取得了83.4%、87.2%、70.4%的检测精度。实验结果表明,本文算法能够自适应数据集并自动搜索出性能更好的Backbone组件,与FCOS、YOLOv4等主流算法相比,有效提高了复杂背景下违禁品检测的准确率和速度。     

基于M-DCGAN的缺陷检测数据集增广方法

针对智能制造中表面缺陷检测数据集不足问题，提出基于M-DCGAN的数据集增广方法。首先，向判别器添加上采样模块，搭建类U-Net结构并提升判别器与生成器的网络深度；设计基于Canny边缘检测的缺陷位置二值化掩膜提取方法；定义图像掩膜依赖的损失函数，建立缺陷目标位置关注引导机制；插入谱归一化层和Dropout层以提高训练稳定性，保持生成图像数据多样性。带钢缺陷数据集实验结果表明，该模型生成图片质量高于DCGAN、WGAN-GP和InfoGAN。采用本文M-DCGAN算法增广训练数据，能够显著提升并超过传统增广算法在YOLOv5、SSD、Faster R-CNN、YOLOv3等八种经典方法中的缺陷检测精度，验证了本文算法的有效性。     

基于区域卷积网络的行驶车辆检测算法

为解决多种天气与多种场景下主干道路行驶车辆检测存在的实时性、泛化能力差、漏检、定位不准确等问题,研究了基于TensorFlow深度学习框架的区域卷积神经网络(Faster R-CNN)算法,通过引入VGG16神经网络模型,优化ROI Pooling Layer,并采用联合训练方法,得到改进的算法模型。采用UA_CAR数据集进行模型训练,实现行驶中的车辆检测,测试结果与优化前Faster R-CNN比较,MAP提高了7.3个百分点,准确率提高了7.4个百分点,检测用时0.085 s,提高了对多种环境与场景的适应性。     

改进Mask R-CNN的车辆检测算法

为提升在不同复杂场景下的车辆检测性能,提出一种基于改进Mask R-CNN的车辆检测算法。在算法的主干网络ResNet50中引入PSA极自注意力机制提升主干网络特征提取能力;在特征金字塔顶层网络中添加一个带有ECA注意力机制的分支与原分支进行特征融合,缓解顶层特征由于通道降维造成的信息损失。重新设计了卷积检测头使得边框回归更为准确。同时,使用余弦退火算法和Soft-NMS算法来优化训练过程和后处理结果。实验结果表明,改进的Mask R-CNN车辆检测算法相比原Mask R-CNN算法在复杂场景下具有更高的检测精度,在CNRPark-EXT测试集中平均精确度提高3.8%,在更具挑战性的MiniPark测试集中平均精确度提高7.9%。     

基于卷积神经网络的小目标交通标志检测算法

PVANet(performance vs accuracy network)卷积神经网络用于小目标检测的检测能力较弱.针对这一瓶颈问题,采用对PVANet网络的浅层特征提取层、深层特征提取层和HyperNet层(多层特征信息融合层)进行改进的措施,提出了一种适用于小目标物体检测的改进PVANet卷积神经网络模型,并在TT100K(Tsinghua-Tencent 100K)数据集上进行了交通标志检测算法验证实验.结果表明,所构建的卷积神经网络具有优秀的小目标物体检测能力,相应的交通标志检测算法可以实现较高的准确率.     

基于视触融合的机器人抓取滑动检测

提出一种基于视触融合的深度神经网络(VTF-DNN)感知算法,用以检测在机器人抓取和操作过程中发生的抓取物体和夹具之间的滑动现象.首先,通过设定不同的抓取位置和力度来抓取不同的物体,收集视觉和触觉序列数据构建视触融合数据集,并用于训练VTF-DNN;触觉数据由安装在夹具上的阵列触觉传感器采集,视觉数据由腕部相机采集.然后,为了验证所提出视触融合感知框架的性能,在某个未参与训练的物体上进行了滑动测试,共进行了464次抓取,采集了2320个视觉和触觉序列样本,分类准确度达92.6%.最后,实验验证了所提框架在滑动检测任务中的高效性以及视触融合在滑动检测任务中的必要性,为更加稳定和灵巧的机器人抓取和作业系统提供了理论基础和技术支撑.     

基于改进Faster R-CNN的手部位姿估计方法

基于视觉的手部位姿估计技术应用于诸多领域,具备着广泛的国际应用市场前景和巨大发展潜力。然而,手部自身存在检测目标过小、手指高自由度以及手部自遮挡等问题。通过对目前存在的难点分析,将手部位姿估计任务分为手部检测和手部关键点检测,提出基于改进的Faster R-CNN的手部位姿估计方法。首先提出基于改进的Faster R-CNN手部检测网络,将传统Faster R-CNN网络中的对ROI(regional of interest)的最大值池化,更改为ROI Align,并增加损失函数用于区分左右手。在此基础上增加了头网络分支用以训练输出MANO(hand model with articulated and non-rigid deformations)手部模型的姿态参数和形状参数,得到手部关键点三维坐标,最终得到手部的三维位姿估计结果。实验表明,手部检测结果中存在的自遮挡和尺度问题得到了解决,并且检测结果的准确性有所提高,本文手部检测算法准确率为85%,比传统Faster R-CNN算法提升13%。手部关键点提取算法在MSRA、ICVL、NYU三个数据集分别取得关键点坐标的均方误差值(k...     

融合深度残差网络和注意力机制的3D目标检测

针对Frustum-PointNets的实例分割网络结构单一且卷积深度较深、易出现特征丢失和过拟合，检测准确率较低的问题，提出了一种改进的Frustum-PointNets网络。该网络首先构建深度残差网络并融入实例分割网络，提高特征提取能力，解决深层网络的退化问题；引入双重注意力网络以增强特征，提高分割效果；运用Log-Cosh Dice Loss解决样本不均衡，加快网络训练；使用Mish激活函数保留特征信息；最后基于Kitti和SUN RGB-D两个数据集进行实验验证本文算法的有效性。实验结果表明，本文算法相对于Frustum-PointNets，在Kitti数据集中，3D框检测精度提高了0.2%～13.0%；鸟瞰图的3D框检测精度提高了0.2%～11.3%。在SUN RGB-D数据集中，本文算法的3D框检测精度提高了0.6%～16.2%，平均检测精度（m AP）提高了4.4%。实验验证，本文算法在室外和室内场景中获得较好的目标检测及分割效果。     

基于深度学习的政务表格单元格结构检测

当前政务领域中涵盖大量复杂异构表格,其结构检测困难,识别准确率较低并且单元格边缘拟合效果较差.针对该问题,在掩膜区域卷积神经网络（Mask R-CNN）的基础上,以政务表格单元格结构为对象,提出一种改进的政务表格单元格结构检测方法 .首先,在Mask R-CNN算法的主干网络及特征金字塔中加入通道注意力机制,增强有效特征通道权重;然后,对分割产生的掩膜结果使用基于规则和形态学方法进行优化以提升单元格分割边缘拟合度.实验结果表明：改进后的表格单元格结构检测模型在此数据集G-Tab及公开表格数据集ICDAR2013上的精确率和召回率都有明显提升,能够验证改进模型的有效性.