基于CR-RFPR101的钢板表面缺陷检测

针对钢板表面缺陷种类多、背景复杂、检测精度低等问题,文章首先对钢板表面缺陷数据集进行数据增强,并对原始Cascade区域卷积神经网络(region-basedconvolutional neural netwroks, R-CNN)算法进行改进,将ResNeXt-101-64×4d作为Cascade R-CNN算法的骨干网络,优化特征提取模块,利用递归特征金字塔(recursive feature pyramid, RFP)网络以反馈连接的方式进行特征优化,提出一种CR-RFPR101(Cascade R-CNN RFP ResNeXt-101-64×4d)的检测算法,以更好地保留细节和语义信息;同时使用可切换的空洞卷积替换主干网络的卷积层,以改变感受野的方式提高检测性能;最后使用引入软化非极大值抑制算法,保留有效信息,提高识别率。经实验验证,CR-RFPR101算法的检测率为83.4%,比原Cascade R-CNN算法提高了7.3%,满足了钢板表面缺陷检测要求。     

基于触觉阵列感知的机器人稳定抓取判别方法

针对传统的单点压力传感器获取的接触力无法完备反映机器人的抓取接触状态,难以实现准确的机器人抓取状态判别的问题,基于触觉阵列传感器的多点感知特性,提出一种高效高准确率的机器人稳定抓取判别方法．首先,采集机器人抓取属性各异物体时的接触分布力信息,建立分布力与触觉图像的映射,构建机器人抓取触觉图像数据集;基于多层感知机框架建立机器人抓取状态判别模型,实现机器人抓取状态的分类．然后,通过训练并对多层感知机在不同模型层数与节点数下的模型性能进行优选,得到抓取状态判别模型的最优参数,进而与多种基于学习的抓取判别算法进行对比．结果表明：所提出的抓取状态判别方法具有99.74%的判别准确率,平均耗时为2.3 ms,在判别精度和速度上均优于基线算法;通过实物抓取实验,该方法的判别准确率达到94%,充分证明其对数据集外物体的稳定抓取判别具有较强的鲁棒性．     

基于2D先验的3D目标判定算法

提出一种基于2D先验的3D目标判定算法.首先用轻量级MobileNet网络替换经典SSD的VGG-16网络，构建出MobileNet-SSD目标检测模型；其次，通过改进网络结构，提高模型对小目标的检测能力，并引入Focal Loss函数来解决正负样本不均衡和易分样本占比较高的问题；在相同数据集上，将改进算法与Faster R-CNN、 YOLOv3及MobileNet-SSD进行对比测试，其平均精度mAP分别提高了7.2%、 8.8%和10.6%;最后，通过改进算法获取ROI,利用深度相机将二维ROI转换为ROI点云，并借助直通滤波来判断目标物体是否为真实场景物体，既省去了传统点云识别中的诸多步骤又避免了点云深度学习中三维数据集制作难度较大的问题，在识别速度和识别精度上达到了较好的平衡.     

基于改进Faster R-CNN的行人检测算法

针对行人检测中复杂环境,提出一种改进Faster R-CNN的行人检测算法,使用深度卷积网络从图片中提取适合检测目标的特征。基于Faster R-CNN算法,以Soft-NMS算法代替传统NMS算法,加强Faster R-CNN算法对重叠区域的识别能力。同时,算法通过"Hot Anchors"代替均匀采样的锚点避免大量额外计算,提高检测效率。最后,将21分类问题的Faster R-CNN框架,修改成适用于行人检测的2分类检测框架。实验结果表明:改进Faster R-CNN的行人检测算法在VOC 2007行人数据集,检测效率和准确率分别提升33%、2.6%。     

基于改进Faster R-CNN的无人机视频车辆自动检测

为了从广域视角准确提取道路交通信息,提出了一种用于无人机视频车辆自动识别的改进Faster R-CNN模型.该模型以基于ZF网络的Faster R-CNN为原型,优化调整学习策略、训练图像尺寸、学习率等模型参数,调整RPN网络卷积核并引入SoftNMS算法,增加1～3个特征提取卷积层和激活层.基于无人机交通视频构建了训练图像集,对现有Faster R-CNN模型及改进模型进行训练和测试.结果显示,与采用Step学习策略的模型相比,采用学习策略Inv的模型车辆识别平均准确率提高了0.4%～9.4%.引入SoftNMS算法的模型比引入前的模型平均准确率提高了0.1%～7.9%.提出的改进模型平均准确率为94.6%,较基于ZF的Faster R-CNN模型、基于VGGM的Faster R-CNN模型和基于VGG16的Faster R-CNN模型分别提高了13.1%、13.1%和4.1%,且训练时间减少约3%,对多种场景的视频车辆检测具有较好的适用性.     

一种机械臂像素级抓取检测方法的研究

目的 针对在平面抓取的场景下,机械臂如何感知目标物体的位置信息并完成抓取作业,提出了一种兼顾检测速度和精度的抓取检测网络。方法 根据抓取检测任务中输入与输出尺寸大小相同的特点,采用语义分割思想设计了抓取检测网络;输入为随机裁剪后的深度图片,输出为同尺寸的抓取置信度、抓取角度和抓取宽度特征图;为了提高平面抓取任务的效率,在综合考虑检测网络速度和精度的情况下,对网络结构进行了改进,除了在网络结构中加入了注意力机制外,还使用U-net和Deeplabv3算法替换了网络的主体结构;通过对比实验认为加入注意力机制的检测网络在检测速度和检测精度上平衡得较好,能够实现抓取任务,将抓取位姿传输给ROS系统,通过一系列的坐标变换和运动规划进行了抓取作业。结果 添加注意力机制后,检测网络的推理时间仍为毫秒级,最大抓取置信度提高了7.2%;采用U-net和Deeplabv3的网络检测速度较慢,U-net网络的抓取置信度Q_max提高了18.8%,Deeplabv3网络的准确率A_cc提高了12.8%;由于抓取检测网络应同时考虑检测速度和精度,因此加入注意力机制的检测网...     

基于改进Mask R-CNN模型的电力场景目标检测方法

为了解决电力施工现场中安全帽佩戴情况以及危险区域行人入侵检测问题,提出一种基于改进Mask R-CNN模型的目标检测方法。首先依据迁移学习策略对Mask R-CNN主干网络进行参数初始化,以提取图像基本特征;然后引入特征金字塔结构进行自下而上的特征图提取,完成多尺度特征融合;接着,通过多尺度变换方法对区域推荐网络进行调整,获取锚点进行回归计算完成检测实验;最终对结果进行分析评价,多目标平均准确率达到了95.22%。将改进后的Mask R-CNN模型用于监控视频分析,针对监控视频像素过低问题,加入拉普拉斯算法锐化边缘,精准率提高到90.9%,验证了拉普拉斯算法对低质量监控视频检测的有效性。     

基于抓取模式识别的欠驱动灵巧手抓取方法

针对桌面上单个物体场景的抓取任务,提出一种基于抓取模式识别的欠驱动灵巧手自主抓取方法．受人类抓取策略启发,基于四种典型抓取模式建立物体的抓取模式数据集,并通过深度学习预测物体的抓取模式和抓取区域,利用图像处理获得抓取角度,从而简化欠驱动灵巧手的抓取规划．深度学习算法在测试集中的识别准确率达98.70%,对未知物体的识别准确率达82.70%,具有较好的泛化能力．当执行自主抓取时,深度学习方法的不准确性通过欠驱动手的自适应性得到了一定的补偿．通过UR3e机械臂搭载欠驱动灵巧手对24个物体进行抓取实验,在120次抓取中平均成功率为90.80%．实验结果表明所提方法能适应不同形状大小的物体,具备抓取实用性．     

基于神经网络架构搜索的X射线图像违禁品检测算法

为了提高卷积神经网络设计的自动化程度并进一步提高复杂背景下违禁品检测的准确率和速度,提出了一种基于神经网络架构搜索的X射线图像违禁品检测算法。首先,设计逐层渐进式搜索策略和多分支搜索空间,并基于批量归一化指标为每一个layer结构搜索最佳侧分支;然后,逐层搜索构建新的骨干网络组件;最后,组成由数据驱动的新目标检测模型。该算法在数据集HiXray、OPIXray、PIDray上分别取得了83.4%、87.2%、70.4%的检测精度。实验结果表明,本文算法能够自适应数据集并自动搜索出性能更好的Backbone组件,与FCOS、YOLOv4等主流算法相比,有效提高了复杂背景下违禁品检测的准确率和速度。     

基于区域卷积网络的行驶车辆检测算法

为解决多种天气与多种场景下主干道路行驶车辆检测存在的实时性、泛化能力差、漏检、定位不准确等问题,研究了基于TensorFlow深度学习框架的区域卷积神经网络(Faster R-CNN)算法,通过引入VGG16神经网络模型,优化ROI Pooling Layer,并采用联合训练方法,得到改进的算法模型。采用UA_CAR数据集进行模型训练,实现行驶中的车辆检测,测试结果与优化前Faster R-CNN比较,MAP提高了7.3个百分点,准确率提高了7.4个百分点,检测用时0.085 s,提高了对多种环境与场景的适应性。     

基于M-DCGAN的缺陷检测数据集增广方法

针对智能制造中表面缺陷检测数据集不足问题，提出基于M-DCGAN的数据集增广方法。首先，向判别器添加上采样模块，搭建类U-Net结构并提升判别器与生成器的网络深度；设计基于Canny边缘检测的缺陷位置二值化掩膜提取方法；定义图像掩膜依赖的损失函数，建立缺陷目标位置关注引导机制；插入谱归一化层和Dropout层以提高训练稳定性，保持生成图像数据多样性。带钢缺陷数据集实验结果表明，该模型生成图片质量高于DCGAN、WGAN-GP和InfoGAN。采用本文M-DCGAN算法增广训练数据，能够显著提升并超过传统增广算法在YOLOv5、SSD、Faster R-CNN、YOLOv3等八种经典方法中的缺陷检测精度，验证了本文算法的有效性。     

基于卷积神经网络的小目标交通标志检测算法

PVANet(performance vs accuracy network)卷积神经网络用于小目标检测的检测能力较弱.针对这一瓶颈问题,采用对PVANet网络的浅层特征提取层、深层特征提取层和HyperNet层(多层特征信息融合层)进行改进的措施,提出了一种适用于小目标物体检测的改进PVANet卷积神经网络模型,并在TT100K(Tsinghua-Tencent 100K)数据集上进行了交通标志检测算法验证实验.结果表明,所构建的卷积神经网络具有优秀的小目标物体检测能力,相应的交通标志检测算法可以实现较高的准确率.     

基于视触融合的机器人抓取滑动检测

提出一种基于视触融合的深度神经网络(VTF-DNN)感知算法,用以检测在机器人抓取和操作过程中发生的抓取物体和夹具之间的滑动现象.首先,通过设定不同的抓取位置和力度来抓取不同的物体,收集视觉和触觉序列数据构建视触融合数据集,并用于训练VTF-DNN;触觉数据由安装在夹具上的阵列触觉传感器采集,视觉数据由腕部相机采集.然后,为了验证所提出视触融合感知框架的性能,在某个未参与训练的物体上进行了滑动测试,共进行了464次抓取,采集了2320个视觉和触觉序列样本,分类准确度达92.6%.最后,实验验证了所提框架在滑动检测任务中的高效性以及视触融合在滑动检测任务中的必要性,为更加稳定和灵巧的机器人抓取和作业系统提供了理论基础和技术支撑.     

基于改进Faster R-CNN的手部位姿估计方法

基于视觉的手部位姿估计技术应用于诸多领域,具备着广泛的国际应用市场前景和巨大发展潜力。然而,手部自身存在检测目标过小、手指高自由度以及手部自遮挡等问题。通过对目前存在的难点分析,将手部位姿估计任务分为手部检测和手部关键点检测,提出基于改进的Faster R-CNN的手部位姿估计方法。首先提出基于改进的Faster R-CNN手部检测网络,将传统Faster R-CNN网络中的对ROI(regional of interest)的最大值池化,更改为ROI Align,并增加损失函数用于区分左右手。在此基础上增加了头网络分支用以训练输出MANO(hand model with articulated and non-rigid deformations)手部模型的姿态参数和形状参数,得到手部关键点三维坐标,最终得到手部的三维位姿估计结果。实验表明,手部检测结果中存在的自遮挡和尺度问题得到了解决,并且检测结果的准确性有所提高,本文手部检测算法准确率为85%,比传统Faster R-CNN算法提升13%。手部关键点提取算法在MSRA、ICVL、NYU三个数据集分别取得关键点坐标的均方误差值(k...     

基于深度学习的政务表格单元格结构检测

当前政务领域中涵盖大量复杂异构表格,其结构检测困难,识别准确率较低并且单元格边缘拟合效果较差.针对该问题,在掩膜区域卷积神经网络（Mask R-CNN）的基础上,以政务表格单元格结构为对象,提出一种改进的政务表格单元格结构检测方法 .首先,在Mask R-CNN算法的主干网络及特征金字塔中加入通道注意力机制,增强有效特征通道权重;然后,对分割产生的掩膜结果使用基于规则和形态学方法进行优化以提升单元格分割边缘拟合度.实验结果表明：改进后的表格单元格结构检测模型在此数据集G-Tab及公开表格数据集ICDAR2013上的精确率和召回率都有明显提升,能够验证改进模型的有效性.     

机器人自主抓取的三维点云基本形体简化算法

针对抓取任务的非结构化特性,提出一种基于非规则物体三维点云的基本形体简化算法,为抓取策略的选取提供思路,提高机器人自主抓取的准确率.将不规则的复杂物体简化为由基本形体组成的简单物体,基于三维网格分割算法将物体3D数据点进行分割,依据最优拟合算法将分割后各部分拟合为球体、椭球体、圆柱体和平行六面体中的一种,实现对复杂物体的简化.实验结果表明:本文算法可应用于不同形状及姿态的非规则物体抓取,具有较高的鲁棒性.     

融合深度残差网络和注意力机制的3D目标检测

针对Frustum-PointNets的实例分割网络结构单一且卷积深度较深、易出现特征丢失和过拟合，检测准确率较低的问题，提出了一种改进的Frustum-PointNets网络。该网络首先构建深度残差网络并融入实例分割网络，提高特征提取能力，解决深层网络的退化问题；引入双重注意力网络以增强特征，提高分割效果；运用Log-Cosh Dice Loss解决样本不均衡，加快网络训练；使用Mish激活函数保留特征信息；最后基于Kitti和SUN RGB-D两个数据集进行实验验证本文算法的有效性。实验结果表明，本文算法相对于Frustum-PointNets，在Kitti数据集中，3D框检测精度提高了0.2%～13.0%；鸟瞰图的3D框检测精度提高了0.2%～11.3%。在SUN RGB-D数据集中，本文算法的3D框检测精度提高了0.6%～16.2%，平均检测精度（m AP）提高了4.4%。实验验证，本文算法在室外和室内场景中获得较好的目标检测及分割效果。     

基于高分辨率网络的人体姿态估计

针对高分辨率网络中存在不同分支特征交叉融合导致参数量大、运算复杂度高等问题,提出了一种基于高分辨率检测网络（HRNet）的人体姿态估计优化网络模型.引入空洞空间卷积池化金字塔替代多分辨率分支网络交叉融合过程,同时引入注意力机制,提高网络输出特征图质量,从而保证改进后网络检测的准确度.在环境配置和网络输入图像分辨率一致的情况下,所提出的模型在COCO数据集上实验结果较HRNet相比参数量下降38.6%,运算复杂度下降35.2%.实验结果表明：改进后网络在检测精度略微下降的情况下,能有效降低参数量、运算复杂度.     

基于改进Faster R-CNN的钢材表面缺陷检测方法

针对传统Faster R-CNN(Region-Convolutional Neural Networks)检测钢材表面小目标性缺陷性能差的问题,提出了一种基于改进Faster R-CNN的钢材表面缺陷检测方法.首先引入导向锚点候选区域网络(GA-RPN:Guided Anchoring Region Proposal Network)预测锚点的位置和形状,设计可调节机制解决网络锚点形状偏移量超出感兴趣区域的问题,从而解决无关特征的影响;其次,提出多任务FPN(Feature Pyramid Network)结构缩短高层特征定位信息映射路径,并能解决相邻层特征融合再采样的不充分特征融合,提高小目标检测性能.将改进的Faster R-CNN算法应用于钢材表面缺陷检测.仿真结果表明,改进的网络其召回率与准确率都得到提高,具有更好的检测性能.     

基于完备抓取构型和多阶段网络的软体手抓取

视觉引导的软体手抓取依赖视觉输出正确的抓取位置、抓取角度和抓取深度,为此提出了面向多手指软体手的完备抓取构型数学模型和多任务损失函数,设计了基于"锚点"旋转框的两阶段深度学习网络,实现了从图像到软体多手指抓取指令的直接映射.通过公开数据库和自建数据库分析了网络模型的性能表现.研究结果表明:多任务损失函数和基于"锚点"旋转框的两阶段网络模型有效提高了多输出抓取检测的准确率和机器人抓取的成功率.最后,构建了机器人软体手抓取系统,抓取实验结果表明:所提方法对视觉定位误差具有一定的抓取稳健性,可成功抓取不同种类的水果,能够达到96%的抓取成功率,对水果皮的抓取也具有很好的泛化能力.