基于多模态深度神经网络的抓取检测方法

针对机器人抓取检测任务中对未知物体抓取检测精度低的问题,本文提出了一种多模态深度神经抓取检测模型。首先,在RGB和深度两个通道中引入残差模块以进一步提升网络的特征提取能力。接着,引入多模态特征融合模块进行特征融合。最终通过全连接层回归融合特征以得到最佳抓取检测结果。实验结果表明,在Cornell抓取数据集上,本文方法的图像拆分检测精度达到95.7%,对象拆分检测精度达到94.6%。此外,本文还通过消融实验证明了引入残差模块可以提高网络抓取检测性能。     

基于感兴趣区域的机器人抓取系统

智能抓取机器人能够代替人类完成高强度工作,为实现物体的准确定位,提升机器人抓取的成功率,对基于感兴趣区域的机器人抓取系统进行研究。对深度相机进行标定,对深度卷积神经网络损失函数进行改进,使用焦点函数代替传统的交叉熵函数,训练模型,得到目标的类别、二维包络框中目标的像素坐标值与深度值等信息。利用手眼标定方法将深度传感器坐标转换到机械臂基坐标系下,依据相机成像原理完成物体的定位。通过机器人逆运动学求解关节角度,驱动机器人实现抓取。对实验过程进行分析,在aubo_i5机械臂上进行实验验证。实验结果表明,目标的识别定位误差较小,平均精度值提升了2.36%,抓取的平均成功率达到93.4%,较改进前提升了13.4%,能够满足机器人抓取的需求。     

基于改进Cascade R-CNN模型的机器人抓取检测研究

为提高多物体抓取检测网络的抓取检测准确率,提出一种基于改进Cascade R-CNN模型的机械臂抓取检测算法.首先,引入ResNeXt结构能够在不加大网络设计难度的前提下提高了模型的准确率;引入带空洞卷积的空间金字塔池化模块以解决分辨率较低的问题;接着对抓取框回归分支和角度分类分支以分治方法进行优化.其次,针对多物体抓取数据集缺乏的问题,构建多目标抓取数据集(multi-object grasping dataset, MOGD),有效地扩充了多物体抓取检测数据集.最后,基于改进Cascade R-CNN模型设计抓取检测网络,实验结果表明,改进后的算法效率更高,PI-Cascade R-CNN实验准确率为93%,较Cascade R-CNN提升1.5个百分点.     

基于RGB图像的二阶段机器人抓取位置检测方法

随着机械臂在越来越多的场合扮演着重要的角色,准确的抓取位置检测是整个机械臂系统顺利完成任务的关键,为此提出一种以整个图片为输入直接输出结果的端到端实时检测方案.物体的抓取点位置会影响到该物体的抓取角度,基于此给出了一种两阶段预测方案将这两个要素分开预测.首先,建立一个卷积神经网络预测物体的抓取点位置;然后,以抓取点位置为中心采集原图像中的一个方形区域.针对这一区域利用Canny算法以及Hough变换进行边缘提取和直线检测,并提出一种主方向提取算法,分析得到直线,进而确定物体的角度和抓取时平行夹持器张开的间距.抓取位置检测算法给出了基于RGB图像预测的较好准确率,神经网络与传统方法的结合使用也为以后的研究提供了参考.     

基于完备抓取构型和多阶段网络的软体手抓取

视觉引导的软体手抓取依赖视觉输出正确的抓取位置、抓取角度和抓取深度,为此提出了面向多手指软体手的完备抓取构型数学模型和多任务损失函数,设计了基于"锚点"旋转框的两阶段深度学习网络,实现了从图像到软体多手指抓取指令的直接映射.通过公开数据库和自建数据库分析了网络模型的性能表现.研究结果表明:多任务损失函数和基于"锚点"旋转框的两阶段网络模型有效提高了多输出抓取检测的准确率和机器人抓取的成功率.最后,构建了机器人软体手抓取系统,抓取实验结果表明:所提方法对视觉定位误差具有一定的抓取稳健性,可成功抓取不同种类的水果,能够达到96%的抓取成功率,对水果皮的抓取也具有很好的泛化能力.     

基于滑觉功能的机器人多指手稳定抓取方法

提出机器人多指手滑觉功能的一种实现方法和基于滑觉功能的机器人多指手力反馈控制方法。机器人多指手的滑觉功能是通过检测力觉传感器输出的变化而实现的,而通过将滑觉判断与力反馈控制相结合,并在力反馈控制系统中引入分级模糊控制的思想则可以使机器人多指手在实现滑觉功能的同时完成对物体的稳定抓取。     

面向机器人抓取的双目视觉单步多目标检测方法应用研究

针对工业机器人的抓取技术普遍采用离线示教的方式,目标物的改变就会导致抓取不准的问题,研究了一种面向机器人抓取的双目视觉单目多目标检测方法,强化了机器人的抓取能力;首先搭建机器人抓取视觉检测系统,系统采用双目测距模型定位深度,单步多目标检测器定位像素坐标;通过相机标定和eye-to-Hand手眼标定将图像中的像素坐标以及双目测距模型的深度坐标转换为机器人基坐标的位姿,建立机器人运动学模型完成机器人基坐标到机器人末端坐标的转换,通过ROS实现上位机与机器人通讯,并将定位结果发送给ROS;经过多次实验,表明方法的目标检测误差在3.5 mm以内,深度误差在1.2 mm之内,具有很好的实用推广价值。     

基于单目视觉的工业机器人抓取系统设计

针对工业机器人在示教模式下上料无法对位姿出现偏差的工件完成抓取的问题,设计了一种基于单目视觉的工业机器人抓取系统。系统使用单目视觉采集工件图像,利用九点标定法将图像中的工件形心坐标转换为机器人坐标系下的坐标;通过图像处理算出工件的旋转角度,引导机器人运动至目标位置并配合抓手完成对工件的抓取。最后以PCB为对象搭建了抓取系统,经过多次抓取实验,发现该抓取系统位置误差在2 mm以内、姿态误差在1.5°以内,能够满足自适应抓取工件的定位要求。     

机器人多指抓取的研究进展与展望

对机器人多指抓取和操作的研究现状进行综述 ,在对人手结构和功能进行分析的基础上 ,着重从形封闭和力封闭的角度对多指抓取进行定性分析 ,研究抓取的封闭性、可操作性、稳定性和抓取的定量评价问题 ,并对该领域未来的发展趋势作系统的分析和讨论 .     

基于多传感器融合的路面车辆检测

为了高效地检测路面车辆目标,提出了一种基于毫米波雷达及视觉传感器融合的车辆检测方法.采用了底层的数据融合策略.在雷达数据通道,利用霍夫变换及切比雪夫定理排除非路面车辆目标点,生成稀疏概率图.在图像数据通道,结合稀疏概率图与图像底层特征,建立视觉显著模型并生成车辆显著图像.在显著图上利用过分割方法快速定位路面车辆的位置.本方法在结构化道路下进行了大量实验,结果表明:本方法有效的克服了基于视觉传感器的车辆检测方法对光照敏感的缺陷,相比于基于单一传感器的车辆检测方法,本文方法具有更高的精确度和鲁棒性.     

基于卡尔曼滤波的实时总电子含量周跳探测与修复

总电子含量(total electron content, TEC)作为描述电离层形态和内部结构的重要参量,对于电离层领域的理论研究和发展有着重要作用,而周跳的探测一直以来都是全球定位系统(global position system, GPS)载波相位测量数据预处理的重点和难点,尤其是在高精度GPS定位中,卡尔曼(Kalman)滤波在周跳探测与修复中的应用使得能够准确可靠地探测出观测值中可能出现的周跳,利用Kalman滤波算法探测不同的观测数据类型及其组合,并将修复后的观测值与理论值进行对比。结果表明:该算法对周跳探测和修复有很强的有效性和精度。     

一种基于分层信息融合技术的故障检测方法

针对常规故障检测方法中,传感器本身出现故障将会导致误检或漏检的问题,提出了一种基于分层信息融合技术的故障检测方法,该方法无需关于检测数据以及传感器统计特性的先验知识,可以有效地提高征兆变量的可靠性,从而提高故障检测系统的可靠性.     

基于过程信息融合的管线泄漏诊断

根据管线泄漏瞬态过程持续时间较短以及干扰工况较多的特点,提出了基于过程信息融合的管线泄漏检测方法。对管线泄漏特征进行了分析,并介绍了基于过程平稳熵、双通道奇异谱熵和双通道能谱熵的过程信息熵特征提取方法。将过程信息熵应用于对管线泄漏的识别,并利用GPS时间标签定位法结合GIS定位信息进行精确诊断。利用该方法对西部成品油管线进行泄漏监测,结果显示,基于过程信息融合的管线泄漏监测方法具有较好的实时性和抗干扰能力,提高了泄漏诊断的准确性和定位的精确性。     

一种基于边缘同态重加密的NDN安全汇播机制

为提高安全汇播通信的传输效率,基于命名数据网络(named data networking,NDN),通过修改兴趣包命名与待定判决表结构,设计了具备缓存能力的新型汇播网络架构.在此基础上,结合同态加密技术,提出了一种基于边缘同态重加密的NDN安全汇播机制.该机制利用同态加密解决隐私数据汇聚问题,利用边缘重加密实现网内汇...     

基于多观测方程融合的北斗卫星周跳探测方法

列车在利用北斗卫星载波相位高精度定位时,载波相位数据需要进行周跳的探测与修复.由于载波观测方程受接收机钟差、电离层延迟、对流层延迟和多路径等误差的影响,对一个观测方程使用卡尔曼滤波法探测周跳有其局限性.本文提出多观测方程融合法探测周跳,利用自适应卡尔曼滤波对多观测方程分别进行探测,得到相应的探测结果和协方差矩阵,并通过加权最小二乘法进行融合,求得最优的周跳结果.经实测数据计算,本文提出的方法能够判别北斗卫星的钟跳和周跳,同时具有减小误差影响,提高特殊组合情况下的周跳探测能力,且探测精度高.     

一种融合多模态特征的视频暴力检测方法

暴力事件检测是视频内容智能分析的一个常见任务,在互联网视频内容审查、影视作品分析、安防视频监控等领域有重要应用.面向视频中暴力检测任务,提出了一个包含关系网络和注意力机制的方法来融合视频中的多模态特征,该方法首先使用深度学习提取视频中多个模态特征,如音频特征、光流特征、视频帧特征,接着组合不同的模态特征,利用关系网络来建模多模态之间的关系;然后基于深度神经网络设计了多头注意力模块,学习多个不同的注意力权重来聚焦视频的不同方面,以生成区分力强的视频特征.该方法可以融合视频中多个模态,提高了暴力检测准确率.在公开数据集上训练和验证的实验结果表明,提出的多模态特征融合方法,与仅使用单模态数据的方法和现有多模态融合的方法相比,具有明显的优势,检测准确率分别提升了4.89％和1.66％.     

基于自编码器和密度的融合离群点检测算法

针对基于栈式自编码器的离群点(SAE)检测算法和基于密度的离群点(LOF)检测算法检测精度不高的问题,提出了将SAE算法和LOF算法相结合的SAE-LOF算法.该算法的核心是对单独的SAE算法和LOF算法加入"投票"思想,通过神经网络训练权重,计算SAE算法和LOF算法加权投票结果,进而检测离群点.首先,训练并测试SA...     

基于数据融合的分布式入侵检测系统研究

针对分布式入侵检测在当今网络安全中发挥着越来越重要的角色,将数据融合技术引入到入侵检测系统中,提出了基于数据融合的分布式入侵检测系统设计方案,描述了分布式检测和决策融合的结构设计,讨论了数据融合决策问题的数学模型,运用理论推理论证了融合决策处理的可靠性。分析比对实验表明,该系统降低了入侵检测系统的虚警率,提高了检测率。