基于视触融合的机器人抓取滑动检测

提出一种基于视触融合的深度神经网络(VTF-DNN)感知算法,用以检测在机器人抓取和操作过程中发生的抓取物体和夹具之间的滑动现象.首先,通过设定不同的抓取位置和力度来抓取不同的物体,收集视觉和触觉序列数据构建视触融合数据集,并用于训练VTF-DNN;触觉数据由安装在夹具上的阵列触觉传感器采集,视觉数据由腕部相机采集.然后,为了验证所提出视触融合感知框架的性能,在某个未参与训练的物体上进行了滑动测试,共进行了464次抓取,采集了2320个视觉和触觉序列样本,分类准确度达92.6%.最后,实验验证了所提框架在滑动检测任务中的高效性以及视触融合在滑动检测任务中的必要性,为更加稳定和灵巧的机器人抓取和作业系统提供了理论基础和技术支撑.