基于Kinect的冗余机械臂直线推移操作控制

研究了采用机械臂推移操作来解决不易抓取目标物的位置、姿态的改变问题.讨论了冗余机械臂系统的运动学建模和基于工作空间的改进RRT算法,给出一种基于Kinect的冗余机械臂直线推移操作控制模式.当Kinect检测到目标物处于危险位置时,机械臂系统首先会依据目标物的具体位置应用基于工作空间的改进RRT算法使机械臂按照指定的轨迹、位姿移动到目标位置;然后在平面二自由度的操作空间中,采用直线推移操作将目标物推移到指定安全位置.最后应用七自由度冗余机械臂系统验证了所提出的基于Kinect的冗余机械臂推移操作控制方法的有效性.     

基于卷积神经网络的单幅图像室内物体姿态估计

单幅图像的目标检测和物体姿态估计一直是计算机视觉领域中非常重要的研究内容.利用卷积神经网络对单幅室内场景图像进行研究分析,提出了一种基于卷积神经网络的单幅图像室内物体姿态估计算法.该算法采用直接分类预测的方法来实现物体的姿态估计.通过改进Faster-RCNN网络结构,利用室内场景数据集SUNRGB-D训练网络,实现端到端单幅室内图像目标检测和姿态估计.实验结果表明,该算法目标检测平均准确度为70%,姿态估计结果中平移估计准确度为28%,旋转角度估计准确度为30%.     

基于改进Cascade R-CNN模型的机器人抓取检测研究

为提高多物体抓取检测网络的抓取检测准确率，提出一种基于改进Cascade R-CNN模型的机械臂抓取检测算法.首先，引入ResNeXt结构能够在不加大网络设计难度的前提下提高了模型的准确率；引入带空洞卷积的空间金字塔池化模块以解决分辨率较低的问题；接着对抓取框回归分支和角度分类分支以分治方法进行优化.其次，针对多物体抓取数据集缺乏的问题，构建多目标抓取数据集(multi-object grasping dataset, MOGD),有效地扩充了多物体抓取检测数据集.最后，基于改进Cascade R-CNN模型设计抓取检测网络，实验结果表明，改进后的算法效率更高，PI-Cascade R-CNN实验准确率为93%,较Cascade R-CNN提升1.5个百分点.     

基于抓取模式识别的欠驱动灵巧手抓取方法

针对桌面上单个物体场景的抓取任务,提出一种基于抓取模式识别的欠驱动灵巧手自主抓取方法．受人类抓取策略启发,基于四种典型抓取模式建立物体的抓取模式数据集,并通过深度学习预测物体的抓取模式和抓取区域,利用图像处理获得抓取角度,从而简化欠驱动灵巧手的抓取规划．深度学习算法在测试集中的识别准确率达98.70%,对未知物体的识别准确率达82.70%,具有较好的泛化能力．当执行自主抓取时,深度学习方法的不准确性通过欠驱动手的自适应性得到了一定的补偿．通过UR3e机械臂搭载欠驱动灵巧手对24个物体进行抓取实验,在120次抓取中平均成功率为90.80%．实验结果表明所提方法能适应不同形状大小的物体,具备抓取实用性．     

空间机械臂冲击动力学建模及冲击后运动控制

通过对漂浮基空间机械臂冲击动力学的建模,计算出完成抓取操作后空间机械臂各关节的运动速度,从而为数值仿真计算提供初始条件.针对目标物体及空间机械臂系统惯性参数存在未知的情况,设计了冲击后空间机械臂及目标物体组合系统的载体姿态及关节运动滑模神经网络控制,并对平面自由漂浮空间机械臂系统抓取目标物体的操作及冲击后控制进行了数值仿真.仿真结果表明,空间机械臂抓取目标物体时的冲击对系统有重大的影响,所设计的控制方案可保证系统对期望运动的追踪.     

一种基于全卷积神经网络的横担姿态测量方法

为满足配电线路维护机器人更换避雷器的作业需求,提出了一种基于全卷积神经网络的横担姿态测量方法.通过分析三维几何特征建立了横担姿态模型;采用基于全卷积神经网络的图像分割方法获得横担区域,并以此作为掩膜进行边缘检测,去除环境干扰;采用基于投票法和霍夫空间约束的直线检测提取横担主体区域轮廓直线,并给出了求解横担姿态向量的算法.实验结果表明:所提出方法能较为精确地测得横担姿态,为机器人自主更换避雷器奠定了良好基础.     

基于Harris-Hist的特征匹配及目标定位算法

针对目前机器人伺服定位抓取中定位精度和实时性较差的问题, 提出一种基于Harris-Hist的快速特征匹配及目标定位算法. 首先, 采用Harris检测算法提取图像特征点; 然后, 提出一种新的特征点描述子定义方法, 计算特征点圆形邻域内像素点灰度直方图刻画特征点, 通过计算两幅图像中各特征点描述子间的距离实 现特征匹配; 最后, 根据匹配结果, 估计单应性矩阵, 定位目标在场景图像中的位置. 实验结果表明, 该算法匹配速度快、 定位精度高, 能满足机器人伺服定位抓取中定位精度和实时性的要求.     

基于双目视觉的物料三维空间定位算法

针对移动机械臂抓取物料过程中的三维空间定位问题,提出一种适用于双目视觉的物料定位算法。首先基于双目视觉成像原理,构建手眼矩阵,完成双目相机坐标系到机器人坐标系的转换;其次将注意力机制嵌入到主干网络的CSP结构中,采用一种YOLOv5s+CBAM改进网络结构,在自制的物料数据集上mAP达到99.1%,FPS为71,可实现物料抓取点位置的准确检测;最后针对抓取点立体匹配错误导致深度信息获取错误的问题,提出一种基于灰度值测距的SGBM改进算法获取深度信息。经实验检测,平均测距误差5.16mm,结合目标检测,可实现物料抓取点三维坐标的定位。     

一种基于误差扩散理论的直线检测算法

基于霍夫变换的基本原理,针对其在进行直线检测中存在的不足,利用误差扩散理论分析了在霍夫变换过程中的误差,研究了影响误差的因素.分析表明,直线的参数估计不仅和图像噪声有关,而且与直线的位置有关,直线到原点的距离越近,误差就越小,即对直线的检测精度就越高.提出了利用窗口移动的方法来寻求最优特征点和限制角度变换范围,结合最优特征点和误差扩散的理论,给出了一种改进的直线检测算法.在直线检测的精确性要求比较高的情况下,该算法能很好地满足要求.     

基于可见光源与独立成分分析法的实时人眼检测系统

提出一种基于特征与外貌混合检测确定人眼区域的实时人眼检测方法. 首先,依据可见光源在人眼角膜上反射形成耀点特性,通过图像处理算法提取潜在耀点位置,利用人眼几何特征的确定可能人眼候补区域;然后,提取人眼数据库中具有不同外貌特征的200幅人眼图像,采用FastICA算法估计出提取人眼图像的有效成分分析(ICA)基向量;最后,通过计算人眼候选区域在基向量上投影角度判断出左、右人眼区域准确位置. 实验结果表明,在人脸面部旋转、佩戴眼镜、大范围头部运动和不同光照强度下,实时人眼检测具有较高的检测正确率和较好的鲁棒性.      

基于边缘特征点筛选的被遮挡盲道检测算法

针对传统盲道检测算法在实际应用场景中准确率低,鲁棒性不强等问题,提出一种基于边缘特征点筛选的被遮挡盲道检测算法。首先提取盲道区域,主要包括基于颜色筛选与单通道二值化结合的粗提取和基于GrabCut算法的精确提取;然后对盲道图像进行预处理、边缘检测和直线检测,提取出若干盲道边界候选线;通过计算候选线在各个方向角度的边缘特征点数目,判断该候选线是否为真正的盲道边界。实验结果表明,无论是否有落叶遮挡,该算法都能够精确提取盲道区域,准确检测出盲道边界,且有较好的实时性与抗干扰性。     

基于Harris-改进LBP的特征匹配及目标定位算法

为满足机器人伺服抓取中定位精度和实时性的要求, 提出一种基于Harris及改进局部二值模式(LBP)的特征匹配和目标定位快速算法. 首先采用Harris检测算法提取图像特征点; 然后提出一种新的特征点描述子定义方法, 先利用胡矩确定特征方向, 再根据特征方向对局部图像做标准化处理, 提取标准化局部图像LBP特征作为特征点描述子; 最后通过计算两张图像中各特征点描述子间的汉明距离实现特征匹配, 再根据匹配结果估计单应性矩阵, 定位目标在场景图像中的位置. 实验结果表明, 该算法匹配速度快、 定位精度高.     

基于PSO-RBF神经网络的串联机械臂逆运动学分析

针对目前基于神经网络对串联机械臂求逆解方法中出现的精度不足和实时性较差的问题,使用粒子群优化(particle swarm optimization,PSO)算法对径向基函数(radial basis function,RBF)神经网络进行结构优化,提出一种基于PSO-RBF神经网络的机械臂逆运动学算法。首先由正运动学模型获取神经网络训练和测试参数样本,经过欧拉角变换在神经网络输入端建立机械臂关节位姿映射关系,然后通过PSO算法对径向基核函数进行参数寻优并对测试样本求解分析,最后获取经逆运动学求解后机械臂的运动轨迹,验证了该算法的可靠性。仿真结果显示,由PSO-RBF神经网络逆运动学算法能够快速得出满足精度要求的关节角度,为进一步机械臂工业控制提供了理论支持。     

一种基于流形的机械臂动作构型知识压缩表达方法

针对在机械臂分拣任务中,存在物体形状各异、大小不一、训练神经网络成本过高的问题,提出一种基于流形空间的机械臂快速分拣方法。通过自主设计的一款简易实验装置模拟代替机械臂进行实验。对高维数据进行压缩,结合三维快速凸包求解算法,对体积大小不同的同类物体的流形空间进行分割,以凸包形式将稳定性较高的点集包裹起来。实验结果表明,体积大小不同的同类物体的高稳定流形子空间是一致的。该方法可以通过对一种物体的流形子结构进行尺度放缩,得到不同大小的同类物体的高稳定分拣区域,用于生成高效、可靠的机械臂分拣任务中的6D位姿构型,以提高分拣作业的工作效率。     

基于分数阶微分Frangi的夜间车道线检测

基于机器视觉和图像处理的夜间车道线检测一直是该领域的研究难题,即使是近年的深度学习方法,检测精度只能达到50%左右.为此,研究了一种新的算法,根据车道线的特点和车辆的行驶速度,将视频中多幅图像融合到一幅图像中;利用图像的特点,在区域合并中识别出有效的车道线检测区域;将有效区域分割成新的图像后,采用基于Frangi和Hessian矩阵的算法对图像进行平滑和增强;为了提取车道线的特征点,提出了一种新的分数阶微分模板进行车道线特征点检测,该算法根据车道线在图像中可能的位置,从4个方向检测特征点;在检测出候选点后,应用递归Hough直线变换得到候选车道线,为了确定最终的车道线,一条车道线的角度应介于25°～65°之间,而另一条车道线的角度应介于115°～155°之间,否则,通过降低线点数的阈值继续进行Hough直线检测,直到获得两条车道线为止.通过对数百幅夜间车道线图像的测试,并与深度学习方法和传统的图像分割算法进行比较,新算法的检测准确率可达70%.     

基于分数阶微分和Frangi的夜间车道线检测

基于机器视觉和图像处理的夜间车道线检测一直是该领域的研究难题,即使是近年的深度学习方法,检测精度只能达到50%左右.为此,研究了一种新的算法,根据车道线的特点和车辆的行驶速度,将视频中多幅图像融合到一幅图像中;利用图像的特点,在区域合并中识别出有效的车道线检测区域;将有效区域分割成新的图像后,采用基于Frangi和Hessian矩阵的算法对图像进行平滑和增强;为了提取车道线的特征点,提出了一种新的分数阶微分模板进行车道线特征点检测,该算法根据车道线在图像中可能的位置,从4个方向检测特征点;在检测出候选点后,应用递归Hough直线变换得到候选车道线,为了确定最终的车道线,一条车道线的角度应介于25°～65°之间,而另一条车道线的角度应介于115°～155°之间,否则,通过降低线点数的阈值继续进行Hough直线检测,直到获得两条车道线为止.通过对数百幅夜间车道线图像的测试,并与深度学习方法和传统的图像分割算法进行比较,新算法的检测准确率可达70%.     

用Kinect定位平面上单一圆柱型物体

通过Kinect设备获取物体所在场景的3D点云图像,再用积分图像计算场景中点云的法向量,根据法向量Y方向分量与XOZ平面所成角度的正切阚值滤除放置物体的平面,同时利用坐标输出阏值的设定滤除其它背景点和噪点。随机采取物体点云图中任意法向量不同的两点,根据它们的法向量和坐标,用异面直线公垂线的计算方法得到圆柱体的中心轴。再用点到空间直线的距离公式计算圆柱型物体的半径。最后通过计算物体点云X,Y,Z方向坐标的取值范围,实现对物体的定位。使用采集的场景点云图对算法结构进行测试,结果表明,算法结构可以可靠提取放置物体的平面和平面上的圆柱形物体,可以为机器人抓取提供准确数据信息。     

基于SURF特征点的金属罐图案检测算法

为快速、准确地检测出金属罐生产过程中出现的图案倒置问题,提出一种基于SURF特征点的金属罐图案检测算法.该算法通过比较金属罐图像与模板图像间匹配特征点的位置关系,实现金属罐图案方向的判别.首先利用SURF算法分别提取分区域处理后的待检测图像和模板图像的特征点;再利用双向KNN算法和RANSAC算法进行特征点匹配;最后计算匹配特征点的位置关系,并判别金属罐方向.实验表明,该算法能够有效地实现金属罐图案倒置的检测,可以达到每分钟800罐的检测速度.     

基于区域生长的PCNN自动目标分割算法

在基于电动轮椅的机械臂目标抓取研究背景下,通过图像分割实现对目标物的定位.只有目标物与背景的准确分离,才能使机械臂通过轮椅移动平台准确地移动到其工作范围内实现抓取工作.结合研究中目标物受光线因素影响而导致图像分割不准确现象,本文提出了一种基于区域生长的PCNN自动目标分割算法.经实验证明,该方法可以有效避免传统PCNN算法因目标物受光线因素影响而无法对目标物准确分割的问题,且该方法通过目标物分割而获得定位坐标的准确率达到98%,仅对感兴趣区域进行分割,避免对无关信息的处理,运行效率平均达1.61s,具有一定实时性.     

基于感兴趣区域的机器人抓取系统

智能抓取机器人能够代替人类完成高强度工作,为实现物体的准确定位,提升机器人抓取的成功率,对基于感兴趣区域的机器人抓取系统进行研究。对深度相机进行标定,对深度卷积神经网络损失函数进行改进,使用焦点函数代替传统的交叉熵函数,训练模型,得到目标的类别、二维包络框中目标的像素坐标值与深度值等信息。利用手眼标定方法将深度传感器坐标转换到机械臂基坐标系下,依据相机成像原理完成物体的定位。通过机器人逆运动学求解关节角度,驱动机器人实现抓取。对实验过程进行分析,在aubo_i5机械臂上进行实验验证。实验结果表明,目标的识别定位误差较小,平均精度值提升了2.36%,抓取的平均成功率达到93.4%,较改进前提升了13.4%,能够满足机器人抓取的需求。