基于感兴趣区域的机器人抓取系统

智能抓取机器人能够代替人类完成高强度工作,为实现物体的准确定位,提升机器人抓取的成功率,对基于感兴趣区域的机器人抓取系统进行研究。对深度相机进行标定,对深度卷积神经网络损失函数进行改进,使用焦点函数代替传统的交叉熵函数,训练模型,得到目标的类别、二维包络框中目标的像素坐标值与深度值等信息。利用手眼标定方法将深度传感器坐标转换到机械臂基坐标系下,依据相机成像原理完成物体的定位。通过机器人逆运动学求解关节角度,驱动机器人实现抓取。对实验过程进行分析,在aubo_i5机械臂上进行实验验证。实验结果表明,目标的识别定位误差较小,平均精度值提升了2.36%,抓取的平均成功率达到93.4%,较改进前提升了13.4%,能够满足机器人抓取的需求。     

基于抓取模式识别的欠驱动灵巧手抓取方法

针对桌面上单个物体场景的抓取任务,提出一种基于抓取模式识别的欠驱动灵巧手自主抓取方法．受人类抓取策略启发,基于四种典型抓取模式建立物体的抓取模式数据集,并通过深度学习预测物体的抓取模式和抓取区域,利用图像处理获得抓取角度,从而简化欠驱动灵巧手的抓取规划．深度学习算法在测试集中的识别准确率达98.70%,对未知物体的识别准确率达82.70%,具有较好的泛化能力．当执行自主抓取时,深度学习方法的不准确性通过欠驱动手的自适应性得到了一定的补偿．通过UR3e机械臂搭载欠驱动灵巧手对24个物体进行抓取实验,在120次抓取中平均成功率为90.80%．实验结果表明所提方法能适应不同形状大小的物体,具备抓取实用性．     

移动机械臂整体控制研究

针对以固定的基坐标系机器人抓取不便,设计了一套移动机械臂整体,将一种以STM32为主控单元的六自由度机械臂,安装在配备有Kinect传感器的TurtleBot2移动机器人之上。通过TurtleBot2移动机器人及Kinect传感器实现的路径规划、环境地图构建和避障等功能,来控制六自由度机械臂的运动,配合机械臂的手动抓取和自动抓取,进行移动机器人与机械臂的协同运动控制。     

基于Kinect的冗余机械臂直线推移操作控制

研究了采用机械臂推移操作来解决不易抓取目标物的位置、姿态的改变问题.讨论了冗余机械臂系统的运动学建模和基于工作空间的改进RRT算法,给出一种基于Kinect的冗余机械臂直线推移操作控制模式.当Kinect检测到目标物处于危险位置时,机械臂系统首先会依据目标物的具体位置应用基于工作空间的改进RRT算法使机械臂按照指定的轨迹、位姿移动到目标位置;然后在平面二自由度的操作空间中,采用直线推移操作将目标物推移到指定安全位置.最后应用七自由度冗余机械臂系统验证了所提出的基于Kinect的冗余机械臂推移操作控制方法的有效性.     

基于CFFCA的全驱动五指灵巧手抓取研究

为精确控制灵巧手对目标物体的抓取,针对灵巧手对目标物体的抓取控制实时性不高的问题,设计了全驱动五指灵巧手试验样机DH-MN-I。分析了单根手指的正运动学与逆运动学,提出了接触力反馈控制算法( CFFCA: Contact Force Feedback Control Algorithm) ,利用压力传感器的反馈值,实时控制灵巧手和目标物体之间的接触力,并且详细描述了灵巧手的强力抓取和精确抓取两种抓取模式。在全驱动五指灵巧手试验样机DH-MN-I 上的实验证明,在两种抓取模式下该算法对两种尺寸的目标物体实现抓取控制是可行的。利用提出的接触力反馈控制算法可控制全驱动灵巧手和目标物体之间的接触力,实现灵巧手对不同大小的目标物体的稳定抓取操作,实验结果表明,该算法实时性较好,有很高的灵巧性,具有应用价值。     

基于线结构光检测的Arduino分拣机械臂

通过对当前工业机器人技术应用发展状况及机械臂智能化现状的研究,设计了一种基于Arduino的智能小型机械臂,采用D-H法描述了4自由度模块化机械臂操作空间,获得以关节角度为变量的正运动学模型。运用矩阵逆乘的解析法,得到了机械臂逆运动学的完整解析解。结合线结构光三维视觉,实现了目标物体的识别抓取功能,弥补了二维相机获取深度信息的不足。实验证明,该智能小型机械臂设计合理,具备良好的准确性和稳定性,简单轻便且实用价值高,具有一定的市场前景。     

基于单目视觉的装配机器人研究及应用

针对传统工业机器人灵活性和环境适应能力差的缺点,对视觉机器人的关键技术进行了研究,提出了一套完整的识别定位抓取算法。首先,对于视觉机器人的目标识别跟踪问题,设计并实现了基于改进型Camshift的动态目标识别跟踪算法;其次,为了使机械臂精确抓取目标工件,采用单目视觉测距和视觉导航的原理对于目标工件的三维位置进行获取;最后,采用改进D-H参数法对机械臂进行运动建模,利用正逆运动学分析确定了机械臂控制方案。测试结果表明,识别算法识别成功率达到100%,定位算法测量坐标与实际坐标之间的相对误差小于5%,整体装配成功率达到96.7%,最终达到了基于单目视觉装配机器人研究的应用目标。     

灵巧手操作的可视化仿真系统

在将人手的抓取动作转化成灵巧手的抓取动作指令时,为快速验证手势识别和姿态转换模块的功能,同时避免由于指令的错误可能引起灵巧手的手指相互碰撞或对手指的驱动机构产生损害,特开发了灵巧手的三维仿真系统。采用3D图形软件包OpenInventor作为图形开发工具，实现了灵巧手的姿态模拟和碰撞检测功能。     

五指仿人灵巧手运动学与动力学模型

对气动人工肌肉驱动的五指仿人灵巧手进行了运动学及动力学分析. 在Matlab上进行了仿真计算,建立了灵巧手的运动学模型并求得其解析解;同时用Newton-Euler方法对灵巧手进行了逆动力学分析,得出了灵巧手的动力学方程.通过基于灵巧手动力学模型和气动人工肌肉静态模型的主从控制实验,结果表明,可以通过数据手套采集关节的角度变化信息控制灵巧手完成抓取物体的动作.     

基于变异粒子群优化的在线手眼标定算法

为满足机械臂手眼标定过程中不依赖人工提供固定机械臂路径的要求,提出一种基于变异粒子群优化的在线手眼标定算法.通过分析特征点在机械臂极坐标系与深度相机坐标系下的坐标转换关系,建立了基于深度相机的手眼模型;采用基于变异粒子群的在线优化算法,实时估计手眼关系参数;建立机械臂运动能量函数,给出了机械臂位姿补偿方法,满足特征点视野约束的同时保证运动能量最小.实验结果表明:所提方法能较为精确地估计手眼关系参数,并且能实时补偿机械臂位姿,实现自动手眼标定功能.     

人机交互过程中数字手势的识别方法

为了获得简单、高效的数字手势识别方法,增加使用者舒适的体验,提出一种基于Kinect融合深度信息和骨骼信息的数字手势识别方案.首先,使用Kinect进行深度数据的采集,建立深度图像;其次,结合骨骼追踪系统,提取人体轮廓,运用深度阈值法从轮廓中分割出手部区域,并进行二维图像的重建;再次,利用手腕和手掌骨骼点准确分割出手掌区域,并运用图像形态学开运算进行处理,得到不含手指的图像,进而提取掌心坐标;最后,计算半径,确定掌心圆,采用圆的边界和手指相交次数的方式识别手指个数.实验结果表明:数字手势识别方案能够准确、高效地识别数字手势.     

基于Kinect骨架追踪的人体摔倒自动检测

为准确、迅捷地检测到独居老年人意外摔倒事件,最大程度降低因摔倒而造成的老年人意外死亡和伤害风险,利用Kinect检测设备和骨架追踪技术,选取人体头、左肩、右肩、左髋、右髋、两髋中心6个骨架点,实时计算这6个骨架点的空间位置、相对位置、运动速度和停留时间等参数,用以判定人体摔倒事件,并能较准确地辨别坐下、蹲下和捡拾物品等非摔倒动作,降低误判率.实验结果表明:采用该检测方法能实现人体摔倒的自动实时检测,人体摔倒的误判率为7%;采用骨架追踪技术,监控过程中可以保护老年用户隐私;检测系统不依赖可见光,可进行24h实时检测,为意外摔倒老人的及时安全救助提供了保障.     

多机器人联合吊运系统可行域分析与求解

针对多机器人共同吊运同一个物体形成闭运动链的协调系统,定义了系统的位置可行域和姿态可行域.在给定系统构型的基础上,根据位移约束、速度关系,建立了系统位置运动学模型和姿态运动学模型,并建立了系统的动力学模型.在得到物体位置和姿态的基础上,分析了系统的位置可行域和姿态可行域,并基于蒙特卡罗算法给出了系统位置可行域和姿态可行域的求解方法.在确定的参数条件下,数值计算得到了系统的位置可行域和姿态可行域.位置可行域和姿态可行域的求解为进一步研究系统的轨迹规划、路径跟踪、稳定性等问题奠定了基础.     

Kinect骨骼信息下的动态手势识别研究

针对复杂环境中存在的手势识别问题,提出一种利用Kinect传感器获取深度信息并进行动态手势识别的方法。该方法通过对Kinect传感器获取的深度信息进行分析,获取人体主要骨骼点的3D坐标,从中选取六个点作为手部运动的特征参照;为提高手势识别系统的识别速度,提出了一种基于查表的DTW算法对得到的特征数据进行模板训练并实现动态手势识别。实验结果表明:该方法具有较高的识别速度和识别率,对复杂背景及光照强度变化具有较强的鲁棒性。     

基于Kinect的中国手语识别

基于微软Kinect提取的深度图像信息,提出了一种新的中国手语识别方法。该方法首先利用Kinect获取人体主要骨骼的3D坐标和手的3D坐标;然后根据中国手语的手型、手的位置和手的方向3个主要构造成分,分别采用DBSCAN和K-means聚类算法获取手语特征中的手的位置基元和方向基元,提出一种结合CLTree和Attribute bagging聚类集成方法提取手型基元;最后将这3类基元进行组合采用模板匹配方法识别中国手语。通过对选取的72个中国手语进行识别实验,平均识别率为90.35%,实验结果说明了方法的可行性。     

Semantic categorization of indoor places using CNN for mobile robot exploration

The ability of achieving a semantic understanding of workspaces is an important capability for mobile robot. A method is proposed to categorize different places in a typical indoor environment by using a Kinect sensors for mobile robot exploration. At first,the invariant feature based images stitching approach is adopted to form a panoramic image according to Kinect visual information,and the translation between Kinect depth information and obstacle distance information is performed to obtain virtual LIDAR data. Then,the semantic classifier is designed by using convolutional neural networks( CNN) for indoor place categorization based on Kinect visual observations with panoramic view. At last,a frontier-based exploration method is applied to carry out indoor autonomous exploration of mobile robots,which integrates the CNN-based categorization approach. The proposed method has been implemented and tested on a real robot,and experiment results demonstrate the approach effectiveness on solving the semantic categorization problem for mobile robot exploration.     

脊波分析在手背静脉识别中的应用

提出一种基于改进的有限脊波变换的手背静脉识别算法. 利用脊波理论适合于表示直线奇异性的特点, 对手背静脉特征进行分析. 使用改进的有限脊波变换对手背静脉图像进行分解, 得到不同分解尺度下手背静脉的多分辨脊波特征, 再通过定义多分辨脊波特征距离进行模式匹配. 实验结果表明, 与传统静脉特征提取方法相比, 该方法较完整地保留了静脉的原始信息, 提高了运行速度并降低了算法复杂度.     

一种基于Kinect的角色骨骼动画方法

针对当前骨骼动画制作方法存在实时性差?抗光照干扰能力弱?角色模型运动误差大的问题,提出了一种新的骨骼动画方法?采用微软Kinect设备获取人体三维骨骼坐标数据,用改进的D-H(denavit-hartenberg)描述法在关节点处建立虚拟坐标系,对捕捉对象单帧姿态进行抽象空间位形描述,再根据前后帧位形数据求解骨骼矩阵,对根节点进行位移调整形成骨骼动画?实验结果表明,该方法实时性与抗光照干扰能力强,角色动作与捕捉对象动作之间的相似度高?     

利用Kinect传感器获取振动表面的四维振动数据

针对目前大多数振动测量方法存在测点数量有限、维度底、成本高的问题,基于Kinect传感器的散斑测距技术原理和采样频率,研究将其应用于实时测量振动物体表面所有点的振动信息,实现高维、全域、低成本的振动测量。通过测量实验,比较不同频率下Kinect传感器和力传感器测得的数据,结果表明了Ki‐nect设备用于低频振动测量的可行性。     

基于Kinect 的康复训练系统设计与研究

针对运动功能障碍患者的康复训练需求,在使用Kinect 设备提取人体骨架拓扑结构的基础上,提出了一 种基于关节点角度序列提取人体运动特征的动作模型,并设计了一种基于Kinect 体感相机的康复训练系统。 该系统利用Kinect 设备实时采集人体骨骼数据,计算特征关节点间的角度,形成关节角度变化序列。利用动态 时间规整算法( DTW: Dynamic Time Warping ) 比较被测角度序列与动作库的标准动作序列的相似度,判断动作 是否标准并输出评估结果。该系统具有使用便捷、成本低的特点,提高了训练过程的趣味性。测试结果表明, 该系统通过人机交互实现了对运动障碍患者的康复训练指导,对康复训练过程具有积极影响。