基于抓取模式识别的欠驱动灵巧手抓取方法

针对桌面上单个物体场景的抓取任务,提出一种基于抓取模式识别的欠驱动灵巧手自主抓取方法．受人类抓取策略启发,基于四种典型抓取模式建立物体的抓取模式数据集,并通过深度学习预测物体的抓取模式和抓取区域,利用图像处理获得抓取角度,从而简化欠驱动灵巧手的抓取规划．深度学习算法在测试集中的识别准确率达98.70%,对未知物体的识别准确率达82.70%,具有较好的泛化能力．当执行自主抓取时,深度学习方法的不准确性通过欠驱动手的自适应性得到了一定的补偿．通过UR3e机械臂搭载欠驱动灵巧手对24个物体进行抓取实验,在120次抓取中平均成功率为90.80%．实验结果表明所提方法能适应不同形状大小的物体,具备抓取实用性．     

基于CFFCA的全驱动五指灵巧手抓取研究

为精确控制灵巧手对目标物体的抓取,针对灵巧手对目标物体的抓取控制实时性不高的问题,设计了全驱动五指灵巧手试验样机DH-MN-I。分析了单根手指的正运动学与逆运动学,提出了接触力反馈控制算法( CFFCA: Contact Force Feedback Control Algorithm) ,利用压力传感器的反馈值,实时控制灵巧手和目标物体之间的接触力,并且详细描述了灵巧手的强力抓取和精确抓取两种抓取模式。在全驱动五指灵巧手试验样机DH-MN-I 上的实验证明,在两种抓取模式下该算法对两种尺寸的目标物体实现抓取控制是可行的。利用提出的接触力反馈控制算法可控制全驱动灵巧手和目标物体之间的接触力,实现灵巧手对不同大小的目标物体的稳定抓取操作,实验结果表明,该算法实时性较好,有很高的灵巧性,具有应用价值。     

基于多Kinect的三维人体重建系统

结合KinectFusion技术,设计并实现了一种基于多台Kinect的三维人体重建系统.该系统使用两台Kinect分别采集人体上下两部分的点云数据,通过标定得到两台Kinect的姿态关系,并基于标定结果,使用迭代最近点(ICP)算法对两部分点云进行配准得到完整的人体三维模型.试验表明,系统设备成本低、部署简单,能快速并较高精度地获取人体三维点云.     

基于Kinect遮挡条件下行人的深度图像分割

针对Kinect深度图像中有遮挡条件下的多个行人进行分割算法的实时性和应用研究,提出一种双峰法和迭代法的自适应阈值改进算法,并融合平面位置关系消除重复目标的新算法。在提取遮挡行人目标的连通域后,在连通域的遮挡条件下,对行人有不同深度数据的特性计算出多个阈值,快速、有效地分割行人,对分割后深度图像用改进的消除多余目标算法使分割深度图像的结果更为准确。实验结果表明,在使用该新阈值分割和消除重复目标算法后,行人量大和行人量小时处理一帧需要60ms—70ms,正确识别率为94.8%—97.3%。从结果得出,新深度图像分割算法具有更好的实时性和鲁棒性,能良好地应用于Kinect深度图像分割中。     

基于仿人并联手指机构的机器人灵巧手设计与性能研究

为满足工业上对机器人灵巧手灵巧度高、承载能力强和精度高的要求,提出一种具有2T1R运动类型的仿人并联手指机构,并设计一种基于仿人并联手指机构的机器人灵巧手.对并联手指机构进行了 自由度、运动学的分析,并用Adams对运动学分析进行了验证;利用机构的约束条件,确定了并联手指机构的工作空间;根据所建立的雅克比矩阵,研究了并联手指机构的奇异性与灵巧性,分析了力的传递性质;建立了灵巧手的抓取模型,分析了灵巧手协调操作的自由度、运动学和空间.通过研究分析,验证了灵巧手可行性与实用性,运动及性能方面可以满足工业生产的需求.     

基于Kinect的隔空人手键盘输入

近年来,随着三网融合概念的兴起,家庭多媒体设备功能的日趋完善,其控制与使用也变得越来越复杂,如何使家庭多媒体设备控制实现简单化、统一化、易用化成为相关行业亟待解决的问题.通过人们手指细微的运动,更使用户能够直接快速地完成空间键盘输入的功能,从而极大地提高用户的操作体验.Kinect作为一种新型的体感设备,可以获得精确的RGB图像信息和深度图像信息,是准确快速地获得用户的指尖定位成为可能.本系统通过深度图和RGB图相结合的方法,进行手型分割.通过指尖检测所得二维指尖坐标,反向求出指尖点的三维空间坐标.对于由指尖点、凹缺陷点和掌心点所组成的手部三维空间模型,判定计算键盘输入行为.此系统基本实现了隔空键盘输入的功能,但在边缘区域的识别率相对较低.     

基于双目立体视觉的排爆机器人自动目标抓取

目前各种多关节、多自由度的排爆机器人在实战中都存在操作复杂、速度慢的问题.为此,基于双目立体视觉设计并实现了一个排爆机器人的目标物自动抓取系统.该系统能根据目标物在两摄像机获取的图像坐标计算其三维坐标,从而对机械臂进行轨迹规划和控制,完成目标物自动抓取.首先,建立了一个完整的双目立体视觉系统数学模型,然后,用张氏平面法标定两摄像机的内参数,再采用最小二乘法进行立体标定,得到双目立体视觉系统的外参数,从而根据目标物在左右摄像机成像得到的图像坐标计算其三维坐标.实验表明该系统能在满足作业精度要求的前提下,大大提高排爆作业的易操作性.     

基于Kinect的冗余机械臂直线推移操作控制

研究了采用机械臂推移操作来解决不易抓取目标物的位置、姿态的改变问题.讨论了冗余机械臂系统的运动学建模和基于工作空间的改进RRT算法,给出一种基于Kinect的冗余机械臂直线推移操作控制模式.当Kinect检测到目标物处于危险位置时,机械臂系统首先会依据目标物的具体位置应用基于工作空间的改进RRT算法使机械臂按照指定的轨迹、位姿移动到目标位置;然后在平面二自由度的操作空间中,采用直线推移操作将目标物推移到指定安全位置.最后应用七自由度冗余机械臂系统验证了所提出的基于Kinect的冗余机械臂推移操作控制方法的有效性.     

基于Kinect骨架追踪的人体摔倒自动检测

为准确、迅捷地检测到独居老年人意外摔倒事件,最大程度降低因摔倒而造成的老年人意外死亡和伤害风险,利用Kinect检测设备和骨架追踪技术,选取人体头、左肩、右肩、左髋、右髋、两髋中心6个骨架点,实时计算这6个骨架点的空间位置、相对位置、运动速度和停留时间等参数,用以判定人体摔倒事件,并能较准确地辨别坐下、蹲下和捡拾物品等非摔倒动作,降低误判率.实验结果表明:采用该检测方法能实现人体摔倒的自动实时检测,人体摔倒的误判率为7%;采用骨架追踪技术,监控过程中可以保护老年用户隐私;检测系统不依赖可见光,可进行24h实时检测,为意外摔倒老人的及时安全救助提供了保障.     

基于Kinect的运动目标跟踪与三维测量

首先利用微软Kinect的图像传感器获得RGB图像,并且利用CamShift算法实时跟踪一个选中的目标物体,然后获得该目标物体的质心,最后将该质心映射到Kinect深度传感器获得的深度图像中,从而实时得到该运动目标质心的三维坐标.实验结果表明,在目标与背景的色彩空间有一定偏差的情况下,该方法能够实时跟踪目标物体并获得目标物体质心的三维坐标.     

基于FPGA的嵌入式系统在灵巧手中的应用

研究了一种基于FPGA和NIOSⅡ双核处理器结构的控制系统,这种系统在结构上更为紧凑的同时,性能更为完善,并将其应用在新一代仿人灵巧手中.系统将算法计算处理和通信任务处理使用两个NIOSⅡ软核分开处理,提高了系统性能,并实现了单个芯片完成系统控制模块,多任务环境,以太网接口及TCP/IP协议栈,CAN、高速串行通信等功能.