基于ProMPs和PI~2的机器人学习方法

基于传统运动基元模型的机器人学习方法存在学习速度慢、学习结果精度低等问题,为此本文提出一种融合贝叶斯估计算法的概率运动基元(ProMPs)表达和模仿学习框架,同时还利用了基于核典型相关分析(KCCA)的改进型路径积分PI~2策略进行轨迹优化。ProMPs结合贝叶斯推断,为机器人实现有别于示范任务的新任务提供了一个可行解搜索起点,而利用附加泛函指标约束的PI~2算法能让机器人获得平滑的过点轨迹。通过UR5机器人实验平台和V-REP仿真软件对本文方法进行过点试验验证,结果表明,所提出的贝叶斯ProMPs-PI~2学习方法能快速而精准地完成机器人从示范任务到陌生任务的泛化学习,实现机器人新技能的获取。     

双臂冗余机器人主动自避碰控制策略研究

为解决双臂冗余机器人的非操作臂因不在规划范围内所导致的非操作臂占据操作空间的问题,提出了基于任务空间关节距离离线数据集的深度确定性策略梯度(D-DDPG)主动自避碰策略.通过构建关节间距离的描述数据集,结合DDPG深度强化学习生成主动避碰模型,利用经验模型主动驱动非操作臂运动到非任务空间,在避免操作臂路径规划中避障运算的同时,为操作臂提前避让出一定的操作空间.实验表明:D-DDPG策略在连续路径避障测试中可将最小关节距离提升到初始位置的2.38倍.     

基于双空间交替学习的机器人运动技能获取

针对如何基于示范任务学习让机器人自主获得完成新任务的能力的难题,提出一种高斯混合回归结合路径积分策略提升(GMR-PI2)的表达、模仿和优化框架,同时采用基函数、策略表达权系数两个空间上交替搜索执行方案来解决上述问题.核心思想是当权系数探索到最佳逼近点附近时,根据经验最优轨迹集进行基函数的自重组,然后再重启权系数搜索,从而实现从示范任务到指标集约束任务的渐进运动技能获取.经典的轨迹规划过点实验结果表明该方法是有效和可行的.     

基于深度强化学习的无人艇轨迹跟踪算法研究

针对欠驱动水面无人艇(USV)轨迹跟踪控制问题,提出一种基于近端策略优化(PPO)的深度强化学习轨迹跟踪控制算法．为引导控制器网络的正确收敛,构建基于长短时记忆(LSTM)网络层的深度强化学习控制器,设计了相应的状态空间和收益函数．为增强控制器的鲁棒性,生成轨迹任务数据集来模拟复杂的任务环境,以此作为深度强化学习控制器的训练样本输入．仿真结果表明：所提出的算法能有效收敛,具备扰动环境下的精确跟踪控制能力,有较大的实际应用潜力．     

液压挖掘机自主挖掘系统规划级技术研究

以完善挖掘机器人自主挖掘控制系统规划级对各关节运动规划的能力为目标,提出了一种基于规则的规划级设计方案,通过智能启发式搜索方法搜索挖掘关键点以完成设定挖掘任务的分解,使得整体搜索时间小于20 s,搜索速度快且精度较高;采用基于多目标的角度最优方法解决挖掘路径点的最优插值问题,分析结果表明该算法对于动臂及斗杆的运动优化较为明显,其对应驱动液压缸的运动行程平均减少了73 mm和131 mm;采用基于动态时间最优算法完成整个过程中各关节的轨迹规划问题,并生成整个过程中各关节对应的最优运动序列。仿真分析结果表明,该方案可以有效完成设定任务的整体规划,并大幅减少挖掘过程中液压系统的冲击和振动以及驱动液压缸的运动幅度,使得挖掘机器人工作装置运动更为平稳并具有节能性。     

基于改进SNN-HRL的智能体路径规划算法

针对SNN-HRL等传统Skill discovery类算法存在的探索困难问题,本文基于SNN-HRL算法提出了融合多种探索策略的分层强化学习算法MES-HRL,改进传统分层结构,算法包括探索轨迹、学习轨迹、路径规划三层.在探索轨迹层,训练智能体尽可能多地探索未知环境,为后续的训练过程提供足够的环境状态信息.在学习轨迹层,将探索轨迹层的训练结果作为“先验知识”用于该层训练,提高训练效率.在路径规划层,利用智能体之前获得的skill来完成路径规划任务.通过仿真对比MES-HRL与SNN-HRL算法在不同环境下的性能表现,仿真结果显示,MES-HRL算法解决了传统算法的探索问题,具有更出色的路径规划能力.     

面向模型未知的冗余机器人运动规划方案

为解决模型未知的冗余机器人运动规划问题,提出一种基于梯度下降的学习方案,使用数据驱动技术将冗余机器人的末端执行器速度及关节角速度作为系统输入量,将冗余机器人各关节控制信息作为系统输出量,使用梯度信息最小化估计误差以得到雅克比矩阵的估计值.基于该方案设计了一种加速度层的冗余机器人运动规划方案.理论分析和数值仿真结果均证明该方案能有效控制模型未知冗余机器人完成运动规划任务.     

一种直接面向位移寻优的冗余度机器人运动规划算法

针对冗余度机器人梯度投影逆解算法和数值优化方法在处理位移层面附加作业任务时存在的不足,基于自运动流形,推导出直接面向位移寻优的冗余度机器人运动规划的新算法.新算法将运动规划等效为两步来完成,首先采用非冗余关节实现末端操作器的精确位姿跟踪,然后利用附加作业对冗余关节位移的梯度来调整冗余关节,再利用机器人的自运动来实现附加作业.仿真结果表明,新算法在有效完成主任务和附加任务的同时还具有更快的求解速度,因此更适于冗余度机器人完成位移层面的附加作业任务.     

面向微装配机器人的TSB分级智能控制结构

提出了一种面向微装配机器人的TSB(任务 策略 行为 )分级智能控制结构 ,该结构自上而下有三个控制层组成 :任务层、策略层和行为层 .操作者在任务层通过人机交互接口进行微装配任务规划 ,策略层将抽象的装配规划分解为具体的显微视觉伺服策略控制微装配机械手的运动 ,行为层则涉及微装配机器人基本行为的生成与执行监督 .TSB控制结构通过人机交互的方式将操作者的任务规划能力和机器人显微视觉伺服策略结合起来 ,实现了微装配机器人的半自主控制 .     

基于渐进式神经网络的机器人控制策略迁移

在机器人领域,通过深度学习方法来解决复杂的控制任务非常具有吸引力,但是收集足够的机器人运行数据来训练深度学习模型是困难的.为此,提出一种基于渐进式神经网络(progressive neural network,PNN)的迁移算法,该算法基于深度确定性策略梯度(deep deterministic policy gradient,DDPG)框架,通过把模型池中的预训练模型与目标任务的控制模型有机地结合起来,从而完成从源任务到目标任务的控制策略的迁移.两个仿真实验的结果表明,该算法成功地把先前任务中学习到的控制策略迁移到了目标任务的控制模型中.相比于其他基准方法,该算法学习目标任务所需的时间大大减少.