基于深度强化学习分层控制的双足机器人多模式步态系统研究

提出一种基于深度强化学习（DRL）分层控制的双足机器人多模式步态生成系统. 首先采用优势型演员-评论家框架作为高级控制策略,引入近端策略优化（PPO）算法、课程学习（CL）思想对策略进行优化,设计比例-微分（PD）控制器为低级控制器;然后定义机器人观测和动作空间进行策略参数化,并根据对称双足行走步态周期性的特点,设计步态周期奖励函数和步进函数;最后通过生成足迹序列,设计多模式任务场景,并在Mujoco仿真平台下验证方法的可行性. 结果表明,本方法能够有效提高双足机器人在复杂环境下行走的稳定性以及泛化性.     

基于自适应网络的动态双足机器人模糊控制

提出一种基于步态规划分级结构的自适应网络模糊推理系统控制策略,该方法不需要确定双足机器人运动学和动力学模型.以一种动态双足机器人为例,建立机器人的Sugeno模糊模型,对机器人系统的不确定上界进行自适应参数估计,采用自适应控制器逼近未知不确定界,解决了一类非线性系统的稳定控制问题.控制器的设计只要求不确定性满足匹配条件,而无需知道不确定界,能够处理不确定参数变化范围更广的情况,减少控制系统设计中的保守性.设计的分级控制系统可以学习试验的输入输出数据,从而在动态平衡下进行行走.同时,模糊控制器的进一步在线学习能力可以显著地改善步行机器人的动态性能.     

欠驱动机器人强化学习算法仿真及结果分析

针对纯被动机器人对环境变化敏感,抗干扰能力差等问题,提出了一种基于Sarsa(λ)强化学习的底层PD控制器参数优化算法.在MatODE环境下建立双足有膝关节机器人模型并进行控制器设计.通过与传统控制器仿真结果的对比分析,得出该算法可使模型获得更加稳定的行走步态,同时提高了系统抵抗斜坡扰动的能力,增强机器人的行走鲁棒性.     

基于LIPM的机器人快速行走优化

针对双足机器人,在线性倒立摆模型(LIPM)的基础上,提出了无双足支撑阶段的机器人快速行走优化方法.该方法在当前单足支撑阶段中寻找合适的换足时刻,使前后单足支撑阶段的质心位置与速度相匹配,达到了消除双足支撑阶段,提高行走速度的目的.在NAO机器人上进行对比实验发现:采用优化后的行走方法,机器人行走速度得到了明显提升.     

未知环境下移动机器人自主避障算法的研究

移动机器人是完成救援、运输等各种任务的重要工具,如何让机器人系统自主适应不同的复杂场景是目前的研究热点.本文针对具有静态和动态障碍物的复杂未知环境,对移动机器人进行运动学建模,提出了基于长短期记忆网络的近端策略优化避障算法.在无障碍物和有障碍物的仿真训练环境中,实现无先验地图信息情况下机器人在非结构化环境中的自主避障....     

基于脉冲推力作用的双足机器人半被动行走

研究了半被动双足机器人行走过程固定点的全局稳定性问题.使用罗盘机器人模型,在脚与地面冲击前,采用支撑腿的脉冲推力作为行走的动力源.通过引入一个限位器使两腿间的夹角在脚与地面冲击时保持为常数.采用庞加莱映射方法证明了半被动双足机器人行走固定点的存在性及其稳定性.分析了脉冲推力作用方向对双足机器人稳定行走的影响,并讨论了固定点存在的动力学附加条件.针对模型已知和未知2种情况,分别设计了行走控制律.理论分析和仿真结果表明,采用所提出的控制方法,半被动机器人可以在水平面上稳定行走,当脉冲推力作用方向与前腿垂直时控制效率最高.     

室内动态环境下的移动机器人自主避障策略

针对室内未知动态环境移动机器人自主避障问题,提出一种融合动态障碍物方向判断策略及子目标点更新策略的自适应模糊神经网络优化避障算法,并依据该算法设计移动机器人避障控制系统。首先,分析移动机器人的运动模型,获取机器人的目标角度;然后由超声波传感器获取障碍物距离信息,由障碍物距离信息判断动态障碍物运动方向并更新子目标点;最后利用自适应模糊神经推理系统实时输出机器人的转向角与速度,实现对机器人转向角的控制,使机器人能够无碰撞地到达目标点。研究结果表明:本文提出的算法能够使移动机器人在未知动态环境下识别障碍物、判断动态障碍物的运动方向以实现自主避障;相对于无子目标点更新策略,移动机器人平均移动速度提高11.75%,验证了所提算法的有效性。     

基于记忆矩阵A*引导域的VHF算法改进策略

针对机器人采用VFH算法避障容易陷入局部死区的问题,提出为机器人增加记忆地图的方法.在面对未知环境时,采用了一种新的自适应阈值策略,在一定程度上避开局部死区抵达目标点,同时在首次避障时生成记忆地图.在二次避障过程中通过记忆地图产生低分辨率A*引导域,使用改进的代价函数,使A*引导域与VFH算法有效结合,以较优的路径完成避障过程,同时能实时适应周围环境的变化.最后,在MATLAB上针对不同环境进行算法仿真对比.实验结果表明,使用新的自适应阈值策略能在未知环境下完成避障过程并产生记忆地图;在记忆地图的基础上使用A*域的引导,能使机器人适应周围环境变化的同时以较优的路径顺利到达目标位置.     

基于粒子群优化算法的双足机器人步态优化

分析了髋关节位置对双足机器人步行稳定性判据零力矩点(ZMP)的影响,以ZMP稳定裕度为参数构造目标函数,利用粒子群优化算法(PSO)对基于3次样条插值方法规划的双足机器人步态进行优化,从而得到ZMP稳定裕度大的平滑步态.仿真实验表明:该方法规划的步态实现了双足机器人稳定、协调地行走.     

基于记忆矩阵A~*引导域的VFH算法改进策略

针对机器人采用VFH算法避障容易陷入局部死区的问题,提出为机器人增加记忆地图的方法.在面对未知环境时,采用了一种新的自适应阈值策略,在一定程度上避开局部死区抵达目标点,同时在首次避障时生成记忆地图.在二次避障过程中通过记忆地图产生低分辨率A~*引导域,使用改进的代价函数,使A~*引导域与VFH算法有效结合,以较优的路径完成避障过程,同时能实时适应周围环境的变化.最后,在MATLAB上针对不同环境进行算法仿真对比.实验结果表明,使用新的自适应阈值策略能在未知环境下完成避障过程并产生记忆地图;在记忆地图的基础上使用A~*域的引导,能使机器人适应周围环境变化的同时以较优的路径顺利到达目标位置.     

基于改进灰狼优化算法的区域监测机器人路径规划

为了解决大任务量作业监测中机器人路径规划问题,提出了一种区域监测的机器人路径规划算法。模拟大任务量监测真实环境进行问题建模。针对传统灰狼优化算法求解模型时全局搜索能力差且易陷入局部最优解的问题,提出了一种改进的灰狼优化算法。引入Logistic混沌映射,以加强初始化种群的多样性;引入一种控制参数的自适应调整策略,以平衡灰狼优化算法的搜索能力和开发能力;引入静态加权平均权重策略,更新种群位置,加快收敛速度。将机器人载电量与路径长度短作为约束,引入K-means算法进行任务聚类,通过改进灰狼优化算法对模型进行离线求解以规划出路径,将大任务量监测作业自动转换成分时分步作业。实验结果表明:通过国际通用6个基准函数进行测试,改进的灰狼优化算法在收敛速度、搜索精度及稳定性上均有明显提高。通过50任务点与100任务点作业场景对机器人路径规划模型进行算法仿真,验证了算法的真实有效性,且任务量越大模型优越性越好,路径缩短比例越高。     

基于LSTM-PPO算法的无人作战飞机近距空战机动决策

近距空战中环境复杂、格斗态势高速变化,基于对策理论的方法因数据迭代量大而不能满足实时性要求,基于数据驱动的方法存在训练时间长、执行效率低的问题。对此,提出了一种基于深度强化学习算法的UCAV近距空战机动决策方法。首先,在UCAV三自由度模型的基础上构建飞行驱动模块,形成状态转移更新机制;然后在近端策略优化算法的基础上加入Ornstein-Uhlenbeck随机噪声以提高UCAV对未知状态空间的探索能力,结合长短时记忆网络（LSTM）增强对序列样本数据的学习能力,提升算法的训练效率和效果。最后通过设计3组近距空战仿真实验,并与PPO算法作性能对比,验证所提方法的有效性和优越性。     

基于相关熵诱导度量的近端策略优化算法

在深度强化学习算法中,近端策略优化算法PPO(Proximal Policy Optimization)在许多实验任务中表现优异,但具有自适应KL(Kullback-Leibler)散度的KL-PPO由于其不对称性而影响了KL-PPO策略更新效率,为此,提出了一种基于相关熵诱导度量的近端策略优化算法CIM-PPO(Correntropy Induced Metric-PPO)。该算法具有对称性更适合表征新旧策略的差异,能准确地进行策略更新,进而改善不对称性带来的影响。通过OpenAI gym实验测试表明,相比于主流近端策略优化算法Clip-PPO和KL-PPO算法均能获得高于50%以上的奖励,收敛速度在不同环境均有500～1 100回合左右的加快,同时也具有良好的鲁棒性。     

不平整地面上双足机器人的步态控制

提出了一种不平地面环境下双足机器人的步行控制算法.该算法由步态规划和传感器反馈控制系统组成.在步态规划中,采用被动倒立摆模型设计双足机器人的质心位置,所生成的步态使机器人能够在平地上更自然有效地稳定行走.在线反馈控制系统用于处理地面环境的凹凸不平以及来自外界的未知扰动,可分为上身姿态控制、期望ZMP控制以及非线性落地控制3个部分.这3种控制分别针对不同的控制目标,并根据步行过程的具体阶段在线修正预先规划好的步态,维持双足机器人的步行稳定性.它们在结构上相互耦合,从而实现加速在线反馈控制系统的收敛速度、克服机器人柔性对控制作用的负面影响等效果.双足机器人在凹凸地面的步行实验验证了所提出步行控制算法的有效性.     

双足机器人节能步态规划算法

为提高双足机器人的步行性能,提出基于五质心倒立摆模型的节能步态规划算法。算法包括步态参数优化算法和步态合成算法。步态参数优化算法允许身体做三维运动,以有限阶傅里叶级数的系数表征特定步长下机器人身体的运动空间。通过离散化这些系数,使运动空间网格化。进而对网格交点进行逆动力学计算,划分出满足允许零力矩点区域要求的种子集合。算法以电机的负荷转矩和角速度的乘积为能耗指标函数,在每个种子的邻域迭代计算。按照最大梯度原则逐次逼近函数极小值,此时的电机角度序列作为对应步长下的解,存入数据库。步态合成算法按照步行距离,规划由起始步、中间步和停止步构成的完整行走轨迹。按照行走步长,从数据库读取腿关节电机的角度序列,并依据双足机器人行走中反馈的零力矩点,对序列进行修改。为验证算法有效性,进行了动态仿真实验和现实环境中双足步行实验。实验结果与固定身体高度或允许身体垂直运动的算法对比,证明步态算法具有明显的节能效果。该算法实现低能耗和高鲁棒性的折中,较好地解决具有高度非线性特征的双足机器人行走问题,为煤矿救援机器人的开发开辟一种新途径。     

双足机器人变步长步行模式的在线生成方法

双足机器人在进行变步长步行模式行走的过程中,步长的突然改变会导致其行走不稳定.为此提出一种双足机器人步长实时变化的步行模式补偿方法.此方法中运用了时间补偿和零力矩点补偿.通过两者的补偿能够使步行模式的步长在发生变化时,在线修正双足机器人实际状态与目标状态的偏差,以保证其行走的稳定性.双足机器人AFU10的步行实验证明了该方法的有效性.     

基于模型预测控制的双足高效行走系统

提出基于模型预测的双足高效行走系统. 首先,利用最优能效算法对双足行进中的最优步态进行分析,包括行进步长和步速,并以此生成参考轨迹;然后,通过模型预测控制的思路对机器人的最优能效步态进行跟踪控制;最后,结合机器人逆运动学构建高效稳定的双足行走系统. 通过仿真实验验证了该系统可以有效跟踪、生成高效的行走步态,探寻了双足机器人动态行走的新思路.     

基于再励学习的被动动态步行机器人

为了研究仿人、能量高效的双足机器人步行,研制了由MACCEPA(mechanically adjustable compliance and controllable equilibrium position actuator)柔性驱动器驱动的半被动双足机器人,并实现了其动力学仿真系统.提出一种基于再励学习的步行控制方法.该方法首先采用Q-学习方法学习机器人在理想环境中的稳定步行步态及其控制策略,然后将此步态和控制策略作为模糊优胜学习方法的参考步态和参考控制策略并在线学习模糊网络的优胜值参数.仿真结果表明: 利用学习训练的结果控制柔性驱动器在步行相转换时的动作,机器人可以实现稳定动态步行.     

移动机器人未知环境自主探测的一种高效算法

针对未知环境中移动机器人自主探测的效率问题,提出了一种拓扑结合几何的自主探测算法.以保证机器人安全为前提,在拓扑和几何两个层面上选择机器人的观测点,从而达到提高探测效率的目的.为了对观测点进行评估,提出了一种新颖的路径规划高效算法.仿真实验结果表明,该算法不仅显著提高了未知环境下机器人自主探测的效率,而且具有很高的计算实时性.     

基于Rulkov神经元模型的四足机器人适应性行走控制

为了改善足式机器人的适应性行走能力,提出仿生控制和智能优化算法相结合的控制策略.利用Rulkov神经元模型对生物中枢模式发生器(central pattern generator, CPG)进行机理建模;设计了基于CPG模型的单关节和多关节耦合的网络拓扑结构,并利用多目标遗传算法优化CPG单元间的耦合系数矩阵,使得CPG网络的输出信号可以控制机器人关节按照一定的时序发生动作;设计机器人信息融合反馈系统并提出坡面适应性行走控制策略,并以四足机器人GhostDog作为实验对象,在Webots仿真平台上做实验验证.结果表明,所提出的行走控制策略可以控制机器人自主完成模式切换,具有一定的环境适应性.