基于深度强化学习的履带机器人摆臂控制方法

摆臂式履带机器人具有一定的地形适应能力，实现摆臂的自主控制对提升机器人在复杂环境中的智能化作业水平具有重要意义。结合专家越障知识和技术指标对机器人的摆臂控制问题进行马尔可夫决策过程(Markov decision process,MDP)建模，基于物理仿真引擎Pymunk搭建了越障训练的仿真环境；提出一种基于D3QN(dueling double DQN)网络模型的深度强化学习摆臂控制算法，以地形信息与机器人状态为输入，以机器人前后四摆臂转角为输出，能够实现挑战性地形下履带机器人摆臂的自学习控制。在Gazebo三维仿真环境中将算法学得的控制策略与人工操纵进行了对比实验，结果表明：所提算法相对人工操纵具有更加高效的复杂地形通行能力。