基于改进PPO算法的双足机器人自适应行走控制

针对双足机器人在未知环境行走过程中步态不稳的问题，提出了一种基于近端策略优化(proximal policy optimization, PPO)的双足机器人控制方法.首先，构建动作网络和价值网络，引入长短时记忆(long short-term memory, LSTM),以缩小双足机器人与未知环境交互时的状态估计值与期望值之间的偏差；其次，在动作网络中引入注意力机制，自适应改变神经网络自主学习的权重系数，以提高学习效率，得到适应不同环境的稳定步态；最后，通过仿真实验验证所提算法的有效性.结果表明：改进后近端策略优化算法的收敛速度更快，学习效率更高，能够有效提高双足机器人自适应行走的稳定性.