双层循环神经网络框架下的USV路径规划方法

针对全连接神经网络结构下Actor-Critic算法在复杂路径规划环境下训练时间长、不宜收敛且难以处理长动作记忆序列的不足，本文提出了基于双层循环神经网络的水面无人艇(unmanned surface vessel, USV)路径规划算法。该算法的输入并不是单独的一个状态，而是由状态、动作和奖励所组成的具有一定长度的序列（宏动作）。从网络架构上来看，循环神经网络(recurrent neural network, RNN)会记住历史信息，并且使用历史信息影响当前的输入输出，基于RNN结构的双层循环神经网络(double-layer recurrent neural network, DRNN)也具有同样的性质，由于DRNN考虑了一定时间内的环境交互历史，有助于神经网络对于连续动作序列（宏动作）模式的识别。通过仿真实验，在多个地图上与常规的Actor-Critic算法进行对比验证。结果表明：该算法在平均步数、成功率与平均奖励上比Actor-Critic算法有明显提高。