基于Q-network强化学习的超视距空战机动决策

考虑到空空导弹对空战胜负的重要影响,针对空战态势状态特征连续、多维的情况以及传统方法缺乏对空战对抗中敌方策略的考虑,将强化学习应用到1vs1超视距空战机动决策。首先,建立了同时为对抗双方进行机动决策的强化学习框架,提出ε-纳什均衡策略来选取机动动作,并通过导弹攻击区优势函数来修正奖赏函数;其次,基于记忆库和目标网络训练Q-network,形成超视距空战机动决策的"价值网络";最后,设计了Q-network强化学习决策模型,并将机动决策过程分为了学习阶段与实战阶段。仿真结果表明:智能体可以感知空战的态势并作出合理的超视距空战机动决策。

BVR Air Combat Maneuvering Decision by Using Q-network Reinforcement Learning