对多功能雷达的DQN认知干扰决策方法

基于Q-Learning的认知干扰决策方法随着多功能雷达(multifunctional radar, MFR)可执行的任务越来越多,决策效率明显下降。对此,提出了一种对MFR的深度Q神经网络(deep Q network, DQN)干扰决策方法。首先,分析MFR信号特点并构建干扰库,以此为基础研究干扰决策方法。其次,通过对DQN原理的简要阐述,提出了干扰决策方法及其决策流程。最后,对该决策方法进行了仿真试验并通过对比DQN和Q-Learning的决策性能,验证了所提方法的必要性。为提高决策的实时性和准确率,对DQN算法进行了改进,在此基础上,结合先验知识进一步提高了决策效率。仿真试验表明:该决策方法能够较好地自主学习实际战场中的干扰效果,对可执行多种雷达任务的MFR完成干扰决策。     

面向天地一体化网络的计算卸载算法

由于天地一体化网络的计算资源受限、能力迥异等问题,会导致其处理复杂任务的能力减弱,使得重要的任务处理失败.因此,本文构建了一种将任务卸载到本地-骨干-边缘接入节点的三层计算卸载开销模型,并通过基于DQN的最优卸载算法进行最优卸载策略的制定.首先,依据网络中存在的天基骨干节点、边缘接入节点以及地基骨干节点三种类型计算节点(卸载站点)自身的特点,给出了不同卸载站点的时延、能耗的开销表达式以及对应的约束条件. 然后,提出了基于DQN算法来完成低时延、低能耗的卸载过程.仿真结果表明,DQN算法能够提高任务执行的速度,降低终端设备的能耗,有效改善网络中计算节点资源迥异的现状.     

基于强化学习的三维游戏控制算法

基于强化学习,设计了一个面向三维第一人称射击游戏(DOOM)的智能体,该智能体可在游戏环境下移动、射击敌人、收集物品等.本文算法结合深度学习的目标识别算法Faster RCNN与Deep Q-Networks(DQN)算法,可将DQN算法的搜索空间大大减小,从而极大提升本文算法的训练效率.在虚拟游戏平台(ViZDoom)的两个场景下(Defend_the_center和Health_gathering)进行实验,将本文算法与最新的三维射击游戏智能体算法进行比较,结果表明本文算法可以用更少的迭代次数实现更优的训练结果.     

面向多异质用户的分布式动态频谱接入方法

针对认知无线电网络中多个次用户存在不同服务质量(quality of service,QoS)需求的频谱接入问题,提出了基于Dueling DQN(dueling deep Q-network)的分布式动态频谱接入方法.该方法通过与环境交互学习实现在次用户不掌握系统信道先验信息条件下动态获得最佳频谱接入策略,并以次用户碰撞次数以及成功接入信道次数分析比较所提出方法的性能.仿真结果表明,提出的方法在保护主用户不受干扰、满足多异质用户QoS需求的前提下,能够有效减少次用户间碰撞次数,提高次用户成功接入信道次数,相比随机接入与短视策略(myopic policy)频谱接入方法,该方法的碰撞次数分别降低60％和90％,其成功接入性能分别提高30％和50％.     

基于逆强化学习的电动汽车出行规划方法研究

随着电动汽车的普及，对电动汽车出行规划问题的研究显得尤为重要。有别于路径规划，出行规划既需要考虑路径问题又需要考虑充电问题。本文提出了一种基于逆强化学习（Inverse Reinforcement Learning，IRL）的电动汽车出行规划（Electric Vehicle Travel Planning，EVTP）方法，有效地为电动汽车用户规划一条兼顾行驶路径短以及充电时间短的可达路径。将Dijkstra算法进行改进得到考虑充电行为的最短路径作为专家示例输入到逆强化学习算法中；利用逆强化学习算法得到兼顾行走与充电的奖励；在学习策略上，采用Dueling DQN算法高效更新Q值，提升学习性能；采用部分充电策略以及分段充电策略，提升充电效率并使研究更接近真实情况。通过对模型的工作性能和结果进行详细分析，并结合基准方法进行对比，结果表明，基于逆强化学习的电动汽车出行规划方法在行驶时间与充电时间两方面都有较好的性能，且具备很好的迁移性。