深度强化学习及其在军事领域中的应用综述

随着大数据、云计算、物联网等一系列新兴技术的大量涌现,人工智能技术不断取得突破性进展。深度强化学习(deep reinforcement learning, DRL)技术作为人工智能的最新成果之一,正被逐渐引入军事领域中,促使军事领域走向信息化和智能化。在未来战争作战模式及军队发展建设中,网络化、信息化、智能化和无人化形成重要特征,已经成为不可逆转的趋势。因此,在回顾了DRL基本原理和主要算法的基础上,对当前DRL在武器装备、网络安全、无人机(unmanned aerial vehicle, UAV)编队、智能决策与博弈等方面的应用现状进行了系统的梳理与总结。最后,针对实际推进DRL技术在军事领域应用落地所面临的一系列问题和挑战,提供了未来进一步研究的思路。     

LTE-V下基于深度强化学习的基站选择算法

针对长期演进车辆(long term evolution-vehicle, LTE-V)下的车辆随机竞争接入网络容易造成网络拥塞的问题,提出基于深度强化学习(deep reinforcement learning,DRL)为LTE-V下的车辆接入最佳基站(evolved node B,eNB)的选择算法。使用LTE核心网中移动管理单元(mobility management entity,MME)作为代理,同时考虑网络侧负载与接收端接收速率,完成车辆与eNB的匹配问题,降低网络拥塞概率,减少网络时延。使用竞争双重深度Q网络(dueling-double deep Q-network,D-DDQN)来拟合目标动作-估值函数(action-value function,AVF),完成高维状态输入低维动作输出的转化。仿真表明,D-DDQN训练完成参数收敛后,LTE-V网络拥塞概率大幅下降,整体性能有较大提升。     

基于强化学习和共识融合的分布式协作频谱感知方法

在频谱感知中为了解决不同信誉用户网络节点之间的数据融合问题,提出了一种基于强化学习和共识融合的分布式协作频谱感知方法。该方法将每个感知用户认为是一个智能体(agent), agent通过强化学习算法从相邻节点选择合作用户进行共识融合,采用信誉值作为奖励,确保agent倾向于信誉高的节点进行融合,并同时降低恶意用户的信誉值,使其逐渐退出感知网络,最后采用一致性融合方法使整个网络达成共识,并与判决门限对比,完成协作频谱感知。仿真实验表明,该方法能够有效的识别恶意用户,并通过强化学习提高整个网络的感知性能,使协作频谱感知网络更具智能性和稳定性。     

自主移动机器人中基于强化学习的噪声消解策略

基于行为的自主移动机器人在获取外界信息时不可避免地会引入噪声，给其系统性能造成一定的影响。提出了一种基于过程奖赏和优先扫除(PS-process)的强化学习算法作为噪声消解策略。针对典型的觅食任务，以计算机仿真为手段。并与其它四种算法——基于结果奖赏和优先扫除(PS-result)、基于过程奖赏和Q学习(Q-process)、基于结果奖赏和Q学习(Q-result)和基于手工编程策略(Hand)进行比较。研究结果表明比起其它四种算法，本文所提出的基于过程奖赏和优先扫除的强化学习算法能有效降低噪声的影响，提高了系统整体性能。     

基于不完美CSI的水声自适应功率分配算法

水声信道面临带宽资源有限、环境复杂的问题，为提高水下通信速率，基于水声传感器网络的海洋应用提出自适应通信的需求。传统基于简单信噪比指标的自适应资源分配算法无法准确表述衰落信道的统计特征，利用强化学习和卷积神经网络预测信道的方法虽然可以提高一定信道状态信息(channel state information, CSI)的准确性，但这种方法需要长期的观测和大量的训练样本，不符合水声环境的实际情况。对比，构建了一种中继放大转发协作正交频分复用(orthogonal frequency division multiplexing, OFDM)通信的模型，解决了由于节点漂浮导致直接通信传输效率变低的问题，并提出一种在时延反馈CSI中基于OFDM的自适应功率比特分配算法，利用条件概率表征不完美的CSI,调整自适应通信参数，进行遍历容量最大化建模。仿真结果表明，该算法实现功率和比特的联合自适应分配，平均传输速率指标优于直接反馈CSI的功率分配算法，虽然略低于采用马尔可夫链预测信道的方法，但结合算法复杂度来看，所提算法更简单，更适合能量有限的水声传感器网络。     

基于LSTM和残差网络的雷达有源干扰识别

针对目前雷达干扰识别方法存在人工特征提取难、强噪声环境下识别率不高的问题，提出了一种基于长短时记忆(long short-term memory, LSTM)网络和残差网络相结合的雷达有源干扰识别方法。输入有源压制干扰原始时域序列数据，搭建深度学习网络模型对不同干噪比下的干扰信号进行分类识别。仿真结果表明：在干噪比为0 dB的情况下，该方法对4类雷达有源干扰信号的识别准确率均高于98.3%,与单纯的残差网络和卷积神经网络(convolutional neural networks, CNN)等其他深度学习算法相比，具有更佳的网络性能，验证了该算法的有效性。     

基于深度强化学习的Boost变换器控制策略

针对Boost变换器母线电压稳定控制存在模型不确定性和非线性的问题，提出了一种基于无模型深度强化学习的智能控制策略。结合强化学习DDQN(double DQN)算法与DDPG算法设计了Boost变换器控制器，包括了状态、动作空间、奖励函数以及神经网络的设计以提高控制器动态性能；基于ModelicaGym库开发工具包reinforment learning modelica(RLM)实现了Boost变换器模型与强化学习智能体的联合仿真。通过与双环PI控制器的对比仿真表明：强化学习控制器在三种工况下的母线电压稳定控制结果具有更好的动态性能。     

基于强化学习的战时保障力量调度策略研究

智能化后装保障调度是当前军事领域的研究热点之一,其中复杂多变的战场环境要求战时保障具有良好的自适应性。针对此问题,提出了基于马尔可夫决策过程的强化学习模型,能够主动学习最佳派遣策略,根据历史数据和当前态势预判后续变化。为了考虑不确定事件的影响,在模型求解算法中增加了基于概率统计模型的仿真流程;为了减少随机事件带来的计算复杂性,利用决策后状态变量重新设计了贝尔曼迭代方程;为了解决状态空间的维度灾问题,提出了基于基函数组合的近似函数。仿真实验表明,强化学习能力的引入能够显著提高战时保障调度性能。     

融合零样本学习和小样本学习的弱监督学习方法综述

深度学习模型严重依赖于大量人工标注的数据，使得其在数据缺乏的特殊领域内应用严重受限。面对数据缺乏等现实挑战，很多学者针对数据依赖小的弱监督学习方法开展研究，出现了小样本学习、零样本学习等典型研究方向。对此，本文主要介绍了弱监督学习方法条件下的小样本学习和零样本学习，包括问题定义、当前主流方法以及实验设计方案，并对典型模型的分类性能进行对比。然后，给出零-小样本学习的问题描述，总结研究现状和实验设计，并对比典型方法的性能。最后，基于当前研究中出现的问题对未来研究方向进行展望，包括多种弱监督学习方法的融合与理论基础的探究，以及在其他领域的应用。     

基于ANN的一种新型SVPWM控制器设计

分析了空间矢量脉宽调制(SVPWM)的基本原理,在此基础上提出了一种基于复合人工神经网络(ANN)的SVPWM新算法,充分地利用ANN的快速并行处理能力、学习能力,缩短了计算时间,减低了由控制延时引起的谐波成分。最后在MATLAB/Simulink环境下结合ANN工具箱建立了仿真模型,在感应电机直接磁场定向的矢量控制系统中进行了仿真研究,仿真结果证明了基于复合网络的SVPWM新算法的可行性。     

基于深度强化学习的履带机器人摆臂控制方法

摆臂式履带机器人具有一定的地形适应能力,实现摆臂的自主控制对提升机器人在复杂环境中的智能化作业水平具有重要意义。结合专家越障知识和技术指标对机器人的摆臂控制问题进行马尔可夫决策过程(Markov decision process,MDP)建模,基于物理仿真引擎Pymunk搭建了越障训练的仿真环境;提出一种基于D3QN(dueling double DQN)网络模型的深度强化学习摆臂控制算法,以地形信息与机器人状态为输入,以机器人前后四摆臂转角为输出,能够实现挑战性地形下履带机器人摆臂的自学习控制。在Gazebo三维仿真环境中将算法学得的控制策略与人工操纵进行了对比实验,结果表明：所提算法相对人工操纵具有更加高效的复杂地形通行能力。     

基于深度强化学习的应急通信网络规划方法

针对应急通信网络规划传统算法对先验知识要求高、时效性不强等问题,提出一种基于深度强化学习的应急通信网络拓扑规划方法。研究了基于蒙特卡罗树搜索与自博弈相结合的网络规划样本数据生成方法,设计了基于残差网络的策略网和价值网,在此基础上使用Tensorflow库对模型进行构建和训练。仿真结果表明,提出的规划方法能够有效实现网络拓扑的智能规划,且具有较高的时效性和可行性。     

基于深度强化学习的应急通信网络规划方法

针对应急通信网络规划传统算法对先验知识要求高、时效性不强等问题,提出一种基于深度强化学习的应急通信网络拓扑规划方法。研究了基于蒙特卡罗树搜索与自博弈相结合的网络规划样本数据生成方法,设计了基于残差网络的策略网和价值网,在此基础上使用Tensorflow库对模型进行构建和训练。仿真结果表明,提出的规划方法能够有效实现网络拓扑的智能规划,且具有较高的时效性和可行性。     

基于时间敏感软件定义网络的工业互联网时延优化方案

大规模工业通信网络中不同优先级的数据流量共同传输会导致网络拥塞、时延增大等问题，基于时间敏感软件定义网络(time sensitive software defined network, TSSDN)框架，提出一种网络时延优化方案。在数据链路层对工业网络中不同优先级的数据流量设计分类整形调度的增强型时间感知整形器(enhanced-time awareness shaper, E-TAS)算法，缩短网络排队时延，将最高优先级同步实时数据采取流预留的方式、将次优先级非同步实时数据采取帧抢占的方式进行调度，将低优先级非实时数据按其调度权重进行公平调度，同时在网络层结合使用基于时延的Dijkstra算法，缩短网络数据的传播时延。仿真结果表明，所提方案有效保证了不同优先级数据流量的时延要求，实现了网络总时延性能的优化。     

HLA/RTI中分布资源的存取机制研究

HLA(High Level Architecture)作为分布交互仿真领域最新的技术规范，促进了不同领域、不同类型仿真应用的互操作与可重用，RTI(Run Time Infrastmcture)是HLA的软件实现，其运行效率直接影响仿真应用的整体性能。我们对RTI中涉及的数据资源进行了定义，探讨了资源管理所面临的问题，设计出高效存储、快速索引这些资源的存储方案，改善了RTI数据管理效率，并成功地应用于自行开发的分布仿真支撑平台AST—RTI中。     

分布式网络环境下DDM系统层次仿真框架

在基于HLA的大规模交互仿真中，如何灵活、高效地实现分布式网络仿真成为迫切需要解决的问题。HLA中的数据分发管理机制为实现大规模交互仿真提供了可能。分析了数据分发实现过程及过滤原理，结合分布式网络的特点，构建了一种层次化数据分发管理系统仿真结构，提出了层次化DDM系统仿真策略，并对层次化DDM仿真系统的性能进行了分析对比，说明了层次化仿真框架的可行性及优越性。     

跳频信号盲检测的半监督干扰对消方法

实际跳频信号所处的电磁环境较为复杂且难以预料，这给基于仿真数据训练的检测算法带来困扰。针对这一问题，提出一种名为半监督干扰对消的方法。该方法首先以暹罗嵌套Unet为主干，引入图注意力机制和集成通道注意力模块，得到干扰对消网络，并用成对的跳频信号时频图以及对应的标签对其进行预训练，使其获得干扰对消及检测信号的能力。然后，将没有标签、干扰更为复杂的时频图输入到干扰对消网络，得到低熵预测，作为伪标签。同时，对这些没有标签的时频图进行强增强，得到变形时频图。训练网络使得变形时频图的检测结果与伪标签具有一致性，从而强化网络在没有标签的数据上的泛化能力。仿真结果表明，所提方法可以在复杂干扰下实现参数估计和盲检测，并利用无标签数据增强网络性能。     

网络模拟器NS2中仿真功能的问题分析及改进

网络仿真技术为解决大规模网络规划、应用和协议设计面临的挑战提供了新的途径.作为广泛应用的网络模拟器,NS2为建立可扩展的网络仿真环境奠定了重要基础.在描述NS2仿真功能实现的基础上,重点分析了NS2仿真功能存在的不足.针对发现的问题,提出并实现了NS2仿真功能扩展,最后验证了仿真功能扩展的正确性.     

基于孪生网络的仿真模型智能排序评估方法

针对动态输出多样本条件下的多备选仿真模型择优问题，提出了一种基于孪生卷积神经网络(siamese convolutional neural network, SCNN)的仿真模型智能排序评估方法。首先，将仿真数据和参考数据的一致性度量问题转化为二者特征一致性度量问题。其次，在分析评估数据特点和对比试验结果的基础上，确定采用SCNN实现评估数据的特征提取。接下来，给出基于SCNN的仿真模型排序评估方法，包括网络结构初步设计、网络参数训练调优和仿真模型排序评估三部分。最后，通过实例应用，验证了该方法在评估数据特征提取和仿真模型排序评估方面的有效性。     

大数据中面向乱序数据的改进型BP算法

针对大数据中的乱序数据缺少关联规则的问题，提出了一种动态调整的改进型BP 算法，运用了动态自适应结构调整机制，根据环境要求自适应调整网络训练结构，自动删除无效训练神经元，优化迭代训练过程；并在网络学习过程中动态调整网络参数中的三因子，即动量因子、权学习指数、阈学习指数，来达到加快学习响应速度、增强网络稳定性的目的. 仿真结果表明，通过动态自适应调整结构、动态调整三因子的改进型算法，能够获得更多的收敛次数，并能有效地提高收敛率，进而提高整体网络性能.