基于深度强化学习的网络路由优化方法

针对同一网络拓扑下不同网络负载的路由优化问题, 在深度强化学习方法的基础上, 提出了两种依据当前网络流量状态进行路由分配的优化方法。通过网络仿真系统与深度强化学习模型的迭代交互, 实现了对于流量关系分布的网络路由持续训练与优化。在利用深度确定性策略梯度(deep deterministec policy gradient, DDPG)算法解决路由优化问题上进行了提升和改进, 使得该优化方法更适合解决网络路由优化的问题。同时, 设计了一种全新的链路权重构造策略, 利用网络流量构造出用于神经网络输入状态元素, 通过对原始数据的预处理加强了神经网络的学习效率, 大大提升了训练模型的稳定性。并针对高纬度大规模网络的连续动作空间进行了动作空间离散化处理, 有效降低了其动作空间的复杂度, 加快了模型收敛速度。实验结果表明, 所提优化方法可以适应不断变化的流量和链路状态, 增强模型训练的稳定性并提升网络性能。     

基于深度强化学习算法的无人机智能规避决策

为提升无人机在复杂空战场景中的存活率,基于公开无人机空战博弈仿真平台,使用强化学习方法生成机动策略,以深度双Q网络(double deep Q-network, DDQN)和深度确定性策略梯度(deep deterministic policy gradient, DDPG)算法为基础,提出单元状态序列(unit state sequence, USS),并采用门控循环单元(gated recurrent unit, GRU)融合USS中的态势特征,增加复杂空战场景下的状态特征识别能力和算法收敛能力。实验结果表明,智能体在面对采用标准比例导引算法的导弹攻击时,取得了98%的规避导弹存活率,使无人机在多发导弹同时攻击的复杂场景中,也能够取得88%的存活率,对比传统的简单机动模式,无人机的存活率大幅提高。     

弹性光网络中路由与频谱分配算法综述

弹性光网络(elastic optical networks, EONs)作为下一代极具潜力的光网络近年来受到广泛关注,其中路由与频谱分配(routing and spectrum allocation, RSA)是实现网络设计和控制的核心技术之一。本文系统分析了EONs的概念内涵,对RSA这一关键问题进行了详细描述,从静态和动态角度出发,以不同特性的算法框架为基础,依照精确算法、智能优化算法、启发式算法以及学习型算法4个大类对RSA算法的国内外研究现状进行了总结剖析。结合EONs的未来应用需求,阐述了该领域所面临的问题与挑战,展望了RSA算法的发展趋势。     

LTE-V下基于深度强化学习的基站选择算法

针对长期演进车辆(long term evolution-vehicle, LTE-V)下的车辆随机竞争接入网络容易造成网络拥塞的问题,提出基于深度强化学习(deep reinforcement learning,DRL)为LTE-V下的车辆接入最佳基站(evolved node B,eNB)的选择算法。使用LTE核心网中移动管理单元(mobility management entity,MME)作为代理,同时考虑网络侧负载与接收端接收速率,完成车辆与eNB的匹配问题,降低网络拥塞概率,减少网络时延。使用竞争双重深度Q网络(dueling-double deep Q-network,D-DDQN)来拟合目标动作-估值函数(action-value function,AVF),完成高维状态输入低维动作输出的转化。仿真表明,D-DDQN训练完成参数收敛后,LTE-V网络拥塞概率大幅下降,整体性能有较大提升。     

交互式仿真在光网络性能分析中的应用

从系统学和经济学的角度出发,分析了光网络拓扑设计、路由选择、波长分配分别对光网络性能的影响,指出光网络性能不仅取决于路由选择与波长分配算法,并且取决于光网络拓扑设计。进而指出在进行光网络性能优化过程中,以网络拓扑设计作为性能优化的基础,结合路由与波长分配算法、网络服务和市场价格等因素,建立了一种波分复用(wavelengthdivisionmultiplexing,WDM)光网络性能优化的数学模型。最后,给出了WDM光网络性能分析与优化的交互式仿真过程。     

基于深度强化学习的Boost变换器控制策略

针对Boost变换器母线电压稳定控制存在模型不确定性和非线性的问题,提出了一种基于无模型深度强化学习的智能控制策略。结合强化学习DDQN(double DQN)算法与DDPG算法设计了Boost变换器控制器,包括了状态、动作空间、奖励函数以及神经网络的设计以提高控制器动态性能;基于ModelicaGym库开发工具包reinforment learning modelica(RLM)实现了Boost变换器模型与强化学习智能体的联合仿真。通过与双环PI控制器的对比仿真表明：强化学习控制器在三种工况下的母线电压稳定控制结果具有更好的动态性能。     

基于深度强化学习的UAV航路自主引导机动控制决策算法

针对无人机(unmanned aerial vehicle, UAV)航路终端约束情况下航路自主引导机动控制决策问题,采用Markov决策过程模型建立UAV自主飞行机动模型,基于深度确定性策略梯度提出UAV航路自主引导机动控制决策算法,拟合UAV航路自主引导机动控制决策函数与状态动作值函数,生成最优决策网络,开展仿真验证。仿真结果表明,该算法实现了UAV在任意位置/姿态的初始条件下,向航路目标点的自主飞行,可有效提高UAV机动控制的自主性。     

边缘计算下基于深度强化学习的车联网任务调度

针对边缘计算下车联网中时延约束型计算任务的卸载执行问题,提出一种基于深度强化学习的任务调度方法。在多边缘服务器场景下,构建软件定义网络辅助的车联网任务卸载系统,给出车辆计算卸载的任务调度模型;根据任务调度的特点,设计一种基于改进指针网络的调度方法,综合考虑任务调度和计算资源分配的复杂性,采用深度强化学习算法对指针网络进行训练;运用训练好的指针网络对车辆卸载任务进行调度。仿真结果表明：在边缘服务器计算资源相同的情况下,该方法在处理时延约束型计算任务的数量方面优于其他方法,有效提高了车联网任务卸载系统的服务能力。     

考虑行为克隆的深度强化学习股票交易策略

为提高股票投资的收益并降低风险,将模仿学习中的行为克隆思想引入深度强化学习框架中设计股票交易策略。在策略设计过程中,将对决DQN深度强化学习算法和行为克隆进行结合,使智能体在自主探索的同时模仿事先构造的投资专家的决策。选择不同行业的股票进行数值实验,说明了所设计的交易策略在年化收益率、夏普比率和卡玛比率等收益与风险指标上优于对比策略。研究结果表明：将模仿学习与深度强化学习相结合可以使智能体同时具有探索和模仿能力,从而提高模型的泛化能力和策略的适用性。     

基于深度强化学习的应急通信网络规划方法

针对应急通信网络规划传统算法对先验知识要求高、时效性不强等问题,提出一种基于深度强化学习的应急通信网络拓扑规划方法。研究了基于蒙特卡罗树搜索与自博弈相结合的网络规划样本数据生成方法,设计了基于残差网络的策略网和价值网,在此基础上使用Tensorflow库对模型进行构建和训练。仿真结果表明,提出的规划方法能够有效实现网络拓扑的智能规划,且具有较高的时效性和可行性。     

基于SDN的卫星网络多QoS目标优化路由算法

针对传统卫星网络中业务类型多样化导致的网络配置复杂和业务服务质量(quality of service, QoS)无法得到有效保障的问题,研究了基于软件定义网络(software-defined networking, SDN)的卫星网络架构,提出了一种能够满足多种QoS需求的自适应路由算法。首先,建立了软件定义卫星网络多约束条件路由选择优化模型;然后,使用拉格朗日松弛法对模型进行松弛处理;最后,使用梯度法进行迭代求解,搜索出满足带宽、时延、丢包率等多种QoS的最优路径。研究结果表明,该优化算法在QoS满意度方面相比近地轨道卫星路由算法提高了64%,在时延满意度和丢包率满意度方面相比软件定义路由算法提高了28%。     

卫星网络时隙分配算法与路由规划优化

星间链路的应用在增加网络连通性和提升网络性能方面是至关重要的。然而,对于大规模、高动态的卫星网络,实时的星间链路设计和路由规划变得非常有挑战性。为了克服这个难点,本文研究了动态卫星网络中的时隙分配与路由规划问题,并将其建模为一个整数线性规划问题。为了降低问题求解的复杂度,该问题被近似地分解为两个独立的子问题,包括时隙分配问题与路由规划问题。第一个子问题仍然是一个整数规划问题,本文结合匹配理论与拉格朗日松弛方法设计了一个低复杂度但是高效的求解算法。然后,针对第二个子问题,考虑业务的优先级,设计了一个低花费的路由算法。最后,仿真结果验证了方法的可行性与有效性。     

卫星网络的数学模型和路由算法研究

对卫星网络路由算法研究中存在的问题进行了分析.建立了卫星网络的多约束数学模型,该模型表示了多约束条件下的最小代价问题.在数学模型研究的基础上,对多约束路由算法进行研究,得到一种多约束切换最优路由算法.该算法能够有效地降低路径的切换概率,能够提高计算效率,通过分析表明该算法具有较好的性能.     

基于深度强化学习的应急通信网络规划方法

针对应急通信网络规划传统算法对先验知识要求高、时效性不强等问题,提出一种基于深度强化学习的应急通信网络拓扑规划方法。研究了基于蒙特卡罗树搜索与自博弈相结合的网络规划样本数据生成方法,设计了基于残差网络的策略网和价值网,在此基础上使用Tensorflow库对模型进行构建和训练。仿真结果表明,提出的规划方法能够有效实现网络拓扑的智能规划,且具有较高的时效性和可行性。     

基于改进的深度学习网络的SAR图像瞬时海岸线自动提取算法

针对目前合成孔径雷达(synthetic aperture radar,SAR)在对大尺度瞬时海岸线提取方面的图像解译过程中,仍然存在精度低与自动化水平差的问题,提出一种基于深度学习网络的瞬时海岸线自动提取算法.首先,将SAR图像进行Lee滤波增强来抑制相干斑.其次,通过升级残差网络为主干网络,分4级提取海水目标的特征...     

服务质量路由问题的一个新进化算法

针对服务质量路由问题,设计了一种新颖的进化算法QoS_EA.该算法具有以下特点:(1)通过采用一种前向自然教编码方法,使路径不包含圈,节省了进化算法在求解该问题时的圈检查过程;(2)设计了一种散接交叉算子,以防止出现不可行的路径,确保交又操作的有效性和种群的多样性;(3)与交叉算子相对应设计了一种基于局部链路选择性修改的选择性变异算子,以确保路径由任意初始状态进化到满足约束的路径.理论分析证明该算法具有明显的优越性,并以概率1收敛于所求路径.计算机仿真结果表明该算法性能优于其他同类算法.     

Novel optimized routing algorithm for LEO satellite IP networks

A lot of routing algorithms have been proposed for low earth orbit(LEO) satellite IP networks in recent years,but most of them cannot achieve global optimization.The dynamic characters of LEO satellite networks are reflected in two aspects:topology and traffic change.The algorithms mentioned above are hard routing which only realize local optimization.A distributed soft routing algorithm combined with multi-agent system(MASSR) is proposed.In MASSR,mobile agents are used to gather routing information activel...     

卫星网络连接度与高效路由算法分析与改进

由于卫星网络的连接程度较低,Dijkstra算法在其中应用时存在效率极低的问题。首先研究了网络连接程度与Dijkstra算法计算效率之间的关系。进而对Dijkstra算法进行改进,提出了一种能够适合卫星网络拓扑动态变化和低网络连接度特点的改进路由算法（modified Dijkstra, MDijkstra）. MDijkstra算法避免了大量无效计算,能够极大地提高计算效率。通过理论分析和仿真表明,网络连接程度越低,MDijkstra算法的效果越明显。