基于深度强化学习的空中基站部署优化算法

针对无人机群(swarm of unmanned aerial vehicle, UAV-swarm)在救灾场景中对地面移动用户进行持续性通信覆盖的问题,设计了一种基于多智能体的深度强化学习的无人机群路径优化算法。该算法框架中无人机具有分布式决策能力,根据用户的移动来动态调整自身的移动策略。通过设置合适的强化学习奖励和参数,使无人机在满足覆盖百分比、防碰撞、能源限制等多种约束前提下,最大限度地长期覆盖地面移动用户。与其他无人机部署方案算法进行仿真对比,实验结果表明,该模型在收敛速度和收敛效果上得到了显著提升。     

无人机位置、缓存与用户接入联合优化方法

无人机作为空中基站,不仅可为地面用户提供移动通信服务,还可预先存储热点内容,有效提升了边缘通信能力。对无人机位置部署、无人机缓存配置与用户接入进行联合优化可大幅提升网络性能,然而传统优化方法计算量庞大且收敛速度慢。为解决上述问题,将该联合优化问题分解成无人机编队部署子问题和缓存接入子问题,设计了一种集中式和分布式相结合的快速资源分配优化方法。针对部署子问题,分阶段进行集中式一致博弈建模和分布式势能博弈建模,提出了一种基于较优响应的分阶段部署算法;针对缓存接入子问题,构建“用户-内容”虚拟体,将缓存与接入的联合问题建模为虚拟体与无人机缓存空间的匹配问题,提出了一种基于匹配的虚拟体接入算法。仿真结果表明,所提方法和传统分布式较优响应方法相比,具有更快的收敛速度和更高的全局性能。     

超密集部署下绿色能源感知的用户关联算法

为了降低网络能耗,实现5G绿色蜂窝网络,考虑电力能源和绿色能源同时供电的混合能源供应的超密集异构网络模型.为了更准确地模拟密集部署下基站与用户之间的信道衰落,采用5G中的双斜率路径损耗模型对大尺度信道衰落进行建模,并在此模型下提出一种改进的基于绿色能源感知的自适应用户关联算法.该算法为基站设置优先级和权重因子,用户根据基站的优先级和权重因子自适应地调整自身的关联策略,并结合资源分配完成用户关联过程.仿真结果验证了所提算法在能耗和能效方面的优越性.     

基于冗余删除的软件定义机载网络控制器部署策略

软件定义网络为弥补机载网络对多任务支撑能力的不足提供了新思路。为降低网络的部署成本开销,利用灵活易部署的无人机构成逻辑集中的控制平面,对高动态拓扑变化的有人机编队实施管控。针对基于无人机的控制器部署问题,为优化可靠性和部署成本开销指标,提出一种基于冗余删除的无人机控制器部署策略。首先,为实现任务区域的全覆盖以保证连通性,依据无人机的通信范围进行初步部署;然后,为判定和删除初步部署中的冗余无人机,依据部署约束和优化指标,提出了基于连接关系的冗余判定算法和基于网络连通的冗余删除算法。实验结果表明,与基于全域覆盖的控制器部署策略相比,所提策略在满足可靠性要求基础上,部署无人机的数量减少了25%,降低了网络的部署成本开销,能够适用于高动态网络环境下的控制器部署场景。     

基于多目标优化的虚拟机部署策略

为解决虚拟机部署过程中对虚拟机性能、资源利用率、负载均衡值等多个目标的优化问题,提出一种基于强化学习的改进部署算法.首先,用多个目标组成的多维奖励代替原来的单一奖励;然后将资源状态、优化目标及目标占比输入所提的预测器中来预测每个部署方案对应的多维奖励值,并通过反馈结果调节不同优化目标的占比以达到动态多目标优化的目的;最后,为了减少部署时间,用改进的均值聚类算法对服务器资源进行聚类加快部署.通过CloudsimPy平台对算法进行验证,结果表明本文算法可以在相同资源下完成更多的虚拟机请求且具有较高的部署成功率和较低的时延消耗.     

无人机辅助的蜂窝数据流量卸载及保密传输方案

为解决传统蜂窝网络中边缘用户上行通信链路质量较差且容易遭到窃听的问题,提出了一种移动无人机辅助的流量卸载和保密传输方案。首先根据空地视距信道特性,建立了基于接收信号强度阈值的信道接入机制,解决了用户传输模式选择问题;其次,根据空地信道接入时延、无人机飞行高度和速度,确定了任意时刻无人机链路的覆盖范围;然后,利用随机几何理论,给出了平均可达速率解析式和安全容量评估方法;最后,通过仿真实验验证所提方案和理论结果的有效性,并给出关键参数的最优化配置方案。仿真结果表明,与传统蜂窝网络相比,所提出的基于移动无人机的组网方案能够在保证用户公平性的基础上,使网络上行通信速率提高约40%,安全容量提高约70%。     

基于3维泊松点过程理论的无人机协助的异构网络模型及其性能

针对紧急热点场景中的基站缺乏灵活性问题，提出基于泊松点过程的无人机协助的异构网络模型.为了准确反映真实场景，假设宏基站在地面2维分布，无人机作为小基站在空间3维分布，地面用户通过最大接收功率级联准则选择通信基站.仿真分析性能参数间的定量关系，结果表明：相对于2D,3D模型，该文模型能更精准地描述覆盖概率；使用多个低功率的无人机小基站协助地面基站通信，能改善整个网络的覆盖性能；部署网络时需对路径损耗做适当选择.因此，该文模型具有有效性.     

基于深度强化学习的空中无人机基站资源分配与公平性研究

为了提高无人机基站(unmanned aerial vehicle base stations, UAV-BS)为地面多用户服务时的数据速率,提出一种基于决斗深度神经网络(dueling deep Q-network, Dueling-DQN)的深度强化学习(deep reinforcement learning, DRL)算法。采用决斗网络(dueling network, DN)结构以克服动态环境的部分可观测问题,联合优化了UAV-BS的位置和下行链路功率分配,在更符合实际的空地概率信道模型中检验了Dueling-DQN算法的性能。结果表明,相较于对比算法,所提出的Dueling-DQN算法可以提供更高的数据速率和服务公平性,且随着地面用户数量的增大,算法的优势更加明显。Dueling-DQN算法可有效解决复杂非凸性问题,为UAV-BS的资源分配问题提供理论参考。     

硬核点过程随机蜂窝网络能量效率优化研究

基于控制/用户平面分离的异构网络架构是5G中的一种重要组网方式.微基站的密集部署引发了巨大的能量消耗问题从而无法保障用户的高质量服务(quality of service,QoS).针对此问题,基于具有最小距离约束特性的硬核点过程(hard-core point process,HCPP),研究了控制/用户平面分离网络架构中能量效率的优化方法.通过联合优化网络频谱分配比、基站的密度和基站配备的天线数量,设计了最小化基站平均能耗的优化问题.由于问题是非凸的,进一步为能量效率优化问题提出了低复杂度的迭代算法,当算法迭代直至收敛可得到天线数和网络频谱分配比的最优解,最终实现基站能耗的最小化.仿真结果表明,该算法在控制/用户平面分离网络架构下有效地降低了基站的平均功耗并提升了系统能效.     

物联网环境下面向能耗优化的无人机飞行规划

为了优化物联网环境下数据采集时无人机飞行能耗,针对现有研究中由于无人机能耗影响因素考虑不全面导致能耗模型不精确的问题,设计了面向能耗优化的无人机飞行规划算法.首先通过构造真实无人机环境并进行能耗实验分析,建立无人机不同飞行状态下的精确能耗模型.其次,根据传感器的分布情况和所建立的能耗模型,提出无人机飞行规划算法,将转弯角度、飞行速度作为影响路径代价的2个重要因素,为无人机确定飞行路径与飞行速度,以使无人机飞行能耗最小化.实验结果表明,无人机的转弯角度和飞行速度对能耗有较大的影响,其中转角能耗平均占比约为10%.所提飞行规划算法能够在同时考虑这2个因素的情况下获得最优的飞行能耗,较已有算法能耗降低8%.     

超密集异构网络中的一种混合资源分配方法

针对在宏小区覆盖范围内高密度部署小小区所带来的跨层干扰和同层干扰,研究了超密集异构蜂窝网络中的资源分配问题,采用了一种共享频谱与分离频谱共存的混合频谱分配方案。依据簇中小基站与宏基站的干扰是否超过设定的阈值,将簇进行分类并以不同的方式进行资源分配,超过阈值的簇采用分离频谱的方式分配资源,反之,可共享整段频谱。而在每个小基站簇内,在相应的约束条件下采用对偶分解法求出规划的优化目标,为每个小基站分配子信道和功率。基于联合分配方案提出算法1和算法2(次梯度算法),算法1最接近最优解决策略,而算法2可以解决高复杂度问题,具有更高的实用性。仿真结果表明,所提方案能够有效地抑制干扰、提升系统容量,同时兼顾用户间公平性。     

缓存辅助移动边缘计算的任务卸载与资源分配联合优化策略

为了减少资源受限的移动边缘计算场景下任务卸载和资源分配过程中的能量消耗,提出缓存辅助的动态卸载决策和计算、通信、缓存多维资源分配的联合优化策略。该策略根据任务流行度制定缓存服务,通过控制用户设备的发射功率优化通信资源分配,并结合计算卸载合理利用服务器的计算资源。提出最小化时延和能耗的均衡优化目标,设计基于深度强化学习的优化求解算法。最后,通过仿真实验验证所提策略的有效性,结果表明该策略在计算资源和缓存容量约束条件下能展现较优性能。     

超密集异构网中基于配对理论的用户关联算法

超密集异构网络作为提升网络数据流量和用户速率的有效手段,成为5G关键技术中的一员。但超密集部署的小小区基站势必会导致系统总能耗的增加,以及用户接入公平性等问题。解决给定目标速率条件下基于能效优化的用户关联(也称为用户接入)问题。改进了原有的功耗优化模型,使之更准确地反映基站的实际发射功率和总功耗。在此基础上,利用拉格朗日对偶和二分法对关联过程中用户分配到的资源比例和基站为每个关联用户提供的发射功率进行优化和调节;同时结合配对理论,提出一种综合考虑能效和接入公平度的用户关联算法。性能仿真和对比结果表明,算法在保持良好的用户接入公平性的基础上有效提升了系统能效。     

基于流量预测的资源分配策略研究

在超密集网络中，针对小基站密集部署会导致干扰加剧和资源分配难度加大等问题，提出了一种基于流量预测和着色图的信道资源分配方案。首先，利用深度学习工具实现对网络中未来时隙的流量预测；其次，将不相邻的小基站分配到同一集群以缓减网络中的共道干扰；最后，结合流量预测的结果和着色图为每个小基站分配合适的子信道。通过仿真验证了所提算法的可行性和有效性。结果表明，通过机器学习能够有效预测小基站的流量波动，同时基于流量预测的信道分配方案可以有效降低系统干扰、提升频谱利用率和系统吞吐量。     

基于智能反射面的无线携能认知网络鲁棒传输设计

针对智能反射面辅助的无线携能认知网络,提出了一种基于用户非完美信道状态信息的波束成形方案,提高网络的频谱和能量收集效率。在假设用户信道误差范数有界的条件下,建立了以信息接收用户最小可达速率最大化为目标函数,以满足信息接收用户和能量接收用户需求、主用户干扰阈值和基站最大发射功率为约束条件的优化问题。针对此非凸问题,提出利用三角不等式、交替方向乘子法和交替优化的迭代算法,以较低的计算复杂度求解得到基站的有源波束成形权矢量和智能反射面的无源波束成形矩阵。最后,仿真验证了所提方案相较于随机相位方案能够有效提高系统的性能,证明了在携能认知网络中引入智能反射面的可行性和有效性。     

基于改进的DDPG算法的蛇形机器人路径规划方法

针对蛇形机器人执行路径规划任务时,面对复杂环境传统强化学习算法出现的训练速度慢、容易陷入死区导致收敛速度慢等问题,提出了一种改进的深度确定性策略梯度(deep deterministic policy gradient, DDPG)算法。首先,在策略-价值(actor-critic)网络中引入多层长短期记忆(long short-term memory, LSTM)神经网络模型,使其控制经验池中信息的记忆和遗忘程度;其次,通过最优化特征参数将CPG(central pattern generators)网络融入强化学习模型,并设计新型网络状态空间和奖励函数;最后,将改进算法与传统算法分别部署在Webots环境中进行仿真实验。结果表明,相比于传统算法,改进算法整体训练时间平均降低了15%,到达目标点迭代次数平均降低了22%,减少了行驶过程中陷入死区的次数,收敛速度也有明显的提升。因此所提算法可以有效地引导蛇形机器人躲避障碍物,为其在复杂环境下执行路径规划任务提供了新的思路。     

一种D2D缓存网络的延时与能耗优化方案

为了降低D2D通信网络中的能耗,设计了一种D2D缓存网络的优化方案:首先,计算初始状态下无线网络的延时与能耗;然后,考虑D2D通信并遍历所有已缓存文件的用户,选择具有延时与能耗改进空间的用户进行优化,以得到最优的用户与文件组合;最后,在满足D2D通信不会受到噪声干扰的前提下,根据用户设备的剩余电量,尽可能地降低用户的发射功率,并在每次通信前进行刷新,作为初始值存储在基站的矩阵之中.仿真结果表明:动态能耗缓存方案可以获得D2D通信网络中最优的平均能耗,并且在加入了能耗改进之后,系统延时与原算法基本相当,表明该缓存优化方案有效地提升了D2D通信网络的性能.     

面向大规模航空集群组网的控制器部署方法

软件定义网络（SDN）使得控制平面与数据平面解耦,可用来优化航空集群网络体系结构。针对航空集群网络大规模组网需求,设计了一种面向大规模航空集群网络的控制器部署优化算法,将多控制器部署转化为集群划分和子群部署两个阶段,首先基于负载均衡将集群划分为不同子群,然后以全网性能最优为目标于各子群内进行多目标寻优,获得Pareto前沿解。仿真实验评估了所提算法在负载均衡指数、全网平均传播时延、平均失连概率等方面的性能。实验结果表明：与现有算法相比,所提算法有效地提升了全网性能,同时具有较低的时间复杂度,适用于解决大规模动态场景下的航空集群网络控制器部署问题。     

多无人机分布式协同动态目标分配方法

在以"网络为中心"的作战模式下,以电子干扰无人机和UCAV编队协同作战为研究对象。针对多无人机协同作战的动态目标分配问题,建立基于导弹攻击区分析的威胁估计模型,综合考虑电子干扰效果建立目标分配模型,提出一种基于分布式拍卖机制的目标分配算法。针对不同的作战想定进行仿真计算,结果表明:算法能在规定的时间约束内给出接近理想化效果的目标分配方案,且所提算法与现有几种算法相比在可靠性、实时性上都有明显提高。     

密集用户场景下802.11ax WiFi网络的干扰控制优化

近年来,连接互联网的WiFi设备数目日益增长,为解决用户密集的802.11ax WiFi网络严重的同频干扰问题,对其干扰管理进行了综合研究,采用了一种基于功率协调的干扰控制优化方案.在研究WiFi网络的干扰管理问题时引进了中心控制器,中心控制器需要相应优化算法在保障网络传输和快速计算的同时尽可能降低WiFi网络间的同频干扰.干扰优化目标与用户需求相关,通过网络模型和相关知识对优化目标进行建模,从而得出基于功率的干扰优化函数.所提出的算法以最大化网络吞吐率为目标,在发射功率有一定限制的条件下,利用改进的遗传算法和强化学习算法对接入点发射功率进行优化.改进的遗传算法前期反应速度快、搜索范围广,而强化学习算法更为简单、易实现、实用性更强.仿真结果表明,所提算法能够比较快速地提升网络吞吐率.