基于深度强化学习的空中基站部署优化算法

针对无人机群(swarm of unmanned aerial vehicle, UAV-swarm)在救灾场景中对地面移动用户进行持续性通信覆盖的问题,设计了一种基于多智能体的深度强化学习的无人机群路径优化算法。该算法框架中无人机具有分布式决策能力,根据用户的移动来动态调整自身的移动策略。通过设置合适的强化学习奖励和参数,使无人机在满足覆盖百分比、防碰撞、能源限制等多种约束前提下,最大限度地长期覆盖地面移动用户。与其他无人机部署方案算法进行仿真对比,实验结果表明,该模型在收敛速度和收敛效果上得到了显著提升。     

多无人机辅助的NOMA中继系统总通信速率优化

为解决无线通信中的频谱资源稀缺问题,提出一种多无人机(UAV)辅助的非正交多址(NOMA)接入中继系统．以优化系统总通信速率为目标,综合考虑信息因果约束、无人机发射功率约束与最大服务能力约束,构建了用户分组、无人机轨迹规划与功率分配的联合优化问题．为解决这一高度耦合的非线性混合整数规划问题,提出一种两步优化策略．基于图论提出最大权匹配下的用户分组算法,根据分组结果,通过引入Sigmoid函数和辅助变量法,将功率分配和轨迹规划问题分别转化为几何规划与凸规划问题求解．仿真结果表明：所提出的两步优化算法能够有效提升系统的总通信速率．     

智能电网中基于非合作博弈的需求侧分层优化

智能电网是未来电网的发展方向,包括供电侧的安全稳定和需求侧的合理用电决策.在需求侧提出一种基于非合作博弈的分层优化机制并解决了最优响应算法(Best Response)的收敛问题.首先在供电侧以削峰填谷为目的,利用集中式优化分配微网的参考负荷,并利用参考负荷构造微网用户的电价因素,引导用户的充放电决策.微网中的用户以自身花费代价为优化目标构造成非合作博弈模型,达到纳什均衡时供电侧表现出良好的削峰填谷效果.然后,利用最优响应算法与强单调函数的关系,重新构造优化目标函数,解决了最优响应法无法收敛到纳什均衡的问题.实验结果证明,提出的分层优化方案有效地降低了电网负荷曲线的峰值平均比.     

双UAVs辅助的混合能量收集MEC系统资源分配策略

针对用户从环境射频源收集能量较少的问题,提出了一种双无人机辅助的混合能量收集边缘计算系统的资源分配策略。通过部署2个具有混合太阳能和射频能量收集功能的无人机,当用户的计算任务较大时,可以将计算任务卸载到搭载边缘服务器的无人机。当用户从环境射频源收集的能量不够用时,另一个无人机飞到用户上方,为其近距离充电。联合考虑无人机和用户的能量消耗,将系统资源分配问题建模成一个混合整数非线性规划问题,在满足用户和无人机计算能力和能量消耗的约束条件下,最小化系统总能耗。通过引入量子行为粒子群优化算法,获得次优解。仿真结果表明,与其他几种方法相比,采用量子行为粒子群优化算法消耗的能量更少。     

基于分布式算法在WSN中的能耗最小化优化研究

如何有效利用节点能量并延长网络的生存期是研究无线传感器网络的一个核心问题.在已有的集中式算法的基础上,提出了一种分布式优化的方法,使无线传感网络中无损数据收集时的能量消耗最小化,此方法主要是通过将传输功率和压缩传输速率进行合理的配置来实现,运用拉格朗日对偶分解法,可以把能量最小化这个问题分解为能够被传感节点本身分布式解决的子问题.通过仿真结果可得,分布式算法相比集中式算法能使目标函数更快收敛从而达到能耗最小化.     

时隙接入策略下联盟形成博弈抗干扰方法

针对无线通信环境中动态变化的恶意干扰信号和内部同频互扰同时存在的问题，提出了一种基于联盟形成博弈的抗干扰时隙接入方法。利用联盟形成博弈思想，将干扰攻击影响下的通信收发对时隙接入问题建模为抗干扰联盟形成博弈问题，通过调整时隙接入，以最大化全网的平均和速率，同时兼顾用户的最低速率为优化目标，分析了所提博弈模型的性质，设计了基于最优响应的抗干扰时隙接入算法，并对算法的收敛性、稳定性、最优性、复杂度和公平性进行了讨论。仿真结果表明，相较于对比方法，所提方法可以有效降低内部同频互扰和外部恶意干扰的影响，从而实现高效抗干扰数据传输，且该方法的公平性较好。     

RIS辅助的UAV与用户协同缓存策略

研究了智能反射面（RIS）和缓存辅助的无人机（UAV）中继通信系统方案,通过在UAV与用户之间搭建RIS反射信号,改善信道环境;在UAV与用户设备上部署缓存设备,预先存储热点内容,减轻无线回程链路的压力;以最大化用户服务成功概率为优化目标,建立缓存容量受限约束下的UAV与用户协同缓存放置策略优化模型,针对该非线性连续非凸约束优化问题,提出基于鲸鱼优化算法（WOA）的求解方法.仿真实验结果表明,使用RIS可以有效降低UAV通信中断概率,基于WOA的UAV与用户协同缓存最优放置策略优于现有其他两种缓存策略,能有效提高缓存命中概率,从而提高用户服务成功概率.     

无人机无线能量传输网络多波束阵列设计与位置部署

针对无人机(unmanned aerial vehicle, UAV)辅助的无线能量传输(wireless power transfer, WPT)系统，构建了一种能量波束设计以及无人机悬停位置部署的联合优化方案，以最大化所有用户接收的总能量。针对优化问题是非凸、难以直接求解的情况，提出一种联合优化多波束设计和无人机三维位置的迭代算法，利用巴特勒矩阵设计高增益、宽覆盖范围的能量多波束，利用穷举算法寻找无人机最优二维位置，通过单调性理论得到无人机的最佳悬停高度。仿真结果表明，所提出的算法能显著提升无线能量传输效率。     

基于强化学习的物联网可信信息覆盖优化算法

针对物联网覆盖优化问题,基于可信信息覆盖(CIC)模型和强化学习提出了一种物联网可信信息覆盖优化算法．算法采用CIC模型定义传感器覆盖,利用博弈论强化学习方法将覆盖问题建模成一个基于状态的势博弈,每个节点通过效用函数均衡节点的覆盖收益,并采用二进制对数线性强化学习方法来求解博弈问题．仿真结果表明：算法具有良好的收敛性,并且在保证收敛到纳什均衡的同时,在覆盖率和覆盖价值方面都优于分布式异构同步覆盖学习算法．     

超密集6G网络中的高效频谱资源共享方法

面对6G网络中用户密集化分布、频谱资源有限和分布式决策等挑战,提出了一种基于多维超图博弈的频谱资源共享方法。首先,根据6G网络太赫兹通信特点,设计了多维超图干扰模型,包括同频直接干扰、累计干扰和邻频干扰,通过降低多维干扰值以提升网络吞吐量。为实现分布式决策,将问题建模为超图博弈,并证明该博弈为势能博弈,至少存在一个纳什均衡点。然后,设计了基于同步最优响应的分布式频谱决策方法,求解频谱分配策略。仿真表明,所提的多维超图博弈实现了6G环境下分布式的频谱共享,与传统超图博弈方法相比,进一步降低了用户间的干扰水平,网络吞吐量大幅提升。     

分布式Top-k子图匹配技术

Top-k子图匹配是一种应用广泛的图搜索技术。相比于单机环境,分布式环境下的Top-k子图匹配问题具有更大的挑战性。该文分析了已有方法在分布式环境下存在的问题,提出了包括查询拆分、查询执行、结果连接3个步骤的算法。算法通过查询拆分,彻底避免了生成中间结果过程中的数据传输,同时通过优化查询执行和结果连接步骤,避免不必要的中间结果生成,降低单个节点的计算量,提升整体效率。在此基础上,该文对分布式环境下Top-k连接策略进行了进一步优化。在真实图数据上进行的实验测试表明:该文提出的算法能够有效解决分布式环境下Top-k子图匹配问题,具有很好的扩展性,而且使用优化连接策略的算法性能较基础算法的效率有明显的提升。     

超密集网络中负载均衡感知的初始关联控制算法

为了解决移动数据流量和大量移动终端的空前增长问题,超密网络部署已作为一种经济高效的解决方案来减轻小蜂窝网络的负载。不同的超密集网络的拓扑结构将导致不同的覆盖范围,每个用户设备将会有多个可接入点。针对这种情况,研究了软件定义的超密集网络下基于分布式和集中式两种方式的初始连接控制。提出了一种集中式的、稳定的、可负载平衡感知的关联控制算法来减少数据面的切换次数。这是一种统一的初始关联控制和负载均衡的管理方式。最后,评估了基于分布式接入和集中式接入的初始关联控制的依照切换次数的稳定性。结果表明,集中式接入的关联控制算法性能比分布式接入更好。     

超密集6G 网络中的高效频谱资源共享方法

面对6G网络中用户密集化分布、频谱资源有限和分布式决策等挑战，提出了一种基于多维超图博弈的频谱资源共享方法。首先，根据6G网络太赫兹通信特点，设计了多维超图干扰模型，包括同频直接干扰、累计干扰和邻频干扰，通过降低多维干扰值以提升网络吞吐量。为实现分布式决策，将问题建模为超图博弈，并证明该博弈为势能博弈，至少存在一个纳什均衡点。然后，设计了基于同步最优响应的分布式频谱决策方法，求解频谱分配策略。仿真表明，所提的多维超图博弈实现了6G环境下分布式的频谱共享，与传统超图博弈方法相比，进一步降低了用户间的干扰水平，网络吞吐量大幅提升。     

空地网络资源分配与无人机基站动态部署算法

为解决空地网络中地面设备数量变化引起的用户体验质量无法满足的问题,提出了一种智能网络资源分配与多无人机基站动态部署方案。首先,考虑用户体验质量和无人机、地面设备能量约束,以最小化系统总能耗为目标进行问题建模;其次,将多无人机的动态部署问题转化成具有连续动作集的马尔可夫决策过程,并根据优化目标设计了基于能耗惩罚的奖励函数;然后,采用基于确定性策略梯度的深度强化学习算法求解此问题;最后,通过仿真和对比实验验证所提方案的有效性和优越性。实验结果表明：对于海量用户场景,所提算法比深度强化学习和演员-评论家算法有更好的收敛性和更高的累积奖励,与单无人机和传统地面基站部署方案相比,所提方案系统的能耗降低约30%～40%,用户服务质量满意度提升约50%～60%。     

城市灾区无人机基站部署优化

通过优化无人机基站（UAV-BS）三维空间部署位置，以最小化满足通信需求的UAV-BS部署数量.针对城市灾区中UAV-BS的部署优化方法较少考虑到建筑的具体形状及位置对通信影响情况，在构建一个建筑物对UAV-BS视距（LoS）链路的遮挡模型的基础上，提出一种UAV-BS部署算法——PSO-PPGE.该算法首先采用粒子群算法（PSO）在目标区域搜索全局部署方案，然后基于相邻UAV-BS部署间的势博弈关系，根据遮挡信息及UAV-BS负载制定博弈策略，局部调整每个粒子中的UAV-BS位置，以提高UAV-BS的用户覆盖率，进而确定所需UAV-BS的最小数量.仿真结果表明，所提出的算法与PGE、PSO等优化算法相比，在最小化UAV-BS数量同时最大化用户覆盖率方面具有明显优势.     

基于改进蒙特卡洛树搜索的无人机目标分配与突防决策方法

针对多无人机任务规划问题,在多种约束与机动动作下,进行目标分配和突防决策统一建模与优化求解方法研究。首先,基于无人机自身优势、目标威胁以及突防概率分别建立目标分配优化函数和突防决策优化函数;然后,利用线性加权法将两者融合,形成多无人机协同任务规划统一目标函数;其次,在强化学习框架下,分阶段构建协同任务规划的状态空间和动作空间,并根据统一目标函数设计奖励函数;提出一种改进的蒙特卡洛树搜索强化学习算法,在统一目标函数最大收益下实现对无人机目标分配和突防决策问题的求解;最后,通过对比仿真实验验证所提出的方法的时效性和最优性。研究结果表明：相较于传统方法,所提出的方法在提升收敛程度的同时,将训练时间减少了15%。     

无人机部署位置和信道分配联合优化方法

无人机在执行周期性数据采集任务时，由于任务执行时间有限、无线传感器的部署位置和功能不同，会存在无法采集全部数据、所采集数据具有不同应用价值等问题。基于此，提出了一种综合考虑采集公平性和重要度的数据采集评价方法。以采集周期内无人机采集数据的加权数据量最大化为优化目标，对无人机的悬停位置和信道分配进行联合优化。将该联合优化问题建模为一个非线性混合整数规划问题，并提出一种鲸鱼优化资源分配算法(whale optimized resource allocation algorithm, WORAA)对问题进行求解。仿真结果表明，相较于传统方法，在重要度影响不大的条件下，采集数据公平性有比较明显的提升，在满足公平性要求的基础上，加权数据量更大。     

非对称认知网络中分布式多用户频谱共享算法

为解决多用户冲突导致非对称认知网络吞吐量降低的问题,根据网络中用户信道收益矩阵的特点,提出了一种分布式多用户联合频谱共享方法.首先,基于Gale-Shapley理论实现认知用户和信道之间的"一对一"频谱分配,以避免认知用户之间的竞争冲突;其次,在未知信道先验知识或者认知用户仅有部分信道感知能力时,通过顺序最优学习算法获取信道收益信息;同时设置接入定时器,实现分布式机会频谱共享.仿真结果表明:所提方法的平均网络吞吐量明显优于随机等分布式算法,且复杂度比最优算法大大降低,收敛速度较快,适于感知带宽受限和用户地理位置分散的非对称认知网络.     

异构需求下无人机无线携能传输优化策略

物联网设备电池容量有限且充电不便，无人机无线携能传输技术很好地解决了这个问题，可以实现能量和数据的同时传输。根据节点设备的异构能量需求，提出了基于全网满意度最大化的无人机位置和功率联合优化策略。将无人机与地面节点关联系数的优化问题建模成联盟形成博弈问题，通过设计合作准则，证明了其存在纳什均衡点。基于最大化满意度准则，探索无人机最佳悬停位置。在确定关联系数、无人机位置后，采用凸优化方法求解无人机与节点之间的发射功率。仿真结果表明，所提联合优化策略能够较大幅度地提升全网满意度。     

基于博弈论的OFDMA系统多小区资源分配算法

对于蜂窝正交频分多址(OFDMA)系统,相邻小区间的同频干扰是影响系统性能提升的重要因素。该文提出了一种用于OFDMA系统上行链路的多小区资源分配算法。该算法基于博弈论,各用户在速率要求限制下以最小化发射功率为目标,在各小区独立进行信道分配的前提下,用户通过基站反馈获得当前的信道分配方案及博弈状态(同频干扰水平),以此为基础进行发射功率分配,实现了一种分布式的资源分配算法。仿真结果表明,博弈算法可大大降低系统的发射功率,且优化信道分配下的博弈算法比固定信道分配下的博弈算法还可降低系统发射功率30%。同时,博弈算法的收敛速度较快,有利于实际实现。