一种基于强化学习的车联网边缘计算卸载策略

计算密集型、时延敏感型车载应用的不断涌现导致资源受限的车载终端设备无法在短时间内处理大量的应用任务,而且卸载节点的动态变化特性在复杂多变的车联网场景中会导致任务候选卸载节点存在不确定性。针对上述问题,提出一种基于强化学习的计算卸载策略来实现任务卸载预判和计算资源分配。结合设备链接时间与通信半径等因素制定卸载节点发现机制,通过考虑时延与成本对车联网移动边缘计算卸载系统的影响建立效用函数,并以最大化效用作为优化目标将车联网中的卸载问题转化为优化问题,基于卸载节点发现机制采用Q-learning方法提出一种智能节点选择卸载算法求解优化问题,实现任务的智能卸载。仿真结果表明,在车联网场景中,提出的计算卸载策略可实现更高的系统效用。     

基于DDPG的边云协同计算卸载方法

移动设备的容量有限以及传统卸载算法仅考虑移动设备和边缘服务器计算资源,使单独的边缘计算面临资源有限和成本高的问题。为此,将云计算(Cloud Computing)、边缘计算(Edge Computing)与深度确定策略性梯度算法(Deep Deterministic Policy Gradient, DDPG)相结合,提出了一种基于DDPG的边云协同计算卸载方法(DDPG-ECC)。将时延和能耗作为优化目标,利用边缘服务器和云服务器之间的协作,最小化计算卸载系统的时延和能耗,实现了计算卸载的优化分配。仿真结果表明,DDPG-ECC性能良好,对于不同的工作负载具有很好的适应性和泛化能力。     

一种任务驱动的车联网边缘卸载策略

边缘计算为解决未来车联网中移动流量的爆炸式增长提供了可行范式,然而位置的动态变化以及计算任务的多样性和差异性,使得资源有限的边缘服务器很难在规定时间内完成区域内多车辆任务的并行处理需求。基于此,以最小化时延为目标,提出一种结合深度确定性策略梯度算法的任务驱动卸载策略。首先,结合差异性任务类型和紧迫程度进行预处理,构建了一种基于最大延迟容忍度的任务动态优先级调整模型;然后,利用道路区域内的车辆拓扑和通信半径,提出了基于网络密度和负载均衡的动态协作簇划分方法,解决了多样性任务的动态协作卸载优化问题。实验结果表明,所提算法在收敛性、卸载时延及卸载命中率等方面具有性能优势。     

车联网中基于深度强化学习的高可靠资源分配算法

针对车联网环境下用户通信质量下降以及频谱资源紧张导致车辆与车辆（vehicle to vehicle,V2V）链路的关键信息传输难以满足高可靠性通信需求的问题,提出了一种基于深度强化学习（deep reinforcement learning,DRL）的高可靠资源分配算法。考虑干扰、传输时延和有效传输概率等约束条件,构建了车联网的可靠性保障优化问题;为了进一步保障V2V链路关键信息传输的可靠性,设计了压缩网络来压缩环境状态信息;根据可靠性保障优化问题设计了相应的奖励函数,并基于双深度Q网络（double deep Q-network,DDQN）设计了一种智能资源分配策略。仿真结果表明,所提算法能有效提高车联网的总速率,实现V2V链路关键信息的高可靠传输。     

缓存辅助移动边缘计算的任务卸载与资源分配联合优化策略

为了减少资源受限的移动边缘计算场景下任务卸载和资源分配过程中的能量消耗,提出缓存辅助的动态卸载决策和计算、通信、缓存多维资源分配的联合优化策略。该策略根据任务流行度制定缓存服务,通过控制用户设备的发射功率优化通信资源分配,并结合计算卸载合理利用服务器的计算资源。提出最小化时延和能耗的均衡优化目标,设计基于深度强化学习的优化求解算法。最后,通过仿真实验验证所提策略的有效性,结果表明该策略在计算资源和缓存容量约束条件下能展现较优性能。     

基于电力物联网的边缘计算任务卸载优化

为了解决传统卸载模型仅涉及用户设备和边缘计算资源,而在云端资源利用上存在局限性的问题,通过有效利用计算任务时延、能耗及计算资源配置,提出了基于深度强化学习算法的计算任务卸载策略和资源配置优化算法,建立了边云协同的时延、能耗及能效模型,研究了用户设备数量、任务量、任务优先级等对时延、能耗及能效的影响。结果表明：边缘计算服务器资源配置为30 GHz较为合理;高级计算任务优先处理策略和计算资源优化分配,使得时延、能耗均较低;本文所提出的优化算法在时延、能耗及能效方面均优于其他3个对比算法,表明针对不同用户设备数量和计算任务量场景,本文所提出的优化算法和建立的模型能够更有效的实现基于电力物联网的计算任务卸载策略和资源配置优化。     

基于自适应任务卸载的蜂窝网络计算资源分配算法

移动边缘计算中的任务卸载是当前的研究热点.随着蜂窝网络中移动终端数量的快速增长,由于计算资源有限,任务卸载时出现了时延长及资源分配不均衡的问题.针对该问题,提出一种基于自适应任务卸载的蜂窝网络计算资源分配算法.该算法先根据用户周围的资源分布情况,自适应为每个用户选择最佳卸载模式;再根据计算资源使用情况,自适应为基站用户选择最优卸载决策并分配计算资源.仿真结果表明：与其他4种算法相比,该文算法的系统效用增益最大.     

面向天地一体化网络的计算卸载算法

由于天地一体化网络的计算资源受限、能力迥异等问题,会导致其处理复杂任务的能力减弱,使得重要的任务处理失败.因此,本文构建了一种将任务卸载到本地-骨干-边缘接入节点的三层计算卸载开销模型,并通过基于DQN的最优卸载算法进行最优卸载策略的制定.首先,依据网络中存在的天基骨干节点、边缘接入节点以及地基骨干节点三种类型计算节点(卸载站点)自身的特点,给出了不同卸载站点的时延、能耗的开销表达式以及对应的约束条件. 然后,提出了基于DQN算法来完成低时延、低能耗的卸载过程.仿真结果表明,DQN算法能够提高任务执行的速度,降低终端设备的能耗,有效改善网络中计算节点资源迥异的现状.     

基于遗传-粒子群优化算法带有缓存机制的卸载策略

为了满足移动边缘计算(Mobie Edge Computing,MEC)场景中时延敏感型应用的需求,提出一种基于遗传-粒子群优化算法(Genetic-Particle Swarm Optimization Algorithm,GA-PSO)和缓存机制的卸载策略。该策略将遗传算法和粒子群优化(Particle Swarm Optimization,PSO)算法融合起来,以便求取边缘计算卸载中的最优卸载比例和缓存决策;将已完成且重复请求的任务及相关数据在边缘云上进行缓存,用以最小化任务的卸载时延。仿真实验结果表明,该策略可以有效降低移动边缘计算的时延。     

面向车联网的身份认证资源协同分配算法

【目的】为解决车联网节点身份认证中繁忙区域的密集认证请求导致的处理效率低问题,提出基于自适应管理区域划分的计算资源协同分配算法(adaptive collaborative computing resource allocation algorithm for managing region division, AMRD)。【方法】首先建立一种弹性的身份认证辅助架构,根据认证流程将认证角色分为请求者、处理者和管理者;然后,针对管理者的计算任务负载不平衡问题,提出一种管理区域划分算法,根据上一时隙所有请求者的任务平均响应时延调整管理者管理区域,并将满足空余计算资源要求的处理者作为临时管理者,以提高认证效率;最后,将管理者的计算资源分配表述为一个优化问题,利用自适应算法为调整后的管理者分配计算任务。【结果】与目前3种主流资源协同分配算法相比,AMRD的资源利用率分别提高18.8%、20.2%和144.6%,平均任务响应时延分别降低17.6%、24.0%和29.5%,任务成功率分别提高4.2%、6.5%和20.7%。【结论】本研究结果可为车联网场景下实现高时效通信提供参考。     

海洋监测数据多级传输控制

建立基于海基、空基、天基平台的海空天综合数据传输网络（SASIN）和协同数据传输机制,通过增加具有热点的巡游节点,如无人机、无人艇和船舶等,辅助采集处理浮标/潜标数据,转发至数据中心,从而增加数据整体传输效率,减小传输延时.研究了SASIN中的虚拟机分配和计算任务卸载联合调度控制机制,有效地将计算资源分配给无人机边缘服务器中的不同虚拟机.提出了一种动态网络条件下基于Q学习的计算卸载学习方法,从而处理多维SASIN资源调度.      

VANET云环境下基于人工神经网络的车辆任务卸载策略

在VANET(vehicular ad-hoc network)云环境中,由于车辆自身资源受限等原因需要将部分计算密集型任务卸载至周围车辆协同处理。而车辆移动的随机性是影响车辆任务卸载性能好坏的重要因素之一,对此,提出了一种车辆间的卸载任务分配策略。考虑到车辆之间连接时间的随机性,提出一种基于人工神经网络的连接时间预测方法,该方法能够通过对历史数据的学习,较为准确地对未来车辆行驶轨迹进行预测。此外,车辆将空闲资源进行共享意味着自身能耗增加,由于车辆本身的自私性使得车辆不会无偿为周围车辆提供服务。为了激励车辆之间进行协作,制定了一种分布式买卖博弈方法达到车辆资源需求与收益之间的平衡,还设计了一种集中式任务分配策略以获得任务卸载的最大效用。仿真显示,提出的方法在最大化卸载效用与提高任务卸载成功率方面都有较好的性能。     

无人机与车辆协助下的分布式多任务边缘计算卸载算法

为满足密集分布用户的服务质量和体验质量,建立了车辆和无人机协助下的多接入边缘计算卸载模型,车辆、无人机和路边单元作为边缘节点,将不同的计算任务按需卸载到不同类型的边缘节点进行处理.设计了基于分布式匹配-贪婪算法的终端用户任务卸载方案以最小化系统功耗,并研究了用户数量和延迟容忍对卸载方案的影响.仿真结果表明:该方案在满足延迟约束的条件下降低了系统功耗,保证了用户的服务质量;特别是在人群密集分布的情况下,能有效提高中心用户的体验质量.     

基于SWIPT的D2D通信辅助移动边缘计算任务卸载策略

为解决5G移动通信系统中移动用户计算能力不足、能量消耗多、无线资源缺乏等问题,本文构建一种基于无线携能通信(Simultaneous Wireless Information and Power Transfer, SWIPT)的多用户设备间(Device to Device, D2D)通信辅助移动边缘计算(Mobile Edge Computation, MEC)系统模型,提出一种D2D-MEC联合卸载策略。该策略以系统中请求用户总能耗最小化为目标,采用二进制卸载模式和功率分流模式对请求用户进行任务卸载和能量收集。针对能耗最小化问题为非线性混合整数规划问题,根据整数变量和实数变量将原问题解耦为功率分配和计算任务卸载两个独立子问题,并分别采用Dinkelbach方法和匈牙利算法求出两个子问题的最优解。仿真实验结果表明,本文所提策略优于传统的D2D卸载策略和MEC卸载策略,有效降低了请求用户的总能耗,提高了任务执行效率。     

一种基于遗传算法的OFDMA系统的跨层资源分配

针对现有的跨层资源分配算法计算量大、复杂度较高的问题,提出了一种基于遗传算法的OFDMA系统的跨层资源分配算法。利用遗传算法隐形并行处理、较好的全局搜索性能、易收敛到最优解的特点,在系统性能一定,且满足各个用户业务要求的条件下,对资源进行优化分配,较好地解决了跨层资源的分配问题。仿真结果表明,在满足用户间公平性的前提下,算法有效提高了系统的频谱利用率及吞吐量,减小了用户的平均等待时延,提高了服务质量,并且随着子载波数和用户数的增加,算法在复杂度方面优势更突出。