车联网中基于深度强化学习的高可靠资源分配算法

针对车联网环境下用户通信质量下降以及频谱资源紧张导致车辆与车辆（vehicle to vehicle,V2V）链路的关键信息传输难以满足高可靠性通信需求的问题,提出了一种基于深度强化学习（deep reinforcement learning,DRL）的高可靠资源分配算法。考虑干扰、传输时延和有效传输概率等约束条件,构建了车联网的可靠性保障优化问题;为了进一步保障V2V链路关键信息传输的可靠性,设计了压缩网络来压缩环境状态信息;根据可靠性保障优化问题设计了相应的奖励函数,并基于双深度Q网络（double deep Q-network,DDQN）设计了一种智能资源分配策略。仿真结果表明,所提算法能有效提高车联网的总速率,实现V2V链路关键信息的高可靠传输。     

基于拍卖的网络切片虚拟资源分配算法研究

网络切片可以针对不同应用场景的网络速率、时延、可靠性等需求,根据业务对网络功能、安全性等需求构建虚拟的逻辑网络,该技术是5G的关键技术之一。针对网络切片多样化的QoS需求,提出了一种以最大化收益为目标的虚拟资源分配优化算法。该算法针对各个切片业务需求的差异性以及当前用户状态定义切片优先级,并以价格代替信誉因子,确定网络切片需求资源的拍卖报价,并根据可回收的资源量动态地更新和确定价格基准,再将资源优化分配问题转换成为拍卖问题,结合价格更新算法以及资源分配算法并进行求解,为各个业务切片分配资源。仿真结果表明,所提出的资源分配算法可以在满足切片多样化的QoS需求的同时有效提升用户业务体验满意度。     

基于期望值函数的离策略深度Q神经网络算法

深度Q神经网络算法的值函数迭代算法大多为Q学习算法,这种算法使用贪婪值函数作逼近目标,不利于深度Q神经网络算法获得长期来看更好的策略。通过以期望思想求解的期望值函数取代贪婪值函数作为更新目标,提出了基于期望值函数的离策略深度Q神经网络算法,并结合DQN算法神经网络更新方法,给出期望值函数能够作用于DQN算法的解释。通过使用该算法能够快速获得长期回报较高的动作和稳定的策略。最后分别在CarPole-v1和Acrobot仿真环境中对期望值函数的离策略深度Q神经网络算法和深度Q神经网络算法进行获取策略的稳定性对比实验,结果表明,基于期望值函数的离策略深度Q神经网络算法能够快速获得长期回报较高的动作,并且该算法表现更为稳定。     

基于深度强化学习的正交频分复用多小区蜂窝网资源分配方法

针对正交频分复用的多蜂窝网络系统，提出了一种基于深度强化学习的通信资源分配算法，该算法在满足资源分配高速率、低延时要求的前提下，同时产生信道分配方案和功率控制方案，从而最大化系统的能量效率。首先，在确定好基于正交频分复用的多蜂窝网络系统模型的基础上，将最大化能量效率的约束优化问题同深度Q强化学习算法进行问题映射。其次，将构建的深度Q神经网络（DQN）的多个隐藏层作为状态值函数，用以输出信道分配方案和功率控制方案，并实时与外界环境保持交互，不断迭代更新网络参数用以最大化系统能量效率。通过仿真对比实验可得，所提出的深度强化学习算法在保证低计算时延的同时，可获得接近于或高于其他算法的系统能量效率，且蜂窝网络规模越大，该算法优势越突出。     

一种5G网络低时延资源调度算法

针对现有资源调度算法难以满足5G低时延业务需求的现状,提出了一种基于联合遗传和禁忌搜索算法的资源调度(GATS)算法。首先利用整数线性规划建立了虚拟链路的动态带宽分配策略,然后在传统柔性车间调度模型的基础上引入了数据流量在虚拟链路中的传输时延,建立了相应的5G网络资源调度模型。为了求解这一调度模型,设计了采用联合遗传和禁忌搜索算法的启发式调度算法,该算法通过在遗传算法寻优过程中引入禁忌搜索,平衡全局搜索和局部搜索能力,有效解决了遗传算法早熟的问题,而且能够获得更好的调度方案。仿真实验表明,与GA-BA算法相比,GATS算法将服务完成时间减少了17%,不仅满足了5G低时延业务的需求,而且提高了用户体验和移动运营商的收益。     

面向工业物联网的短包安全通信资源智能分配算法

面向工业物联网业务的低时延与安全性需求,针对短包安全通信的设备高能耗问题,结合物理层安全技术的短包通信理论,提出了一种安全容量约束下带宽和功率的智能分配算法。考虑安全容量和总带宽约束,构建了工业物联网下短包安全通信的总功率最小化问题。根据优化目标和约束条件,设计了带宽资源决策的双深度Q网络和基于深度确定性策略梯度的功率资源分配网络。仿真结果表明,所提出的智能资源分配算法有效地降低了工业物联网下短包安全通信的总功率。     

LTE 网络控制信道和业务信道联合调度策略

为了充分地考虑控制信道与业务信道之间的相互影响, 提出基于用户业务需求和基于控制信道调度效率的两种控制信道和业务信道联合资源调度算法。这两种联合信道调度策略均基于以网络吞吐量最大化为目标的最小聚合等级?最大载干比(minimal aggregation-maximal carrier to interference, Min AL-Max C/I)算法提出。在长期演进(long time evolution, LTE)系统级仿真平台中, 将提出的联合资源调度策略与Min AL-Max C/I 算法进行对比。仿真结果与理论推导的结论一致, 证明基于业务需求的联合调度算法优先调度业务需求最大的用户, 所以能获得用户吞吐性能的最优。基于控制信道策略的联合调度算法是从控制信道调度效率最大化的角度出发, 优先调度控制信道调度效率最大的用户, 在控制信道受限的条件下, 能够实现网络吞吐的最大化。     

SSA:一种面向CQF模型的TSN资源调度算法

时间敏感网络(time sensitive networking,TSN)的目标是在工业控制和5G领域为时间敏感流提供低延迟、低抖动的确定性传输服务.资源调度是保证TSN服务质量的关键技术之一.为此,TSN标准中提出循环队列转发模型(cyclic queuing and forwarding,CQF),但是缺乏相应的资源调度算法对多流进行合理的资源分配以避免传输冲突.由于时间敏感流量具有周期性、特征预知的特点,主要从时间维度研究如何将CQF模型中的队列资源合理分配给多条数据流.将该问题抽象为多约束条件下的资源规划最大化问题,提出基于起始时隙分配的轻量级资源调度算法(start-slot assignment based scheduling algorithm,SSA).SSA通过对端系统上发送时隙进行调节,在满足约束条件的前提下最大化对队列资源的使用,避免了端到端逐跳的时隙分配.实验结果表明,与不控制时隙的直接调度方式相比,该算法能够将成功调度的流数目平均提高41.84%.     

无线分组网络中一种基于QoS的混合分组调度策略

提出了一种适用于无线分组网络的混合分组调度策略.该混合分组调度策略采用有线网络中WF2Q(worst-case fair weighted fair queuing)算法和无线网络中C-IFQ(channel-condition independent packet fairqueuing)算法相结合的方式,针对不同类型的分组业务进行分组调度.仿真结果表明,在无线网络中该策略保证了资源的公平调度,并在保证资源的有效利用与延迟的同时,还具有良好的长期公平性与短期公平性.     

基于业务统一部署与管理的资源调度算法

针对当前资源调度算法无法满足业务多样化要求的问题,提出一种基于业务统一部署与管理的云计算资源调度算法.首先,对各业务进行分类和统一管理,根据业务变化实时调整资源需求;然后,通过业务的软约束、硬约束之间的转化以适应业务多样化要求;最后,通过仿真实验测试算法的有效性和优越性.实验结果表明,相比于其他算法,该算法大幅度提高了云计算系统资源的利用率,可以满足实际应用的要求.     

基于深度学习神经网络和量子遗传算法的柔性作业车间动态调度

针对柔性作业车间动态调度问题构建以平均延期惩罚、能耗、偏差度为目标的动态调度优化模型,提出一种基于深度Q学习神经网络的量子遗传算法。首先搭建基于动态事件扰动和周期性重调度的学习环境,利用深度Q学习神经网络算法,建立环境■行为评价神经网络模型作为优化模型的适应度函数。然后利用改进的量子遗传算法求解动态调度优化模型。该算法设计了基于工序编码和设备编码的多层编码解码方案;制定了基于适应度的动态调整旋转角策略,提高了种群的收敛速度;结合基于Tent映射的混沌搜索算法,以跳出局部最优解。最后通过测试算例验证了环境-行为评价神经网络模型的鲁棒性和对环境的适应性,以及优化算法的有效性。     

OFDMA下行链路混合业务调度算法

提出了一种基于正交频分多址接入系统的混合业务分组调度算法.在调度过程中,对信道状况好的实时业务用户的数据包采用推迟发送的策略.先对缓冲区中累积数据包较多的实时业务用户分配资源,随后对非实时业务用户采用正比公平算法分配剩余的资源.仿真结果表明,提出的算法较好地满足了实时业务的延迟需求,并提高了非实时业务的系统吞吐量.     

SDM-EONs中分层图辅助的资源分配策略

为降低空分复用弹性光网络(SDM-EONs)资源分配过程中的芯间串扰,并减少光路频繁拆建所产生的时间和频谱维度碎片,提出了一种分层图辅助的路由、纤芯和频谱分配策略.该策略主要分为离线预测与在线调度两个阶段:首先结合网络中业务序列的时间特性,利用基于门控循环单元的循环神经网络模型完成未来业务属性的离线预测;然后根据图染色理论建立考虑芯间串扰的分层图架构三维网络资源模型;最后利用离线预测结果和分层间的不同特性,设计综合度量时间和频谱维度的自适应在线资源分配算法,从而实现资源的高效调度.仿真结果表明:该策略在提高资源利用率的同时,显著降低了网络芯间串扰和阻塞率.     

基于自适应惯性权重优化后的粒子群算法优化误差反向传播神经网络和深度置信网络(DBN-APSOBP)组合模型的短期旅游需求预测研究

旅游需求的精准预测对于旅游景区资源调度和管理有着重要作用。单一的浅层学习算法无法很好地拟合旅游客流量的特征,针对上述问题,本文通过组合深度学习和浅层学习算法,同时结合网络搜索行为数据,建立深度置信网络和利用自适应惯性权重优化后的APSO去优化BP神经网络——APSO-BP的组合预测模型,用DBN模型对原始非线性客流量数据预测,再对DBN模型预测所产生的残差建立APSO-BP模型进行预测,将二者预测值合成后得到最终的预测值。通过实验证明了该组合模型能够较为准确的拟合客流量数据特征,有效地提高了预测精度。     

基于双延迟深度确定性策略梯度的综合能源微网运行优化

为了满足综合能源微网运行优化及能量管理的需求,提出基于双延迟深度确定性策略梯度算法的综合能源微网运行优化方法;基于标准化矩阵建模理论,构建一个含冷、热、电供应的综合能源微网数学模型;考虑到综合能源微网中天然气、主电网供电等相关约束和电力价格的变化,提出以运行成本最小化为目标的双延迟深度确定性策略梯度算法,对各种能源设备的出力情况作出决策,形成合理的能源分配管理方案。仿真结果表明,所提出方法的性能优于非线性算法、深度Q网络算法和深度确定性策略梯度算法,在确保运行成本最小化的同时计算耗时较短。     

一种基于QoS的星座通信系统跨层资源分配算法

针对目前星座通信系统星地链路资源分配不灵活、缺乏有效服务质量(QoS)保障机制等问题,提出一种基于QoS的星座通信系统跨层资源分配算法.利用自适应编码调制(ACM)技术,通过定义用户信道质量评估算法、可调公平性调度算法、业务QoS分类调度算法及用户业务分配权重函数,为终端用户指定工作频率、时隙、编码方式、调制方式等物理层工作参数,实现根据业务QoS保障要求灵活分配物理层信道资源,达到提高系统资源利用率与满足业务QoS保障需求的平衡.仿真实例验证该算法可以实现星座通信系统根据业务QoS和用户信道质量对星地链路资源的合理分配和调度.     

面向云数据中心资源均衡分配需求的聚类调度算法研究

针对云数据中心资源利用率较低、能源消耗较高的问题,提出了基于资源需求差异的资源均衡调度策略。在包簇框架模型基础上,利用与资源需求相关的距离度量因子,将资源需求差异大的包通过改进的k-means算法进行聚类;利用资源之间的相关性作为包与簇之间的距离,在资源分配的过程中使包能够集中映射到簇中,从而减少簇的使用个数。实验结果表明,在包簇框架的概念下,基于资源需求差异的改进后的k-means聚类算法能够优化包聚类步骤,资源调度算法能够提高云数据中心各类资源利用率、降低资源分配过程中产生的能耗,具有有效性和可扩展性。     

基于SDN的数据中心网络流量调度机制的设计与实现

针对SA算法中未考虑当前网络链路带宽资源引起的流冲突问题以及GFF算法中未考虑流带宽需求变化引起带宽资源分配不合理问题,提出了基于模拟退火遗传算法的按需自适应(SAGA-AO)流量调度机制.该机制首先依据流带宽需求变化筛选出网络中需要调度的流,然后利用模拟退火遗传算法(SAGA)根据当前链路带宽资源状况对需要调度的流进行全局调度路径搜索.仿真结果表明:SAGA-AO算法在大多数通信模型下平均对分带宽高于SA和GFF算法.     

无线网络中的资源分配和调度算法综述

无线网络的资源分配对提高系统性能具有重要意义.在分析无线网络的资源调度策略与传统有线网络相比的独特之处的基础上,重点针对无线局域网、基于TDMA的蜂窝移动通信网络及基于CDMA的蜂窝移动通信网络的资源分配和调度算法进行综合分析,指出了这些算法的特点.该综述可供无线网络相关研究和设计参考.     

基于吞吐量和延迟折衷的 LTE 下行调度算法研究

在LTE(long term evolution)无线网络下行链路系统中,调度算法是其无线资源管理的重要技术,其主要任务就是为无线用户传输的各种业务合理地分配无线资源.尤其是针对Non-GBR(non-guranteed bit rate)业务传输,可通过一个高效的实时调度算法来提高系统的吞吐量,且保证每个用户的服务质量,其在很大程度上决定了整个系统的性能.鉴于最大权重(maxweight)调度算法虽然使系统的吞吐量最佳,但是却导致单个用户的延迟较大的缺点,运用李雅普诺夫最优化的理论提出了一种实时调度算法,此算法不需要知道信道状态概率的先验知识,仅根据当前的信道状态和当前的队列积压来做实时的资源分配决定和传输决定.理论分析和仿真结果表明,该算法在吞吐量和延迟之间有一个很好的折衷,不但使网络吞吐量最优化,而且减小了单个用户的延迟.