考虑电动汽车充放电的智慧社区强化学习能源优化调度策略

为提高智慧社区能源系统(smart community energy system, SCES)运行的经济性,引入了电动汽车作为储能设备,并在此基础上提出了一种基于强化学习的新型智慧社区能源系统运行优化调度策略。首先,基于各能源设备运行机理构建了新型智慧社区能源系统模型,该模型考虑了电动汽车作为储能设备入网运行对负荷和供需平衡的影响。其次,将电动汽车分为耗能组和储能组,分别作为用电负荷和储能设备参与系统运行。分析了新型智慧社区能源系统多种能源设备的能量耦合关系,进而建立了电动汽车及各能源设备的非线性约束条件,并重新设计了算法的状态空间、动作空间以及奖励函数。再次,运用基于深度双Q网络(double deep Q network, DDQN)的新型智慧社区能源优化调度策略解决能源系统运行优化问题。最后,以某社区为例,仿真验证了所提策略可有效提高智慧社区能源系统运行的经济性。     

主动配电网下分布式能源系统双层两阶段调度优化模型

为解决当前能源系统调度优化模型分层调度能力不高的问题,在控制分布式能源系统运行成本的前提下,构建主动配电网下分布式能力系统双层两阶段调度优化模型。优化调度模型分层调度函数,并设定能源系统调度约束条件。使用帝国竞争优化算法对能源系统调度优化模型进行求解,获取最佳调度方案。构建算例分析环节,引入IEEE-33节点配电网测试系统完成分析过程。算例测试结果表明：此模型在日前阶段与日内阶段均可提高能源利用率,确保了能源系统的经济性。可见此模型可有效提高分布式能源的消纳能力,使主动配电网的经济效益最大化。     

结合先验知识的深度Q神经网络算法研究

深度Q神经网络(deep Q-network,DQN)算法在训练初期,由于动作选择随机性强,导致算法的训练时间过长。针对该问题,文章提出一种结合先验知识的深度Q神经网络(priori knowledge-DQN,PK-DQN)算法,将先验知识定义为特征状态与最优动作的映射,根据先验知识对动作选择过程的影响程度,将先验知识引入DQN算法,优化DQN算法的动作选择规则,降低其在探索过程中的动作选择随机性,并使用赛车游戏对算法进行训练。实验结果表明,PK-DQN算法能够更快收敛,有较高的学习效率,算法训练时长明显缩短。     

基于期望值函数的离策略深度Q神经网络算法

深度Q神经网络算法的值函数迭代算法大多为Q学习算法,这种算法使用贪婪值函数作逼近目标,不利于深度Q神经网络算法获得长期来看更好的策略。通过以期望思想求解的期望值函数取代贪婪值函数作为更新目标,提出了基于期望值函数的离策略深度Q神经网络算法,并结合DQN算法神经网络更新方法,给出期望值函数能够作用于DQN算法的解释。通过使用该算法能够快速获得长期回报较高的动作和稳定的策略。最后分别在CarPole-v1和Acrobot仿真环境中对期望值函数的离策略深度Q神经网络算法和深度Q神经网络算法进行获取策略的稳定性对比实验,结果表明,基于期望值函数的离策略深度Q神经网络算法能够快速获得长期回报较高的动作,并且该算法表现更为稳定。     

面向主动配电网的安全多智能体深度强化学习电压优化控制

针对主动配电网电压优化控制中模型不确定性和通信代价大的问题，提出了一种基于灵敏度矩阵安全的多智能体深度强化学习(SMS-MADRL)算法。该算法利用安全深度强化学习，应对主动配电网的固有不确定性，并采用多智能体结构实现通信代价较小的分布式控制。首先，将电压优化控制问题描述为受约束的马尔可夫博弈(CMG);然后，对无功功率进行适当修改，通过分析节点电压的变化得到灵敏度矩阵，进而与主动配电网环境进行交互，训练出若干可以独立给出最优无功功率指令的智能体。与现有多智能体深度强化学习算法相比，该算法的优点在于给智能体的动作网络增添了基于灵敏度矩阵的安全层，在智能体的训练和执行阶段保证了主动配电网的电压安全性。在IEEE 33节点系统上的仿真结果表明：所提出的算法不仅能够满足电压约束，而且相较于多智能体深度确定性策略梯度(MADDPG)算法，网络损耗减少了4.18%,控制代价减少了70.5%。该研究可为主动配电网的电压优化控制提供理论基础。     

基于增强拓扑神经进化的等效并行机动态调度

针对工件动态到达、处理时间不确定且机器须要弹性预防维护的等效并行机调度问题,以平均流程时间最小化为目标,提出了基于强化学习的动态调度方法．将调度过程作为马尔可夫决策过程,通过定义状态空间、行为空间、奖励函数与适应度函数,提出基于增强拓扑神经进化(NEAT)算法的动态调度方法．设计三种规模问题的实例,将基于NEAT的方法与最短路径树(SPT)、先装先卸(FIFO)调度规则及基于深度Q网络(DQN)的方法进行比较,结果表明：基于NEAT的方法相比基于DQN的方法能够以更短的训练时间获得更优、更稳健的调度方案,相比SPT和FIFO调度规则能够获得更优的目标值,利用训练好的NEAT模型对随机生成的大规模问题实例的快速高质量求解结果表明,基于NEAT的调度方法具有更好的泛化性能．     

基于双延迟深度确定性策略梯度的综合能源微网运行优化

为了满足综合能源微网运行优化及能量管理的需求,提出基于双延迟深度确定性策略梯度算法的综合能源微网运行优化方法;基于标准化矩阵建模理论,构建一个含冷、热、电供应的综合能源微网数学模型;考虑到综合能源微网中天然气、主电网供电等相关约束和电力价格的变化,提出以运行成本最小化为目标的双延迟深度确定性策略梯度算法,对各种能源设备的出力情况作出决策,形成合理的能源分配管理方案。仿真结果表明,所提出方法的性能优于非线性算法、深度Q网络算法和深度确定性策略梯度算法,在确保运行成本最小化的同时计算耗时较短。     

基于强化学习的三维游戏控制算法

基于强化学习,设计了一个面向三维第一人称射击游戏(DOOM)的智能体,该智能体可在游戏环境下移动、射击敌人、收集物品等.本文算法结合深度学习的目标识别算法Faster RCNN与Deep Q-Networks(DQN)算法,可将DQN算法的搜索空间大大减小,从而极大提升本文算法的训练效率.在虚拟游戏平台(ViZDoom)的两个场景下(Defend_the_center和Health_gathering)进行实验,将本文算法与最新的三维射击游戏智能体算法进行比较,结果表明本文算法可以用更少的迭代次数实现更优的训练结果.     

基于深度Q网络的云演艺延迟敏感业务QoE优化

网络中的资源分配问题一直备受关注,特别是在超高清视频流的传输中,对资源的有效管理至关重要。然而,随着网络服务的多样化和不断增加的业务类型,传统的资源分配策略往往显得不够灵活和智能。深度Q网络（Deep Q-Network,DQN）是一种能够自适应地学习和调整资源分配策略的神经网络模型。它基于神经网络与Q-Learning算法,通过不断尝试和学习来决策最佳的资源分配方案。本文旨在研究一种在云演艺场景下基于深度Q网络的延迟敏感业务资源调度算法,以满足当今网络中多样化的业务需求。仿真结果表明,基于深度Q网络的延迟敏感业务资源调度算法使得用户体验质量（Quality of Experience）指标显著提升,表明所提算法能够更好地满足延迟敏感业务的需求。     

基于多目标的主动配电网有功无功协调优化

大量间歇性分布式电源接入配电网会引发电压越限,限制系统消纳分布式能源的能力.基于节点电压对注入功率的灵敏度分析,揭示了配电网注入有功功率和无功功率对节点电压皆具有调控作用.提出通过对分布式发电 (DG)、储能装置(ESS) 等的有功功率和无功补偿装置的无功功率的协调控制,实现主动配电网消纳间歇性分布式能源最大化、网损最小化和电压质量优质的综合优化目标.文中建立了主动配电网的多目标优化数学模型,应用判断矩阵法确定出多目标的权重系数,构建成一个综合优化的目标函数.应用粒子群算法进行寻优求解,可得到主动配电网的优化运行方案和调控策略.在IEEE33 节点测试系统上进行了多场景仿真分析和研究,结果表明： 应用文中所提出的主动多目标优化调控方法,既可满足安全约束条件,又能实现有效地降低 DG 切机量、降低有功网损、保持良好电压质量的综合效应.     

一种基于强化学习的CDN流量调度系统设计方法

针对传统的CDN流量调度系统大多采用启发式方法或规划方法,存在维护成本高,实时性不足等缺点,提出一种基于深度强化学习的CDN流量调度系统设计框架.该框架基于马尔科夫链设计了故障告警网络来触发调度,建立了基于stacking模型的质量评估奖励函数,并在此基础上对流量调度进行定义和建模,构建了基于DQN的深度强化学习模型....     

分布式系统中基于非合作博弈的调度算法

针对分布式系统中任务调度问题,根据分布式环境下的任务调度特性,建立了一个非合作博弈的多角色任务调度框架,在此基础上提出了一种基于纳什均衡联合调度策略的分布式强化学习算法.相比于静态调度算法,该算法需要更少的系统知识.能使调度器主动学习任务到达和执行的相关先验知识,以适应相邻调度器的分配策略,目标是使得调度器的策略趋向纳什均衡.模拟实验结果表明:所提出的算法在任务的预期时间和公平性上相对于OLB(机会主义负载均衡)、MET(最小执行时间)、MCT(最小完成时间)等同类调度算法具有更好的调度性能.     

分布协同Bayesian优化方法求解调度问题

针对BOA(B ayes ian O ptim ization A lgorithm)求解实际调度优化问题速度较慢的缺点,提出一类基于强化学习协调的分布BOA求解算法。首先将BOA优化算法与协同进化机制相结合,构建分布并行的系统结构,然后给出基于强化学习的混合决策算法,将强化学习对优化解的先验概率估计与BOA后验概率估计相结合,增强局部控制器之间的协同性,提高算法的优化搜索能力。给出的算例仿真结果表明,所提算法在优化性能上比典型BOA算法平均提高了2.2%,收敛性能平均提高了11.4%。     

基于电力物联网的边缘计算任务卸载优化

为了解决传统卸载模型仅涉及用户设备和边缘计算资源,而在云端资源利用上存在局限性的问题,通过有效利用计算任务时延、能耗及计算资源配置,提出了基于深度强化学习算法的计算任务卸载策略和资源配置优化算法,建立了边云协同的时延、能耗及能效模型,研究了用户设备数量、任务量、任务优先级等对时延、能耗及能效的影响。结果表明：边缘计算服务器资源配置为30 GHz较为合理;高级计算任务优先处理策略和计算资源优化分配,使得时延、能耗均较低;所提出的优化算法在时延、能耗及能效方面均优于其他3个对比算法,表明针对不同用户设备数量和计算任务量场景,所提出的优化算法和建立的模型能够更有效的实现基于电力物联网的计算任务卸载策略和资源配置优化。     

基于深度学习神经网络和量子遗传算法的柔性作业车间动态调度

针对柔性作业车间动态调度问题构建以平均延期惩罚、能耗、偏差度为目标的动态调度优化模型,提出一种基于深度Q学习神经网络的量子遗传算法。首先搭建基于动态事件扰动和周期性重调度的学习环境,利用深度Q学习神经网络算法,建立环境■行为评价神经网络模型作为优化模型的适应度函数。然后利用改进的量子遗传算法求解动态调度优化模型。该算法设计了基于工序编码和设备编码的多层编码解码方案;制定了基于适应度的动态调整旋转角策略,提高了种群的收敛速度;结合基于Tent映射的混沌搜索算法,以跳出局部最优解。最后通过测试算例验证了环境-行为评价神经网络模型的鲁棒性和对环境的适应性,以及优化算法的有效性。     

基于成本最小的公交人员排班优化模型

为了优化公交人员排班问题,提高公交公司的运营效率和资源利用率,以车辆行车计划为基础、公交公司运营成本最小为目标,构建了公交人员排班问题理论模型,并利用遗传算法和LINGO优化软件分别进行实例求解。算例分析表明,该模型具有可行性和合理性。     

基于改进虚拟同步机的风储微网综合控制

微电网中负荷变化与风电等分布式电源出力不确定性给整个微网稳定带来很大困难。针对风电出力波动问题,采用虚拟同步发电机控制结合深度强化学习对电池储能系统输出进行控制：首先搭建包含风电、电池储能、负荷、外部电网的微网模型,其次利用深度确定策略梯度算法对虚拟调速器进行设计,结合奖励函数通过反复学习训练生成调速器实现对虚拟同步发电机的改进。最后,在Matlab/Simulink软件中搭建对应的仿真模型,与下垂控制、传统虚拟同步发电机控制进行对比,仿真验证了并网到离网切换场景与孤岛运行场景下,所提出的控制方法对微网频率与电压有良好的稳定效果,可以实现对负荷有功功率与无功功率的快速追踪。