基于动态延迟策略更新的TD3 算法

在深度强化学习领域中，为进一步减少双延迟深度确定性策略梯度TD3( Twin Delayed Deep Deterministic Policy Gradients) 中价值过估计对策略估计的影响，加快模型学习的效率，提出一种基于动态延迟策略更新的双 延迟深度确定性策略梯度( DD-TD3: Twin Delayed Deep Deterministic Policy Gradients with Dynamic Delayed Policy Update) 。在DD-TD3 方法中，通过Critic 网络的最新Loss 值与其指数加权移动平均值的动态差异指导Actor 网 络的延迟更新步长。实验结果表明，与原始TD3 算法在2 000 步获得较高的奖励值相比，DD-TD3 方法可在约 1 000步内学习到最优控制策略，并且获得更高的奖励值，从而提高寻找最优策略的效率。     

基于深度强化学习的单臂机器人末端姿态控制

基于双延迟深度确定性策略梯度算法对单臂机器人倒立摆在Simulink软件环境中进行仿真,并与深度确定性策略梯度算法进行比较,验证该算法的控制精度以及在机器人控制中的应用可行性;建立单臂机器人倒立摆仿真模型,添加摩擦模型,并以单臂机器人参数辨识所得的实际参数对所建立的仿真模型加以约束,提高实际应用时的控制精度与实时性;在训练过程中对摆杆随机施加一定数值范围内的干扰力,提高训练模型的抗干扰能力;根据所建立仿真模型的特点设计、改进Actor-Critic网络及奖励函数,在短时间内以较小的控制力使末端摆杆从初始状态摆动至竖直状态并持续保持。结果表明,改进的双延迟深度确定性策略梯度算法可以在减小输出控制力的同时对机械臂末端姿态实现并保持精准控制,并且在受到干扰力时可自行调整,改善了训练模型的鲁棒性与适应性,减少了运行时间。     

微网热电储能容量配置优化

可再生能源发电和负荷具有随机性,因而储能装置是保证微网安全稳定的重要组成部分.针对某热电联供微网,提出了类比蓄电池的蓄热罐出力建模方法,在此基础上建立了基于经济调度热电储能优化配置模型.采用多场景方法考虑微网中的随机因素,运用人工蜂群算法优化不同容量下微网运行方式,比较不同储能容量下微网的综合成本,从而确定最优储能方案.通过算例验证了所提方法、模型能有效降低微网的综合成本.     

基于MADDPG的多AGVs路径规划算法

针对多辆自动导引车系统（automated guided vehicle system,AGVs）在动态不确定环境下完成货物运送并进行路径规划的问题,提出一种基于多智能体深度确定性策略梯度（MADDPG）的多AGVs路径规划算法。本方法通过状态空间、动作空间、奖励函数和网络结构重新设计MADDPG算法的模型结构,通过OpenAI Gym接口搭建二维仿真环境用作多AGVs (agents)的训练平台。实验结果表明,相比于深度确定性策略梯度（DDPG）算法和双延迟深度确定性策略梯度（TD3）算法,基于MADDPG的多AGVs路径规划算法在智能仓储仿真环境下,多AGVs碰到货架的次数分别减少了21.49%、11.63%,碰到障碍物的次数分别减少了14.69%、10.12%,全部AGVs到达货物装卸点的成功率分别高出了17.22%、10.53%,表明学习后的AGV具有更高效的在线决策能力和自适应能力,能够找到较优的路径。     

基于改进双延迟深度确定性策略梯度法的无人机反追击机动决策

针对近距空战下的自主机动反追击问题,建立了无人机反追击马尔科夫(Markov)决策过程模型;在此基础上,提出了一种采用深度强化学习的无人机反追击自主机动决策方法.新方法基于经验回放区重构,改进了双延迟深度确定性策略梯度(TD3)算法,通过拟合策略函数与状态动作值函数,生成最优策略网络.仿真实验表明,在随机初始位置/姿态...     

含多微网系统的主动配电网分层能量优化管理

为实现含多微网系统的主动配电网的经济效益最优,通过引入自适应权重系数来进行动态优化.构建一种主动配电网层以发电机组运行成本最低,多微网系统层以经济成本和环境成本最低的分层能量优化管理模型.采用变异、杂交和竞争策略以及Lévy飞行策略改善麻雀搜索算法,提高算法的种群多样性和收敛精度.基于所设计的多微网系统混合配置运行策略...     

一种任务驱动的车联网边缘卸载策略

边缘计算为解决未来车联网中移动流量的爆炸式增长提供了可行范式,然而位置的动态变化以及计算任务的多样性和差异性,使得资源有限的边缘服务器很难在规定时间内完成区域内多车辆任务的并行处理需求。基于此,以最小化时延为目标,提出一种结合深度确定性策略梯度算法的任务驱动卸载策略。首先,结合差异性任务类型和紧迫程度进行预处理,构建了一种基于最大延迟容忍度的任务动态优先级调整模型;然后,利用道路区域内的车辆拓扑和通信半径,提出了基于网络密度和负载均衡的动态协作簇划分方法,解决了多样性任务的动态协作卸载优化问题。实验结果表明,所提算法在收敛性、卸载时延及卸载命中率等方面具有性能优势。     

基于光伏发电量预测的含氢储能微网分段优化调度

针对多储能微网如何高效、经济运行,搭建了基于光伏发电的含氢储能、蓄电池储能的微网系统,采用一种日前预测调度与日内实时调度相结合的分段调度策略。在日前预测调度阶段,采用基于麻雀搜索算法优化支持向量机模型提高对日前的光伏发电量和负荷预测的精度,以微网最小使用成本为目标,考虑系统运行的可靠性,采用改进粒子群算法制定微网的日前最优调度策略。在日内调度阶段,考虑氢储能系统的响应延迟特性,以蓄电池为灵活补充元件,制定实时调整微网运行策略,消除预测误差带来的影响。最后,结合实际算例分析,验证了分段优化调度的可行性。结果表明,提出的方法能够有效预测数据,减少微网调度的响应时间,提高系统运行的经济性和稳定性。     

面向工业物联网的短包安全通信资源智能分配算法

面向工业物联网业务的低时延与安全性需求,针对短包安全通信的设备高能耗问题,结合物理层安全技术的短包通信理论,提出了一种安全容量约束下带宽和功率的智能分配算法。考虑安全容量和总带宽约束,构建了工业物联网下短包安全通信的总功率最小化问题。根据优化目标和约束条件,设计了带宽资源决策的双深度Q网络和基于深度确定性策略梯度的功率资源分配网络。仿真结果表明,所提出的智能资源分配算法有效地降低了工业物联网下短包安全通信的总功率。     

基于改进鲸鱼优化算法的微网系统能量优化管理

针对包含多种可再生能源的冷热电联供型微网系统的能量优化问题,为了优化其运行过程的经济效益和环境效益,本文提出一种基于改进鲸鱼优化算法的多时间尺度下能量优化方法,首先根据长短期记忆网络(Long Short Term Memory,LSTM)预测得到的可再生能源出力和负荷需求预先制定调度规划,然后以此预测数据为基础,采用改进鲸鱼优化算法调整可控设备出力,优化微网系统的运行成本和固定成本。将该方法应用于某楼宇冷热电联供型微网,结果表明,在满足负荷需求的基础上使得经济成本平均降低4.03%且经济效益更优。     

基于改进动态惯性权重粒子群算法的冷热电联供型微网运行优化

通过多种能源优势互补的冷热电联供型微网,能够促进可再生能源的使用,实现资源的阶梯利用。针对区域内由电、热、冷多种能源耦合形成的微网系统运行优化问题,基于不同季节典型日风光出力和负荷需求特性曲线,构建了含燃气轮机、余热锅炉、吸收式制冷机等机组设备,采用改进的动态惯性权重粒子群算法(particle swarm algorithm, PSO)求解方法,综合考虑系统的燃料成本、环境治理成本、电网交互成本和运行维护成本进行优化求解。最后,通过算例分析验证本模型和方法的有效性。研究成果为冷热电联供型微网系统的规划设计提供参考和依据。     

基于混沌多目标粒子群算法的综合能源调度

目的 针对当前综合能源系统中资源协同优化效率不足、微网运行经济性和环保性差的问题,提出了一种计及风电储能及不稳定因素的微网优化调度方法。方法 该方法在微网负荷侧需求响应对新能源消纳影响的基础上,以消纳新能源和削峰填谷为目的,提出了优化负荷曲线的方案;然后,考虑微网调度侧风电出力的不稳定性以及微网内部设备的耦合,进行优化调度以降低微网运行成本、减少环境惩罚费用并提高风电消纳平稳性;最后,采用混沌多目标粒子群算法对优化问题进行求解,并在风电不稳定度占比0%、5%、10%和15%时进行了算例仿真分析。结果 当风电不稳定度为10%和加入风电储能,系统运行成本和环境治理费用最少,比方案1和无风电储能少6 919.4元,风电平稳量也提高38 kWh。在电热冷网中,负荷侧加入需求响应后,系统得到稳定运行和能源合理利用,可以很好地满足负荷侧用能需求。从算法对比中,混沌多目标粒子群算法加入自适应权重和变异率后,具有较强的全局搜索能力和更好的准确性。结论 该方法通过合理设置风电不稳定度能够有效降低运行成本和环境惩罚费用,提高风电稳定性,其次,负荷侧的需求响应可以一定程度地削峰填谷和消纳新能源。     

基于可信性理论的微网动态有功优化控制

针对包含多种分布式电源的微网并网运行系统,应用可信性理论分析法,建立了包含分布式电源的微网并网运行系统的动态有功优化模型,以微网运行的费用成本最小化作为目标函数,求解后将其结果与采用场景法处理随机变量的优化方法所得结果进行对比.算例分析验证了所提模型的正确性,以及所述方法和求解算法对处理小规模分布式电源接入微网有功优化问题的有效性和实用性.     

基于深度强化学习的分布式能源系统运行优化

分布式能源系统凭借其高效、环保、经济、可靠、和灵活等特点成为中国能源未来发展的重要方向。目前中国的很多分布式能源系统经济效益较差,主要原因是能源系统没有良好的运行策略。提出了一种基于深度强化学习的分布式能源系统运行优化方法。首先,对分布式能源系统的各个设备进行数学建模;其次,深入阐述了强化学习的基本原理、深度学习对强化学习的结合原理及一种基于演员评论家算法的分布式近端策略优化(distributed proximal policy optimization, DPPO)算法流程,将分布式能源系统运行优化问题转化为马尔可夫决策过程(Markov decision process, MDP);最后,采用历史的数据对智能体进行训练,训练完成的模型可以实现对分布式能源系统的实时优化,并对比了深度Q网络(deep Q network, DQN)算法和LINGO获得的调度策略。结果表明,基于DPPO算法的能源系统调度优化方法较DQN算法和LINGO得到的结果运行费用分别降低了7.12%和2.27%,可以实现能源系统的经济性调度。     

基于改进布谷鸟算法的微网储能系统控制策略研究

为优化微网运行,以保障电力供需平衡并促进可再生能源消纳,对含储能的并网型微网的电池储能系统控制策略进行研究。首先,构建基于滚动时域控制的微网储能系统控制策略混合整数线性规划(mixed integer linear programming,MILP)模型;其次,采用改进的布谷鸟(modified cuckoo search,MCS)算法对模型进行计算;最后,进行算例分析,研究最优控制策略下微网信号与电池信号的特征,并对算法的收敛性与其他算法进行比较,以验证模型和算法的有效性。研究结果表明,不同的微网运行目标会影响储能系统控制策略,进而影响微网的信号特征;MCS算法在收敛速度、计算时间和经济性上较传统的布谷鸟(cuckoo search,CS)算法和差分进化(differential evolution,DE)算法有显著提高。     

含光热电站的热电联供型微网储热容量双层优化配置

含可再生能源的微网已成为能源领域重要的发展趋势，在此背景下，针对热电联产微网中储能优化配置的不足，构建了含有光热电站的热电联供型微网储热容量双层优化配置模型。上层模型以极小化光热电站日投资成本和热电联产微网日运行成本为优化目标，下层以极小化热电联产微网日运行成本为优化目标。利用Karush-Kuhn-Tucker最优性条件将双层模型转化为单层模型。算例证明了基于光热电站的储热系统提升了微网的经济性以及微网消纳可再生能源的能力，并分析了光热电站的储热容量和储热成本对热电联产微网投资成本和运行成本的影响，同时验证了所提双层规划模型的有效性。     

考虑需求响应和含储火电参与深度调峰的电力系统随机优化调度

随着“双碳”目标下我国能源结构的调整,可再生能源的大规模并网发电对系统运行灵活性提出了更高的要求,调峰能力不足,严重影响了系统运行的环保性和经济性。基于此,构建了考虑需求响应和含储火电参与深度调峰的随机优化调度模型。在需求侧引入价格响应增强用户参与负荷调节的主动性,以优化调整次日的负荷曲线,降低峰谷差。在火电侧配置储能,辅助火电机组进入深度调峰状态运行,以提升火电机组的调峰能力。同时考虑风光出力误差,构建基于机会约束条件的系统备用约束,采用随机模拟确定性转化方法。最后以可再生能源弃电率和系统运行成本最小两目标函数进行优化求解。仿真结果表明：所提方法有效提升了系统调峰能力,较常规调度方式而言,可再生能源的消纳率提高了4.27%,系统运行成本减少了5.37%。     

云边协同下基于多智能体强化学习的任务卸载策略

针对智能移动终端设备的资源有限性和未来网络架构需要云边协同能力等问题,提出了一种基于多智能体强化学习的任务卸载策略,通过部署Cybertwin智能体为用户设备所需卸载的任务合理分配资源,在保证终端设备的服务质量(QoS)要求的同时,最小化整个计算网络的总成本。首先联合设计Cybertwin智能服务代理、计算任务分配以及网络通信与算力等多维异构资源配置构建随机对策的马尔可夫博弈过程(MGP),使执行总延迟和总能耗之和最小。其次考虑到需要处理随机时变网络与动态资源请求的高维连续动作空间,采用了一种基于多智能体双延迟深度确定策略梯度(MATD3)的深度强化学习协同框架求解。仿真实验结果表明：与常见的单智能体学习算法和启发式方案相比,本文提出的MATD3方法具有较好的性能,在平均执行成本方面分别降低了25.61%和35.79%,在任务卸载率上分别提高了39.13%和77.76%。     

微网优化控制研究现状及智能化即插即用趋势与策略

微型电网是在用户侧提高整体能源效率、清洁化程度和智能化程度的重要手段,其优化运行控制是能否有效发挥上述作用的关键.分析了不同微网结构,即直流微网、交流微网和交直流微网在控制优化需求方面的异同及优缺点.重点介绍比对了目前微电网低层控制方法和监督层的能量管理策略.总结了目前微网控制优化的热点问题及发展趋势,并提出了智能化即插即用微网构架在算法和实现方面的解决策略.     

基于实时定价机制的综合能源系统多时间尺度优化调度

随着能源互联网快速发展,其物理载体综合能源系统成为未来能源利用的重要方式.针对区域综合能源系统优化调度问题,在实时电价的基础上设定实时天然气价格策略,提出一种基于实时定价机制的优先级调度策略,建立考虑日前运行成本最低和日内弃风弃光成本最小为目标函数的多时间尺度模型,应用含有自调节环节的改进粒子群优化算法对模型进行求解.通过算例验证了模型的有效性,比原有的分时定价策略更能进一步减少运行成本,提高能源利用效率,减少弃风弃光成本.