计及输电阻塞的发电公司最优竞价模型

为了实现电力市场环境下发电公司最优竞价,根据对市场内其他机组报价系数的预测,建立计及竞争对手报价的发电公司竞价模型,求取未计及输电容量约束时的最优竞价系数.建立市场出清模型,计算各机组出力期望值,根据上述期望值进行潮流计算.当预测有输电阻塞发生时,将输电阻塞对电力公司竞价策略的影响引入竞价模型中,并基于灵敏度分析以阻塞费用最小为目标确定发电公司出力调整量.通过Matlab仿真分析表明,采取上述方法得到的最优竞价系数进行报价时,能实现发电公司利润最大化的目标.     

基于离散Markov决策过程的发电公司多阶段决策

采用离散时间Markov决策过程(DTMDP)对以多阶段总利润最优为目标的发电公司决策问题进行研究．市场环境下，发电公司根据自身条件，其竞争策略可以是价格的接受者，也可以是价格的制定者．考虑了发电公司不同策略情况下市场均衡状态间的转换概率，分别给出了发电公司作为价格接受者和价格制定者时的多阶段决策模型．通过算例验证了所提模型的有效性和可行性．     

市场环境下发电公司的动态学习与市场猜测均衡

提出了基于猜测供给函数模型的发电公司动态学习模型，用于分析和预测重复博弈的不完全信息电力市场环境下发电公司潜在的市场力．各发电公司根据公布的前阶段市场运行数据动态地调整其微增响应猜测，使之能够准确反映所有竞争对手相应于市场结清电价单位变化时所愿意引起的出力变化，从而动态调整提交的供给函数以获得短期最大利润．算例分析表明，发电公司动态学习有利可图；经过各发电公司动态学习并不断调整优化猜测供给函数将引导市场最终达到一猜测均衡结果．     

基于概率模型和博弈模型的发电厂报价策略研究

基于“厂网分开、竞价上网”的发电侧开放的电力市场环境下，发电公司可通过策略性报价来规避风险，获取利润最大化。主要运用概率论和博弈模型对发电公司的报价进行分析，建立了基于概率模型和博弈模型的报价决策方法，并进行实例分析。     

有关计及风险的供电公司最优购电决策模型研究

介绍了输配分开的电力市场模式,研究了在此种模式下计及风险的供电公司最优报价购电组合策略问题,建立了计及风险的供电公司最优购电策略模型,给出了直接优化方法对模型进行求解,提出了不确定的电力市场环境中供电公司的风险决策方法。     

输电阻塞下发电商竞价策略研究

在电力市场环境下发电公司要竞价上网,其最关心的问题是如何构造最优的报价策略以获取最大利润。研究了联营体模式下输电阻塞对发电商竞价策略和竞价效益的影响,假设已估计出竞争对手的报价行为并以日前交易市场为基础采用节点电价法进行阻塞管理的情况下,建立了求解该问题的双层优化竞价策略模型,并采用遗传算法对其进行求解。最后用修改过的IEEE14节点系统为算例进行分析,结果表明提出的方法可用于指导发电商制定报价策略。     

基于预测状态表示的Q学习算法

针对不确定环境的规划问题,提出了基于预测状态表示的Q学习算法.将预测状态表示方法与Q学习算法结合,用预测状态表示的预测向量作为Q学习算法的状态表示,使得到的状态具有马尔可夫特性,满足强化学习任务的要求,进而用Q学习算法学习智能体的最优策略,可解决不确定环境下的规划问题.仿真结果表明,在发现智能体的最优近似策略时,算法需要的学习周期数与假定环境状态已知情况下需要的学习周期数大致相同.     

模拟人类发散思维的测度值马尔可夫理论模型

本文提出测度值马尔可夫决策过程新模型.在此模型下,agent对环境的把握用测度概念来表示,于是agent则根据测度来决定自己的最优行动以得到最优策略,因此本文也提供了测度值马尔可夫决策过程的最优策略算法.该模型是部分可观察马尔可夫决策过程的推广,它反映人类思维的一个重要特征,人们在把握全部状态可能性(即对状态空间进行权衡度量)的态势下,思考问题并选择自己的最优行动.部分可观察马尔可夫决策过程只是它的一种特例.     

能量收集通信系统中基于深度Q网络的最大化保密速率功率控制策略

研究由能量收集发射节点、目的节点和窃听节点组成的能量收集通信系统中,以最大化平均保密传输速率为目标的发送功率控制问题.在环境状态信息事先未知,且系统模型中信道系数、电池电量、收集的能量连续取值的场景下,提出一种基于深度Q网络(deep Q network,DQN)的、仅依赖于当前系统状态的在线功率分配算法.将该功率分配问题建模为马尔科夫决策过程;采用神经网络近似Q值函数来解决系统状态有无限多种组合的问题,通过深度Q网络求解该决策问题,获得仅依赖于当前信道状态和电池状态的功率控制策略.仿真结果表明,相比较随机功率选择算法、贪婪算法和Q学习算法,提出的算法能获得更高的长期平均保密速率.     

基于神经网络增强学习算法的工艺任务分配方法

在任务分配问题中,如果Markov决策过程模型的状态-动作空间很大就会出现"维数灾难".针对这一问题,提出一种基于BP神经网络的增强学习策略.利用BP神经网络良好的泛化能力,存储和逼近增强学习中状态-动作对的Q值,设计了基于Q学习的最优行为选择策略和Q学习的BP神经网络模型与算法.将所提方法应用于工艺任务分配问题,经过Matlab软件仿真实验,结果证实了该方法具有良好的性能和行为逼近能力.该方法进一步提高了增强学习理论在任务分配问题中的应用价值.     

引入谈判博弈的Q-学习下的城市交通信号协调配时决策

由于城市交通路网中交叉口间交通信号决策是相互影响的,并且车联网技术使得交叉口交通信号配时agent间能进行直接交互,此决策问题可用博弈框架来描述。建立了城市路网中相邻交叉口间交通流关联模型,通过嵌入谈判博弈模型来设计Q-学习方法,此方法中利用谈判参考点来进行配时行为的选择。仿真实验分析表明,相对于无协调的Q-学习算法,谈判博弈Q-学习取得更好的控制效果和稳定性能。谈判博弈Q-学习在处理交通拥挤及干扰交通流时,能根据交通条件灵活地改变交通信号配时决策,具有较强的适应能力。     

动态电源管理随机模型算法的设计与实现

基于随机控制的策略优化算法能有效地解决动态电源管理(DPM)中电源状态切换的能耗问题,从而获得更优的策略.文中通过为系统建立基于马尔可夫决策过程的随机模型,在DPM框架中实现了DPM随机模型算法,并对算法进行了实验.结果表明,在不同的性能损耗条件下,可以得到不同的、满足性能要求的优化策略,也就是说,算法在性能和能量损耗间取得了平衡,这也证明了文中介绍的算法实现过程的可行性.     

面向天地一体化网络的计算卸载算法

由于天地一体化网络的计算资源受限、能力迥异等问题,会导致其处理复杂任务的能力减弱,使得重要的任务处理失败.因此,本文构建了一种将任务卸载到本地-骨干-边缘接入节点的三层计算卸载开销模型,并通过基于DQN的最优卸载算法进行最优卸载策略的制定.首先,依据网络中存在的天基骨干节点、边缘接入节点以及地基骨干节点三种类型计算节点(卸载站点)自身的特点,给出了不同卸载站点的时延、能耗的开销表达式以及对应的约束条件. 然后,提出了基于DQN算法来完成低时延、低能耗的卸载过程.仿真结果表明,DQN算法能够提高任务执行的速度,降低终端设备的能耗,有效改善网络中计算节点资源迥异的现状.     

基于竞争双深度Q学习的智能电表隐私保护与成本管理

智能电表能够实时采集、计算、存储和传输电力数据,对智能电网的运转起着关键性的作用.配备储能设备的智能家居是智能电表的一种重要的应用场景,它的发展面临隐私数据泄露隐患和高用电成本2个问题,需要研究两者的权衡优化策略.系统模型考虑了2种不同类型的储电设备,并建立了电表数据泄露和用电成本量化的权衡模型.考虑到传统深度强化学习存在过度估计和收敛慢的缺陷,提出一种基于竞争双深度Q学习的储能电器功率分配方法,实现了性能优化的目标.仿真结果表明,对比传统的深度Q学习和双深度Q学习方法,所提方法在隐私保护和成本控制2方面能获得更好的性能.     

干扰情形下重复性项目快速修复策略模型与算法

重复性项目受到干扰事件影响后,如何使其低成本,快速修复到基准调度计划,是项目管理者面临的重要问题。本文研究了干扰情形下重复性项目的反应性调度问题。首先提出了一种新的快速修复策略模型,旨在使项目以较低的成本快速修复到基准调度计划;针对问题特点,设计了一种Q-learning与遗传算法结合的混合算法进行求解;最后通过一个高速公路项目和蒙特卡洛模拟验证了本文模型和算法的有效性。结果表明：本文所提出的修复策略可以显著降低反应性调度成本;在一定范围内,增加修复的范围可以有效降低反应性调度成本;Q-learning与遗传算法混合算法在该问题上的求解质量和效率优于遗传算法。本文可以为重复性项目管理者进行反应性调度提供决策依据。     

一种电能计量设备运维作业动态优化模型及算法

针对电网企业传统模式下运维作业所存在的任务分配不科学、路径规划不合理和无法实时响应动态需求等问题,提出了一种新的动态优化模型及求解算法.该模型能够对运维作业的任务点数量、实时路况、运维人员属性与数量、决策者偏好等外部条件予以实时动态响应,满足电网企业日常管理工作需求.此外,针对模型特点提出一种基于解空间分割的粒子群算法(PSO-SSD)进行运维作业路径优化.仿真实验表明,本文所提出的动态优化模型及PSO-SSD算法能够在不同问题规模下保持优良性能,实现电能计量设备运维作业的实时动态优化,有效提升电网企业管理工作效率.     

基于改进Q学习的双周期干线信号协调控制方法

针对双周期干线信号协调控制中干线协调与双周期交叉口通行效率存在一定矛盾的问题,提出了一种基于改进Q学习的双周期干线信号协调控制方法,从状态空间和动作空间两个方面对Q学习算法进行了改进。首先,提出了新的交通状态描述指标——排队消散指数,依据该指标的阈值对交通状态进行等级划分,降低了Q学习状态空间的维数。其次,综合考虑相邻交叉口交通状态之间的关联和影响,针对每种系统状态分别设定可行的关联动作,降低了Q学习的动作空间。最后,以北京市两广路为例验证了改进的Q学习算法。结果表明,改进Q学习算法相比于普通Q学习算法、固定配时方案,干线平均延误分别减少10.47%、9.93%,平均停车次数分别减少22.64%、7.96%,双周期交叉口平均延误分别减少21.58%、24.96%,平均停车次数分别减少8.51%、11.64%,表明该算法对减少双周期干线延误,降低停车次数具有较为显著作用。     

主辅市场联合投标决策的模糊博弈优化模型

将博弈论与模糊优化理论相结合,构建了发电商主辅市场联合投标决策模型,在解决多目标优化的同时,充分考虑了该问题中存在的不确定性及发电商间竞争博弈关系.应用所建立的模型,在给定的约束条件下,讨论了发电商如何根据模糊博弈优化理论来确定各自的主辅市场投标容量.     

基于Q-学习的动态单机调度

针对当前基于Q-学习的Agent生产调度优化研究甚少的现状,利用Q-学习对动态单机调度问题在3种不同系统目标下的调度规则动态选择问题进行了研究.在建立Q-学习与动态单机调度问题映射机制的基础上,通过MATLAB实验仿真,对算法性能进行了评价.仿真结果表明,对于不同的系统调度目标,Q-学习能提高Agent的适应能力,达到单一调度规则无法达到的性能,适合基于Agent的动态生产调度环境.