基于绿灯时间等饱和度的离线Q学习配时优化模型

首先对传统的绿灯时间等饱和度概念进行了扩展,提出了分级绿灯时间等饱和度。在此基础上,针对分级绿灯时间等饱和度目标,构造了奖赏函数,建立了定周期和变周期两种模式下的四种离线Q学习配时优化模型。相对于在线Q学习模型,离线Q学习模型更适合交叉口信号配时优化,变周期模式的离线Q学习模型可以获得解的结构、最优解的分布,这是传统配时理论不具备的。算例结果表明,定周期模式下最优解是唯一的。变周期模式下最优解是不唯一的,呈带状,奖赏分级模型比奖赏不分级的最优解更加集中。     

基于动态规划迭代法的最小H圈路径优化研究

规划距离最小的环形路径是减少配送成本、提高配送效率的有效方法.构建了基于动态规划迭代法的最小H圈求解模型,将环形路线优化问题转化为带约束条件的最小H圈问题,先将求解最小H圈问题分解为求解最小H链问题,再将最小H链问题转化为一个多阶段决策问题,然后结合改进的动态规划方法——动态规划迭代法来求解.通过货物配送路线优化的实例计算,证明了该算法能够快速、有效地求解有约束条件的最小H圈问题.     

平均排队长度差最小的单交叉口在线Q学习模型

建立了以平均排队长度差最小为优化目标的在线Q学习模型．针对控制性能指标相对于临近的配时方案不敏感的特点,提出了以平均排队长度差作为基本单位重新构造奖励函数,目的是拉大各行为对应的Q值差距,提高模型的收敛速度和鲁棒性．集成ExcelVBA、Vissim、Matlab建立了在线仿真平台,作为计算环境对模型进行了计算．利用GPS数据对Vissim软件中车辆加减速度曲线进行了标定．计算结果表明以平均排队长度差作为优化目标能够优化整个交叉口的时空资源,本文建立的在线Q学习模型具有较快的收敛速度和鲁棒性,通过学习能够实现优化目标．