基于Q-强化学习的干道交叉口信号配时模型

交叉口是城市交通的核心和枢纽,要想有效地提升城市交通体系的通行效率,对交叉口信号配时的优化显得尤为必要。由于城市路网中大范围的信号配时方法决策属于模糊决策问题,而且路网中的车辆具有实时性,强化学习的方法可以适用于交通信号配时领域。本文把主流的Q-强化学习方法应用于干道交叉口信号配时,在每个路口以状态空间、信号周期、每个相位绿灯时间为参数建立模型,设置奖惩函数,并以车辆延误为指标,即Q函数,在相邻路口Agent的信息交换之后得出每个路口该时段的最优动作,降低了由于交叉口数量增多造成的各交叉口Agent间信息交互的次数,避免了独立强化学习可能出现的维数灾难、无法长期学习等问题。实验结果表明:基于Q-强化学习的城市干道交叉口信号配时方法相比于固定配时和传统的Q-强化学习策略,能降低车辆延误,提升收敛速度,提高系统效率。     

基于伴随相位的非对称交通流交通信号改善研究

信号配时优化是提高交叉口通行能力,改善路网通行状况的重要途径.文章针对部分交叉口非对称交通流量的特征,改变以往采用对称相位的设置方法,通过改造交叉口渠化、设置非对称相位及伴随相位的方法对交叉口交通信号进行优化,解决了非对称交通流占用大量有效绿灯时间问题;使用Vissim软件进行交通仿真,仿真结果及实践表明,伴随相位对改善非对称交通流交叉口通行状况具有一定的优越性.     

道路交叉口信号控制方法的智能化探索

借鉴定时交通信号控制方法,在对交叉口的实际交通状况进行调查、分析的基础上,建立单个道路信号交叉口的交通控制方法,同时,考虑道路交通流变化的不确定性,通过实时配时方案调整适应交通流的变化.研究结果表明,智能型交通控制方法更能适应交叉口复杂多变的交通状况,对减少车辆延误具有明显效果.     

交叉口交通信号配时模拟退火全局优化算法

针对我国城市道路交叉口的交通流特性,提出交叉口交通信号配时的模拟退火全局优化算法。     

基于Nash-Stackelberg分层博弈模型的路网交通控制强化学习算法

为了解决多交叉口博弈引发的Nash均衡计算复杂度问题，考虑路网中不同交叉口的重要程度和博弈关系，兼顾路网中子区之间及子区内部的交通控制策略，以2个子区内的重要交叉口作为上层博弈主体，次要交叉口作为下层博弈主体，构建了一种Nash-Stackelberg分层博弈(NSHG)模型.然后，提出2种多Agent强化学习算法，即基于NSHG的Q学习(NSHG-QL)算法和基于NSHG的深度Q网络(NSHG-DQN)算法.在实验中，使用NSHG-QL和NSHG-DQN算法在SUMO仿真软件搭建的路网环境中对信号灯进行控制，并与基础博弈模型求解算法进行比较.实验结果表明：NSHG-QL算法和NSHG-DQN算法减少了交叉口内车辆的平均旅行时间和平均时间损失，提高了平均速度；NSHG模型在满足重要交叉口间上层博弈的基础上协调次要交叉口，做出最优策略选择，而且基于分层博弈模型的多Agent强化学习算法能明显提高学习性能和收敛性.     

单条主干道信号协调方案

就如何根据各交叉口几何特性、交通流特征等影响因素,合理进行交叉口信号灯配时的问题进行了探讨,并在此基础上,研究了干线交叉口交通信号协调控制理论.在对某街道3个交叉口交通情况进行调查的基础上,对这3个交叉口进行了合理的信号配时.求解出了由这3个交叉口构成的信号控制系统的绿波宽带.并用SimTraffic交通仿真软件进行了模拟仿真,绿波现象较为明显.     

基于时空依赖性的区域路网短时交通流预测模型

由于多数交通流预测模型仅利用了目标路段交通流的历史数据,在一定程度上影响了预测效果。为此,该文提出了一种基于时空依赖性的区域路网短时交通流预测模型。首先,根据区域路网各路段间的拓扑关系,将其抽象为明确表征上下游路段关系的树状结构,进而根据上下游通路上交叉口转弯率的多阶分配来量化上下游路段的时空依赖性,并将其用于时空自回归差分移动平均模型(STARIMA)空间权重矩阵的改进,最后利用历史数据对改进后的STA-RIMA模型进行参数标定,并用于短时交通流预测。实验结果表明:经过改进后的STARIMA模型,具有更好的预测效果,为区域路网短时交通流预测提供了一种新的方法。     

行人因素约束下单交叉路口交通信号模糊配时

针对人、车混合流现象,对四相位三车道十字交叉口的交通信号进行模糊配时。首先根据路口的交通流状况,合理地设置相位、相序,采用"迟起"、"早断"方式对行人交通信号进行配时;然后,考虑到行人控制信号对机动车通行的影响,借助于模糊控制算法,对机动车信号进行配时。数值实验表明,考虑行人因素的模糊控制方法在车辆平均延误时间上较之传统定时控制方法大为改善。     

考虑交通流不确定性的单交叉口信号配时方法

为应对交通系统的随机特性,提出一种考虑不确定性的单交叉口信号配时方法。首先应用季节性自回归平均移动-广义自回归条件异方差(seasonal autoregressive integrated moving average-generalized autoregressive conditional heteroskedasticity,SARIMA-GARCH)模型计算交叉口交通流的不确定性,然后根据得到的交通流不确定性特征,参考Webster模型,计算交叉口的信号配时参数,得到考虑交通流不确定性的单交叉口信号配时方案。最后,以南京市一交叉口为研究对象,应用实际数据,计算得到17种不同交通不确定性水平下的单交叉口配时参数,并采用Paramics仿真软件分析了各信号配时方案的性能,验证了所提方法的有效性。     

基于CAS-FQL算法的区域交通控制

针对Q-学习算法收敛慢、易陷入局部最优的缺陷,提出了一种基于灾变模糊Q-学习（CAS-FQL）算法的区域交通协调控制方法,即将灾变策略引入到模糊Q-学习算法的学习过程中,以提高和改进Q-学习的寻优能力和学习效率.具体是,利用CAS-FQL算法分别优化路网中各交叉口的周期和相位差,绿信比则采用常规方法优化.TSIS软件交通仿真的结果表明,相比基于Q-学习的控制方法,CAS-FQL算法能显著加快算法的收敛速度、提高交通效率.     

交叉路口的综合智能信号控制方案研究

针对城市道路交叉路口的交通信号控制,构造了一种能实时调整控制结构和参数的综合智能信号控制方案.方案中的结构评价单元根据每一相位结束时的交通状况,决定是否在标准相位的基础上进行控制结构调整.参数评价单元则根据评价周期内的信号控制效果,利用所获得的交通流数据对神经网络信号控制器进行"滚动"训练.两个神经网络总是交替处于学习和工作状态.仿真结果表明,该控制方案能很好地综合"结构调节"和"参数调节"的优点,因而能更好地适应路口的实际交通状况,从而达到有效提高路口通行能力的目的.     

基于改进Q学习的双周期干线信号协调控制方法

针对双周期干线信号协调控制中干线协调与双周期交叉口通行效率存在一定矛盾的问题,提出了一种基于改进Q学习的双周期干线信号协调控制方法,从状态空间和动作空间两个方面对Q学习算法进行了改进。首先,提出了新的交通状态描述指标——排队消散指数,依据该指标的阈值对交通状态进行等级划分,降低了Q学习状态空间的维数。其次,综合考虑相邻交叉口交通状态之间的关联和影响,针对每种系统状态分别设定可行的关联动作,降低了Q学习的动作空间。最后,以北京市两广路为例验证了改进的Q学习算法。结果表明,改进Q学习算法相比于普通Q学习算法、固定配时方案,干线平均延误分别减少10.47%、9.93%,平均停车次数分别减少22.64%、7.96%,双周期交叉口平均延误分别减少21.58%、24.96%,平均停车次数分别减少8.51%、11.64%,表明该算法对减少双周期干线延误,降低停车次数具有较为显著作用。     

城市快速路出口匝道与衔接交叉口协调控制研究

城市交通出行需求具有动态性,快速路出口匝道与下游衔接交叉口具有较强的关联性,当交叉口交通疏解能力有限,出口匝道与衔接交叉口距离未合理设置时,交叉口排队易延伸至出口匝道,影响快速路车流正常运行。利用并行微观交通仿真软件Paramics对不同交通需求、出口匝道与下游衔接交叉口间距情况下的城市快速路出口匝道与衔接交叉口的信号协调控制进行研究,分析出口匝道的信号控制和相位差对路网交通流量和行程时间的影响。仿真结果表明出口匝道与衔接交叉口的信号协调控制能明显提高交通流量,降低行程时间。     

一种基于博弈论的交通系统最优调度策略学习方法

交通网中,最大化车流量和最小化平均等待时间是每一个路口调度的目标.交通调度中,各路口与其它路口发生博弈关系.博弈过程中,相邻路口之间为使其自身利益最大化而存在一种策略间相互协调的约束.针对复杂的交通调度控制问题,基于多智能体多阶段博弈论对交通系统进行建模.考虑动态博弈交通环境的实际特征,进一步基于博弈的增强学习算法,提出一种以惩机制为约束条件的交通系统博弈策略的学习方法,最终使参与交通博弈的多个路口达到Nash均衡,从而得到交通系统的最优配时调度策略组合.实验验证了所提出方法的可行性和有效性.     

基于深度优先搜索算法的交通流向供需失衡路径辨识

针对城市路网中的交通流向供需失衡问题,首先分析了交叉口、路段的流向失衡特征和解决对策,进而提出了网络层交通流向供需失衡的表征模型及变向交通组合管控策略;其次,基于图论的思想定义了基础路网,并结合深度优化搜索算法(deep first search,DFS)构建了网络层交通流向失衡路径辨识模型;最后,通过一个包含16节点的4×4路网对模型进行了验证.结果显示,该模型能够对路网中的交通流向供需失衡路径进行快速准确辨识,为变向交通智能管控的实施提供决策支持.     

交叉口信号控制方案评价指标动态估计模型

对评价指标在周期内的实时变化进行动态估计是交叉口交通信号动态控制的关键。应用计算机仿真模拟方法以仿真步长为间隔建立了停车延误、停车次数、排队车辆数等常用控制目标与信号灯状态及持续时间之间的动态迭代估计模型,机动车流在路段上的运行特征用CTM描述,在交叉口上的演化规律用微观交通状态描述。以单个进口道的直行车流为研究对象,对经典延误模型进行对比分析,发现随着饱和度增大,各个模型的估计偏差有逐渐增大的趋势,基于仿真步长的迭代估计累积结果基本上处于经典延误模型计算结果的变化范围内。对于单个交叉口而言,迭代算法的时间复杂度为O(n)。     

考虑区域交通信号配时优化的公交专用道线网规划

在公交专用道线网实际规划时,需要综合考虑交叉口延误与信号配时等因素的影响。为了使公交专用道线网规划更加合理,在考虑区域信号配时优化的条件下,以绿信比作为各个交叉口的信号配时优化变量,建立了双层规划模型,上层模型的目标函数是使网络的总出行时间最小,下层模型由交通方式划分模型、小汽车客流分配模型和公交客流分配模型3部分组成,并采用遗传算法对模型进行了求解,通过算例验证了模型的有效性。结果表明：在进行公交专用道线网规划时,交叉口的延误不可忽略;在考虑交叉口延误的基础上,对区域信号配时优化可进一步降低网络的出行总成本。     

考虑区域交通信号配时优化的公交专用道线网规划

在公交专用道线网实际规划时,需要综合考虑交叉口延误与信号配时等因素的影响。为了使公交专用道线网规划更加合理,在考虑区域信号配时优化的条件下,以绿信比作为各个交叉口的信号配时优化变量,建立了双层规划模型,上层模型的目标函数是使网络的总出行时间最小,下层模型由交通方式划分模型、小汽车客流分配模型和公交客流分配模型3部分组成,并采用遗传算法对模型进行了求解,通过算例验证了模型的有效性。结果表明：在进行公交专用道线网规划时,交叉口的延误不可忽略;在考虑交叉口延误的基础上,对区域信号配时优化可进一步降低网络的出行总成本。     

基于车流轨迹的交叉口相位相序优化

在城市交叉口信号控制中,相位相序的设计与通过交叉口的车流轨迹有着非常密切的关系,在不改变相位组合的情况下,合理的相位相序可使交叉口通行效率大幅度提升。本文通过对交叉口车流轨迹冲突点进行分析,在保证车辆安全通过的情况下,以绿信比最大为目标,建立相位相序优化模型。此外,文中以广州市某交叉口为例进行相序优化,使交叉口效率提高13.4%。