| 基于Nash-Stackelberg分层博弈模型的路网交通控制强化学习算法 |
| |
| 引用本文： | 张尊栋,王岩楠,刘雨珂,刘小明,尚春琳.基于Nash-Stackelberg分层博弈模型的路网交通控制强化学习算法[J].东南大学学报(自然科学版),2023(2):334-341. |
| |
| 作者姓名： | 张尊栋 王岩楠 刘雨珂 刘小明 尚春琳 |
| |
| 作者单位： | 北方工业大学城市道路交通智能控制技术北京市重点实验室;鲁东大学交通学院 |
| |
| 基金项目： | 国家重点研发计划资助项目(2018YFB1601000)；;轨道交通控制与安全国家重点实验室(北京交通大学)开放课题基金资助项目(RCS2022K007)； |
| |
| 摘 要： | 为了解决多交叉口博弈引发的Nash均衡计算复杂度问题，考虑路网中不同交叉口的重要程度和博弈关系，兼顾路网中子区之间及子区内部的交通控制策略，以2个子区内的重要交叉口作为上层博弈主体，次要交叉口作为下层博弈主体，构建了一种Nash-Stackelberg分层博弈(NSHG)模型.然后，提出2种多Agent强化学习算法，即基于NSHG的Q学习(NSHG-QL)算法和基于NSHG的深度Q网络(NSHG-DQN)算法.在实验中，使用NSHG-QL和NSHG-DQN算法在SUMO仿真软件搭建的路网环境中对信号灯进行控制，并与基础博弈模型求解算法进行比较.实验结果表明：NSHG-QL算法和NSHG-DQN算法减少了交叉口内车辆的平均旅行时间和平均时间损失，提高了平均速度；NSHG模型在满足重要交叉口间上层博弈的基础上协调次要交叉口，做出最优策略选择，而且基于分层博弈模型的多Agent强化学习算法能明显提高学习性能和收敛性.
|
| 关 键 词： | 计算复杂度 交通控制策略 分层博弈模型 多Agent强化学习 最优策略 |
|
