典型匝道控制场景下深度强化学习决策机理解析

以典型匝道控制场景为研究对象,利用状态值函数、显著图及输入扰动,理解深度强化学习模型在交通控制中的决策机理。利用状态值函数评判模型是否能够认识到交通状态的变化,通过显著图分析特定环境状态下模型感知到的环境状态特征和决策动作规律,应用输入扰动分析扰动后匝道控制动作匹配率和控制效果并鉴别关键区域。结果表明,基于深度强化学习的匝道控制模型能够准确评判交通状态的优劣,感知到交通状态的关键特征,并做出合理的决策动作。     

一种深度强化学习的机械臂控制方法

针对工业液压机械臂末端控制精度受惯性和摩擦等因素影响的问题,提出了一种基于深度强化学习的机械臂控制方法.首先,在机器人操作系统环境下搭建仿真机械臂并进行控制和通信模块设计.然后,对深度确定性策略梯度(DDPG)算法中的Actor-Critic网络进行设计,并基于机械臂逆运动学与深度强化学习奖励机制,设计了一种包含精度指...     

基于深度强化学习的大型活动关键交叉口信号控制

大型活动举办时期,场馆周边路网的交通压力与日常交通运行状态存在差异,活动场馆周边关键交叉口的正常运行是保证大型活动顺利举办的重要因素之一,应采取动态的管控方式以达到提高关键交叉口通行效率、满足参与大型活动出行者交通需求的目的。为此,文中基于A2C（Advantage Actor Critic）的强化学习算法,考虑大型活动背景下出行者数量大且大多采用公共交通出行的特点,在奖励函数构建过程中将车辆排队时间细分为出行者不同出行方式的车辆等待时间,通过引入参数,修正不同车型的奖励计算方法,使智能体在信号配时优化的过程中优先考虑大型活动参与者的出行需求。最后,以北京市首都体育馆周边大型交叉口为例,借助交通流仿真软件SUMO进行仿真实验,仿真实验结果证明,修改奖励函数结构后的A2C信号控制方法在控制效果上优于定时信号控制以及基于DQN（Deep-Q-Network）算法的控制方法,可以达到提高交叉口公共交通以及整体车流通行效率的目的。     

高速公路入口匝道控制与仿真

给出模糊控制在高速公路入口匝道调节中的应用,并比较了定时控制与模糊控制的计算机仿真结果。仿真结果表明模糊控制策略在行程时间和总服务流量等性能指标上优于定向控制。     

基于AD-ALINEA的入口匝道控制方法

本文提出了一种新的AD-ALINEA与匝道排队长度相结合的匝道控制方法。在AD-ALINEA基础上,兼顾入口匝道排队长度对整体路网交通的影响,将匝道调节率取为AD-ALINEA和排队控制所计算出的调节率的最大值。通过元胞传输模型对ALINEA、AD-ALINEA及本文新方法进行仿真,并对三种方法的主路下游流量及匝道排队长度进行比较分析。结果表明,新方法能够明显降低匝道排队长度,又能保证主路下游流量,同时兼顾了整体路网的效率与公平。     

城市快速路入口匝道控制仿真分析

以深圳春风路高架快速路为例,对不同交通需求水平情况下定时、Alinea、Flow 3种常用入口匝道控制算法的实施效果进行了仿真分析,并详述了各种算法的参数取值.仿真结果表明,入口匝道控制在交通需求高到一定程度的情况下能有效发挥改善主线交通的作用.Alinea和Flow算法总体优于定时控制,但也显著增加了匝道的延误和排队长度.当交通瓶颈与上游2个入口匝道均密切相关时,Flow算法控制效果优于Alinea算法.最后,对在Alinea,Flow算法中引入匝道排队调节的情况进行了仿真分析,结果表明排队检测器离匝道入口的距离是平衡主线拥挤和匝道排队的关键因素.     

基于PID神经网络的快速路入口匝道控制

鉴于神经网络具有良好的非线性特性,学习能力以及自适应能力,本文将神经网络控制与快速路入口匝道控制结合起来,提出了一种基于PID神经网络的入口匝道的协调控制方法。仿真结果表明,较之于ALINEA控制,该方法能更好地稳定快速路的主线交通流密度。     

典型入口匝道控制方法浅析

高速公路交通量的增加使得交通拥堵日趋严重,改善此问题的办法有很多,入口匝道控制是目前最广泛的一种方法,介绍了目前几种比较典型的高速公路入口匝道控制算法以及这几种方法的比较和改进,以促进控制算法的发展.     

高速公路入口匝道无模型控制研究

高速公路交通系统是具有非线性、随机性、时变性等特性的复杂系统,用传统的数学模型很难准确地描述,因此依赖数学模型的交通流控制存在很大的局限性.建立了一个包含神经网络的无模型高速公路交通流匝道控制系统,这里以入口匝道的放行率(即控制变量)作为神经网络输出,并给出了神经网络的结构和详细的训练算法,其中训练算法采用了SPSA方法.仿真结果表明,该方法能有效地对高速公路入口匝道实施控制,且比一般的神经网络模型具有更强的在线控制能力.     

高速公路入口匝道的模糊逻辑控制

利用模糊逻辑控制器实时地调节高速公路入口匝道,该控制器由模糊规则库,模糊生成器,模糊消除器等组成,控制器的输入量来自入口匝道以及上下游的检测器,输出是入口匝道的调节率。     

基于ALINEA算法的上海快速路入口匝道控制方法

通过分析上海典型匝道--内环内侧武夷路上匝道,将国外运用较为成功的单点控制方法--ALINEA算法,在附加考虑匝道排队长度限制的基础上,运用于实际的工程实践.经过离线模拟,发现主线速度得以提高,同时匝道流量的脉冲性被一定程度地平滑了.故认为:以ALINEA算法为基础的控制方法,适用于上海快速路入口匝道控制.     

高速道路入口匝道控制方法综述

高速道路入口匝道控制，在国外许多大城市已有广泛的应用和研究．其控制方法依据控制范围、复杂程度可归纳为静态控制、单点动态控制、动态协调控制三类．国内在此领域内尚未展开大规模的研究，目前也没有实际应用的案例。本文对几种基本的高速道路入口匝道控制方法及其优缺点进行总结和分析，并对相关研究的发展提出看法．     

基于遗传算法的高速公路网入口匝道优化控制

为了实施高速公路路网交通流的优化控制,采用MATANET模型进行路网交通流建模,应用非线性最优控制方法,构造了路网入口匝道的协调控制模型. 该模型应用全局实时交通数据,以缩短行程时间和减少入口匝道排队长度为控制目标,能够提高交通运行效率和有效处理偶发性拥挤. 针对模型的非线性,应用遗传算法对性能指标进行优化,探究不同性能指标的优化对路网交通运行状况的影响. 以南京市周边高速公路路网作为应用实例,验证了所研究模型与优化方法的可行性.     

基于深度强化学习的卫星动态功率控制技术

随着用户数量和数据业务的显著增长,卫星通信系统需要更高的吞吐量和更大的容量.在有限的无线资源条件下,高通量卫星如何通过智能化技术手段灵活高效地动态分配无线资源,成为当前卫星通信领域亟待解决的难题.在灵活载荷的框架下,传统的启发式方法存在计算复杂度高的问题,难以满足未来高实时的卫星通信业务需求.为解决以上难题满足未来灵活...     

基于强化学习的室内温湿度联合控制方法研究

为解决目前风机盘管控制方法仅以室内温度作为单一控制对象且忽略湿度的问题,本文以采用风机盘管加新风系统的北京某办公建筑为研究对象,提出一种基于动作干预的强化学习控制方法对风机盘管的送风量进行调节,以期获得更佳的室内温度和相对湿度联合控制满足率。本文利用TensorFlow部署强化学习算法,在TRNSYS中建立建筑空调系统仿真模型,利用自开发的TRNSYS-Python联合仿真平台对所提算法进行训练、测试和评估。研究结果表明,与传统的通断控制和基于规则的控制方法相比,本研究提出的控制方法可以将室内温度和相对湿度联合控制满足率提高9.5%以上。可见该方法具有工程应用价值,为提高建筑室内热舒适提供了新的研究思路。     

城市快速路入口匝道控制研究综述

入口匝道控制是城市快速路交通缓堵的重要手段。为全面了解其研究现状及发展趋势，回顾了入口匝道控制自提出以来近60 年的发展历程，系统梳理了入口匝道控制逻辑与类别，聚焦入口匝道控制的方法论演进。 研究发现： 入口匝道控制范围从局部最优向全局最优发展；入口匝道控制对象由宏观交通流控制向微观车辆控制发展；入口匝道控制的建模方法从确定、均质和静态等模型假设向考虑交通流随机性、异质性和动态性方向发展；入口匝道控制的求解方法分为数学推导和搜索算法两类，在收敛性和普适性方面各具优势。最后，分析了入口匝道控制研究现状，并指出了未来4 个重要研究方向，包括宏观与微观交通流协同控制、入口匝道控制的抗干扰与自恢复能力提升、大规模快速路网控制的高效可靠求解，以及网联环境下的智能控制技术实现。     

面向主动配电网的安全多智能体深度强化学习电压优化控制

针对主动配电网电压优化控制中模型不确定性和通信代价大的问题，提出了一种基于灵敏度矩阵安全的多智能体深度强化学习(SMS-MADRL)算法。该算法利用安全深度强化学习，应对主动配电网的固有不确定性，并采用多智能体结构实现通信代价较小的分布式控制。首先，将电压优化控制问题描述为受约束的马尔可夫博弈(CMG);然后，对无功功率进行适当修改，通过分析节点电压的变化得到灵敏度矩阵，进而与主动配电网环境进行交互，训练出若干可以独立给出最优无功功率指令的智能体。与现有多智能体深度强化学习算法相比，该算法的优点在于给智能体的动作网络增添了基于灵敏度矩阵的安全层，在智能体的训练和执行阶段保证了主动配电网的电压安全性。在IEEE 33节点系统上的仿真结果表明：所提出的算法不仅能够满足电压约束，而且相较于多智能体深度确定性策略梯度(MADDPG)算法，网络损耗减少了4.18%,控制代价减少了70.5%。该研究可为主动配电网的电压优化控制提供理论基础。     

伺服系统瞬态优化的模糊自适应深度强化学习方法

为了提高伺服系统瞬态性能,满足工业生产线的高精度加工要求,提出模糊自适应深度强化学习方法,用于永磁同步电机伺服系统的控制性能优化。根据伺服系统瞬态运行的响应快速性和稳定性要求,通过构造奖励函数与Actor-Critic网络,在伺服控制器中引入瞬态响应优化环节,面向实时运算需求设计学习率自适应模糊控制器,构建模糊自适应瞬态性能优化方法;建立伺服系统Simulink仿真模型,根据实际伺服系统拟合仿真模型,通过瞬态性能仿真获得优化参数,并将优化参数应用于西门子840D数控系统。以仿真运算及系统实验对该优化方法进行验证,结果表明,所提出方法使伺服系统调节时间缩短10%以上,显著提高了系统的瞬态响应速度,且未引入明显超调,验证了方法的可行性。提出的方法具有较强的通用性,为伺服系统智能控制优化提出了新的途径。     

基于深度强化学习的轨迹跟踪横向控制研究

针对自动驾驶的轨迹跟踪问题,为实现性能优异且具有实际应用价值的控制器,文章将双延迟深度确定性策略梯度(twin delayed deep deterministic policy gradient, TD3)的深度强化学习算法应用于轨迹跟踪的横向控制。对车道线保持的应用场景进行控制器设计,首先基于TD3算法对神经网络结构及其参数进行设计,并依据人类驾驶员的行为方式定义状态空间和动作输出,使其具有较快的训练速度以及较好的控制执行效果;然后设计一种奖励函数,将跟踪精度和舒适度同时作为控制器性能的优化方向;最后,根据ISO 11270:2014(E)标准在Prescan中搭建多种使用场景进行仿真实验,验证所设计的控制器性能。通过与当前主流轨迹跟踪解决方案实验结果的对比,分别从跟踪精度和舒适度两方面证明了该控制器可以满足使用要求并且控制性能更加优异,具有的较高应用价值。     

SWARM 算法在高速公路入口匝道控制中的应用

交通运输业是国民经济中具有全局性和先导性的基础产业.高速公路作为现代化交通基础设施,以其通行能力大、行车速度高的显著特点,成为适应现代产业发展需要的骨干运输方式和重要通道.高速公路的交通控制是高速公路完善程度的重要标志,入口匝道控制则是高速公路控制系统的重要内容,本文介绍了高速公路入口匝道控制系统,包括入口匝道控制的基本原理和典型的控制方法, 并给出了高速公路入口匝道控制系统结构图.SWARM算法在高速公路入口匝道控制中的应用,它以高速公路主线交通流为控制对象,以入口流量为系统的输入控制量,通过计算匝道上游交通需求与下游道路容量差额来寻求最佳匝道入口流量控制,从而使高速公路本身交通需求不超过它的容量,使高速公路主线交通流处于最佳状态.