强化学习在自动驾驶技术中的应用与挑战

围绕强化学习在自动驾驶领域的应用进行了多方面的概括和总结。对强化学习原理及发展历程进行了介绍;系统介绍了自动驾驶技术体系以及强化学习在自动驾驶领域的应用所需的基础;按不同的应用方向分别介绍了强化学习在自动驾驶领域中的应用案例;深入分析了现阶段强化学习在自动驾驶领域存在的挑战,并提出若干展望。     

再励学习在交通信号控制中的应用

再励学习是一种利用评价信息(而不是网络实际输出与期望输出之差)来改善行为的神经模糊算法,采用"奖""罚"信号训练控制器.用再励学习的目的建立一个可调的模糊交通信号控制器,它能在不同交通情况下修改隶属函数参数,以达到较好的控制效果.其评价指标是车辆延误.仿真结果表明,再励学习在交通量稳定的交叉口信号控制中表现良好.     

再励学习在交通信号控制中的应用

再励学习是一种利用评价信息(而不是网络实际输出与期望输出之差)采改善行为的神经模糊算法，采用“奖”“罚”信号训练控制器．用再励学习的目的建立一个可调的模糊交通信号控制器，它能在不同交通情况下修改隶属函数参数，以达到较好的控制效果．其评价指标是车辆延误．仿真结果表明，再励学习在交通量稳定的交叉口信号控制中表现良好．     

基于在线学习的单路口信号灯强化学习控制

单路口交通信号灯控制是交叉口线控、面控的基础。文章将强化学习方法中的sarsa算法应用到城市交通信号灯控制领域,解决单路口的动态实时问题,通过仿真环境下的对比,证明该方法具有良好的控制效果。     

基于Q学习的智能交通信号灯优化

利用Q学习发展出的D3QN模型来实现交通信号控制智能体,模型采用离散交通状态编码的状态集,将交叉口处车辆的位置-速度二维矩阵图经过卷积网络层进行特征提取,以捕捉更精确、完整的交叉口信息。分别基于相位切换策略和马尔科夫决策过程型(Markov decision process, MDP)动作策略,利用SUMO交通仿真软件进行模拟训练。结果表明,与传统的定时定序信号灯控制策略相比,相位切换策略下车辆的平均等待时间减少了约45%,而MDP动作策略下减少了约78%。     

一种改进的强化学习方法在RoboCup中应用研究

基于CMAC(cerebella model articulation controller)提出一种动态强化学习方法(dynamic cerebellamodel articulation controller-advantage learning,DCMAC-AL)。该方法利用advantage(λ)learning计算状态-动作函数,强化不同动作的值函数差异,以避免动作抖动;然后在CMAC函数拟合基础上,利用Bellman误差动态添加特征值,提高CMAC函数拟合的自适应性。同时,在RoboCup仿真平台上对多智能体防守任务(takeaway)进行建模,利用新提出的算法进行学习实验。实验结果表明,DCMAC-AL比采用CMAC的advantage(λ)learning方法有更好的学习效果。     

基于强化学习算法的公交信号优先策略

综合分析了影响城市公共交通系统运行的多种因素,提出了一种新型的基于强化学习算法的城市公交信号优先控制策略.该策略利用强化学习算法的试错-改进机制,根据不同交通环境下信号控制策略实施后反馈的结果,迭代优化路口的公交信号优先控制策略,从而使其具备了自学习的能力.基于Paramics的仿真实验表明,该算法能够在保障路口正常交通秩序的同时,显著提高公交车运行效率.     

量子强化学习技术及研究进展

近年来,强化学习理论和算法研究迅速发展,并且在竞争博弈、智能控制、分析预测、优化调度等领域得到广泛应用.但是,传统强化学习算法学习效率低、系统开销大,尤其是面对复杂任务时这种情况更为严重.结合量子计算特性,可实现对强化学习算法的加速,由此提出的量子强化学习技术,对强化学习技术的发展赋予了全新的动力与广阔的前景,引发了日...     

采用经验复用的高效强化学习控制方法

使用定长情景进行学习的eNAC(episodic Natural Actor-Critic)算法是一种在理论上具有良好学习性能的强化学习控制算法,但其学习过程需要采样较多的定长情景,学习效率低.为此,文中提出了一种新的强化学习控制算法ER-eNAC.该算法在eNAC算法的基础上引入了定长情景复用机制,在自然策略梯度估计过程中,复用部分过去采样的定长情景以更有效地利用经验信息;在使用复用的定长情景时,按照其参与的策略更新次数进行指数递减加权以描述其对当前策略的适用性.倒立摆稳定控制问题的仿真结果表明,与eNAC算法相比,ER-eNAC算法显著减少了学习过程中需要采样的定长情景的条数,提高了学习效率.     

基于强化学习方法的ATM网络ABR流量控制

针对异步传输模式(ATM)网络的拥塞问题,将强化学习方法应用于拥塞控制器的设计之中.该方法不依赖于网络的数学模型和先验知识,而是通过试错和与环境的不断交互获得知识,从而改进行为策略,具有自学习的能力.控制器通过调节可用比特速率(ABR)业务发送数据的速率,使网络中可能发生拥塞的节点的缓冲器队列长度逼近给定值,从而避免拥塞的发生,保证网络的稳定运行.通过一系列仿真实验验证了该方法的有效性.     

一种基于深度强化学习的室内声学行为识别方法

对声学行为识别的研究目前主要依赖于特定用户的数据,且需要过滤异常值,导致较难获取可用于训练的数据集.提出了一种基于梅尔频谱图与Google AudioSet中提取的embedding的新策略,保证了模型的泛化能力,摆脱了依赖特定用户数据的限制.使用深度强化学习方法对11种常见室内行为进行识别,动态控制数据分布,解决数据不平衡问题.总体识别准确率达到87.5%,对每个行为的识别准确率均超过了83%.     

单交叉口交通信号的模糊控制

针对最常见的十字交叉口,以平均延误最小为目标,设计了四相位两级(观测级、决策级)模糊控制器,包括红灯相位选择模块、绿灯相位观察模块、决策模块等三个模块。所建立的交叉口车辆生成模型、交通信号控制模型以及车辆延误模型,通过MATLAB 7.0编写的程序,进行仿真分析。结果表明:在同样交通条件下,相对定时控制和感应控制,模糊控制的车辆平均延误时间分别降低了25.2%和16.5%。     

基于深度强化学习的大型活动关键交叉口信号控制

大型活动举办时期,场馆周边路网的交通压力与日常交通运行状态存在差异,活动场馆周边关键交叉口的正常运行是保证大型活动顺利举办的重要因素之一,应采取动态的管控方式以达到提高关键交叉口通行效率、满足参与大型活动出行者交通需求的目的。为此,文中基于A2C（Advantage Actor Critic）的强化学习算法,考虑大型活动背景下出行者数量大且大多采用公共交通出行的特点,在奖励函数构建过程中将车辆排队时间细分为出行者不同出行方式的车辆等待时间,通过引入参数,修正不同车型的奖励计算方法,使智能体在信号配时优化的过程中优先考虑大型活动参与者的出行需求。最后,以北京市首都体育馆周边大型交叉口为例,借助交通流仿真软件SUMO进行仿真实验,仿真实验结果证明,修改奖励函数结构后的A2C信号控制方法在控制效果上优于定时信号控制以及基于DQN（Deep-Q-Network）算法的控制方法,可以达到提高交叉口公共交通以及整体车流通行效率的目的。     

信号灯作用下的城市隧道路段交通流模型研究

分析了城市隧道路段的交通流特征,建立了城市隧道路段的元胞自动机模型,并针对隧道与上下游交叉口不同相对位置、不同相位差的情况,进行了数值模拟。仿真结果表明,城市隧道路段的通行能力受到隧道与信号灯的相对位置以及上下游信号灯的相位差等共同影响。合理的信号配时控制可以提升路段和交叉口通行能力,减轻拥堵;但是当隧道离下游交叉口较近时,路段通行能力明显降低,隧道内拥堵严重,信号控制手段收效甚微。     

交通信号灯系统的动态控制

交通信号灯系统的智能化控制是近年来得到关注并广为研究的一个课题．通过引入动态控制系统，描述了该系统的工作原理及控制模式，给出了一种基于PLC的交通信号灯系统的动态控制方法．该系统以地感线圈为信号采集元件，以PLC为信号处理和控制装置，具有系统结构简单、投资成本较小、现场适应能力强、时间调节范围广等特点，因而在实际的交通信号控制领域有良好的应用前景．     

基于VISSIM仿真的信号交叉口优化研究

交叉口是城市道路系统中重要的组成部分。本文对济南二环东路与山大北路交叉口进行实地调查,采用VISSIM仿真软件对交叉口现状进行仿真、分析与评价。通过交叉口渠化、信号配时调整等措施,有效地降低了车辆的延误和排队长度,从而大大提高了道路的通行能力。     

基于再励学习的歼击机安全着陆横侧向协调控制

基于大系统递阶控制思想,提出了一种运用再励学习算法设计歼击机自动着陆横侧向协调控制系统的方法.将再励学习算法引入歼击机着陆阶段的横侧向子系统的协调控制中,对滚转通道和航向通道的控制器参数进行在线寻优,提高了在线补偿神经网络消除非线性系统逆误差的能力,有效地改善了歼击机着陆阶段横侧向控制子系统的鲁棒性能.通过将这种方法应用于某型歼击机自动着陆控制的实时仿真研究,仿真结果表明了本文方法的有效性和可行性.     

基于FHPN的道路交叉口交通流信号实时控制优化研究

为了合理控制道路交叉口的交通流,结合模糊时延Petri网、连续Petri网和模糊推理Petri网这3种Petri网的优势构造了模糊混合Petri网,以此来建立一个FHPN模型并把它用于道路交叉口交通流信号实时控制.通过实例仿真分析了FHPN模型的有效性,能够实时控制交叉口的运行情况,最大程度地利用道路资源且大幅度地降低了交叉口的停车次数.     

新型智能交通信号控制机

介绍了一种新型智能交通信号控制机的组成、工作原理、硬件结构、软件设计的关键技术和思想．该设计采用了工控机、实时嵌入式操作系统、网络控制等技术使智能交通控制机既可独立控制交通路口，也可联网由交通控制中心控制．是一种技术先进的、适合我国国情的具有普及性的产品．