再励学习在交通信号控制中的应用

再励学习是一种利用评价信息(而不是网络实际输出与期望输出之差)采改善行为的神经模糊算法，采用“奖”“罚”信号训练控制器．用再励学习的目的建立一个可调的模糊交通信号控制器，它能在不同交通情况下修改隶属函数参数，以达到较好的控制效果．其评价指标是车辆延误．仿真结果表明，再励学习在交通量稳定的交叉口信号控制中表现良好．     

卫星姿态再励学习的模糊神经控制

将再励学习的模糊神经控制引入卫星姿态控制中，给出详尽的实现方法，推导了模糊神经控制器的自学习算法．直接利用再励信号，对控制器的参数进行在线调节，不需要控制器的学习样本．仿真结果表明该控制算法能有效地克服卫星的不确定性，具有较强的鲁棒性，可实现较高精度的卫星姿态控制．     

TD再励学习在卫星姿态控制中的应用

随着卫星姿态控制系统对控制精度、鲁棒性和抗干扰要求的不断提高,将模糊神经网络控制引入到三轴稳定卫星的姿态控制中,并采用基于时差(TD)法的再励学习来解决模糊神经网络参数在线调整的问题,可以在无需训练样本的前提下实现控制器的在线学习. 仿真结果表明,这种结合再励学习的控制算法不仅可以满足对姿态控制精度的要求,有效地抵制了外界干扰,并对卫星的不确定性有较强的鲁棒性.     

电液位置伺服系统的再励学习控制研究

针对非线性电液位置伺服系统的不确定性控制问题,提出了一种带有小脑模型（ＣＭＡＣ）神经网络的再励学习控制方法。将ＣＭＡＣ神经网络融入再励学习控制结构中,并进行了撞化与改进杯仅使再励学习控制器具备了泛化能力,而且提高了其学习速度,因此竽电液位置伺 服系统的快速跟踪控制。仿真结果表明,控制器不仅具有良好的处理非线性能力而且对时变外扰支具有明显的抑制作用。     

基于Agent的机器人足球赛中的再励学习算法

关于Agent个体的机器学习一直是Agent研究的一个重要方面，本文对再励学习中的Q学习算法做了简单介绍，然后在一个基于Agent的机器人足球赛平台上将Q学习算法引入，并进行了对比实验。     

一类再励学习控制器设计及其在倒车模型中的应用

考虑到神经网络学习算法的特点,给出了一种基于再励学习的自组织模糊CPN,它结合了自组织模糊CPN和再励算法的优点,在控制过程中在线调整网络结构以及对网络参数学习,学习效率高,控制结构简单.可以不要求受控对象的学习模型,实现在线控制,应用在倒车模型中仿真结果展示了所设计系统的良好控制性能.     

基于再励学习的歼击机安全着陆横侧向协调控制

基于大系统递阶控制思想,提出了一种运用再励学习算法设计歼击机自动着陆横侧向协调控制系统的方法.将再励学习算法引入歼击机着陆阶段的横侧向子系统的协调控制中,对滚转通道和航向通道的控制器参数进行在线寻优,提高了在线补偿神经网络消除非线性系统逆误差的能力,有效地改善了歼击机着陆阶段横侧向控制子系统的鲁棒性能.通过将这种方法应用于某型歼击机自动着陆控制的实时仿真研究,仿真结果表明了本文方法的有效性和可行性.     

PLC在T字路口交通信号控制中的应用

简要分析可编程控制器的控制特点,重点阐述其在T字路口交通信号控制中的应用．     

基于再励学习的被动动态步行机器人

为了研究仿人、能量高效的双足机器人步行,研制了由MACCEPA(mechanically adjustable compliance and controllable equilibrium position actuator)柔性驱动器驱动的半被动双足机器人,并实现了其动力学仿真系统.提出一种基于再励学习的步行控制方法.该方法首先采用Q-学习方法学习机器人在理想环境中的稳定步行步态及其控制策略,然后将此步态和控制策略作为模糊优胜学习方法的参考步态和参考控制策略并在线学习模糊网络的优胜值参数.仿真结果表明: 利用学习训练的结果控制柔性驱动器在步行相转换时的动作,机器人可以实现稳定动态步行.     

对称和非对称的启发式多Agent再励学习方法

针对解决对传统的多A gen t再励学习算法中,A gen t只能独立学习、不能合作学习的问题和启发式算法中只考虑了单个A gen t而没有推广到多A gen t的情况,给出了对称和非对称环境下的基于启发式的多A gen t再励学习算法。该算法基于A gen t之间的通信来获取其它A gen t的历史信息,以及动作选择策略,结合启发式算法思想,达到A gen t在学习过程中的合作的目的,最终提高学习的效率。以2个A gen t的2个状态3个动作选择为例,表明该算法的收敛速度高于传统分布式再励学习算法的收敛速度。     

强化学习在城市交通信号灯控制方法中的应用

 悉尼自适应交通控制系统（SCATS）、绿信比-周期-相位差优化技术（SCOOT）及Smooth采用自适应交通信号灯控制方法,对城市道路口的交通信号灯进行了有效控制。随着深圳城市交通流量急剧增长,深圳交警在自主研发Smooth信号控制式基础上,提出实时、分布式、自适应调控要求,联合创新了人工信号控制方案TrafficGo,探索基于深度神经网络的强化学习,通过在线学习各种流量负荷,实时推理计算信控时段、相位、相序、信号周期、绿信比、相位差,进一步优化了交通信号灯的控制模式。介绍了在交通信号灯控制中运用的强化学习模型,实地测评表明,其取得了一定改进效果。     

公交优先的交通信号多层模糊控制模型

针对城市交通信号控制及公交优先问题,首先提出了一种基于交通需求强度的单路口多层模糊控制模型。第一层用来判断路口的交通需求强度,第二层主要完成相位优化功能,第三层用来确定各个相位的有效绿灯时间。进而考虑公交优先将模型扩展为公交优先的交通信号多层模糊控制模型,给出了模型结构与控制方法。仿真结果表明,与定时公交优先控制模型相比,该文提出的公交优先的多层模糊控制模型在交通量较大情况下能有效减少公交车辆延误,可应用于未来的信号控制系统中。     

交通干线信号协调控制方法综述

相邻的交叉口联系最为密切,以相邻路口作为系统管理是合理的。交通干线信号协调控制是充分利用交通规律来实现优化控制,以便达到交通系统运行效率最大。文章介绍了交通干线信号协调控制的产生和发展,总结和评述了主要的交通干道信号协调控制方法,包括基于波带最大化和延误最小的干线定时协调控制、干线感应自动协调控制、先进的干线自适应协调控制等交通协调控制方法,着重介绍计算机配时设计方法,并对交通信号协调控制的发展提出了展望。     

单交叉口交通信号的模糊控制

针对最常见的十字交叉口,以平均延误最小为目标,设计了四相位两级(观测级、决策级)模糊控制器,包括红灯相位选择模块、绿灯相位观察模块、决策模块等三个模块。所建立的交叉口车辆生成模型、交通信号控制模型以及车辆延误模型,通过MATLAB 7.0编写的程序,进行仿真分析。结果表明:在同样交通条件下,相对定时控制和感应控制,模糊控制的车辆平均延误时间分别降低了25.2%和16.5%。     

交通信号灯系统的动态控制

交通信号灯系统的智能化控制是近年来得到关注并广为研究的一个课题．通过引入动态控制系统，描述了该系统的工作原理及控制模式，给出了一种基于PLC的交通信号灯系统的动态控制方法．该系统以地感线圈为信号采集元件，以PLC为信号处理和控制装置，具有系统结构简单、投资成本较小、现场适应能力强、时间调节范围广等特点，因而在实际的交通信号控制领域有良好的应用前景．     

城市路口多相位智能交通信号控制

探讨了城市交通道路十字路口的交通灯信号控制存在的问题,并针对存在的问题提出一种新的控制方案,采用模糊控制的算法,主相位和辅相位能自转换,并由神经网络技术实现,提高了控制精度,增加了控制信号的灵活性.仿真结果表明,此种控制方法对减少车辆平均延误时间,提高路口通行能力具有良好的效果.     

基于卡尔曼滤波理论的实时交通信号控制研究

针对城市交通信号灯单独控制,以及信号配时固定等问题,提出一种基于卡尔曼滤波理论的实时交通信号控制方法。该方法利用卡尔曼滤波理论,对通过道路交叉口下阶段交通流量进行预测,并更新交通信号配时。通过对交叉口高峰小时交通流量实时调研,采用卡尔曼滤波理论预测交通流量后,对信号配时进行实时优化,并采用VISSIM软件对此交叉口进行仿真,仿真结果表明,车辆排队长度缩短,停车次数下降,通行效率得到大幅提高。     

单交通路口变相位变周期信号控制

在城市交通控制中,平面交叉路口各方向的交通量在不同时刻是不相同的,针对这特点,利用模糊控制理论,提出一种变相位变周期的控制算法,使得单个平面交叉路口信号控制的相位、周期及绿信比等成为可变的参数.仿真结果表明,与传统信号控制方式相比,变相位变周期的信号控制效果更好.     

一种改进的深度确定性策略梯度网络交通信号控制系统

交通信号系统控制着城市车辆运行秩序,其效率高低直接影响了社会经济的发展.以十字路口的交通信号控制系统为研究对象,基于深度确定性策略梯度网络DDPG提出了一种改进算法.结合交通环境的特点设计了特征增强和样本去重算法提高算法的性能.通过对实际交通系统运行情况进行调研,基于SUMO仿真环境搭建了交叉路口交通仿真平台.利用FEPG算法控制交通信号,实现了车辆的高效通行.实验结果表明,该算法能够有效地降低车辆等待时间,减少车辆的污染排放.