基于乘客状态的电梯群控策略

提出了一种基于乘客状态的电梯群控策略.该群控策略指出一次乘梯活动是指乘客的状态由就绪状态到完成状态的完整连续过程.结合目的层预约概念,能提前获得乘客的目的层信息.这样,群控策略能为每个乘客指定最优乘坐电梯号,缩短了乘客的候梯时间和乘梯时间.乘客在乘梯活动中被分成4个状态,通过乘客状态来跟踪乘客行为.同时设计了4个工作队列,以方便派梯中心对乘客的管理.仿真实验证明该群控策略可得到很好的效果.采用群控的电梯系统与未采用群控的电梯系统相比,在效率和耗能上均有很大的改善.     

基于能耗分析器的电梯群控仿真平台

电梯群控系统是现代楼宇系统中不可或缺的组成部分,其核心是群控调度算法.调度算法性能的验证与评价需要一个仿真平台来实现.而现有的电梯群控仿真平台并没有考虑各算法的节能性能.本文对电梯能耗进行了分析建模,建立了基于能耗分析器的电梯群控仿真平台,该平台可准确计算各算法的能耗并以表格、曲线等多种形式表示,评价各算法的节能效果,为设计面向节能的调度算法提供支持.     

基于蚁群算法的电梯群控系统节能策略的优化研究

电梯群控系统的目标是分配电梯服务以满足各层客户的呼叫需求,属典型的组合优化问题,而蚁群算法常用于解决离散组合优化问题.其良好的全局优化能力与快速收敛特性适合于电梯群控.然而当前的调度算法主要集中在减少乘客的等待和乘坐时间上,却忽略了电梯群的耗能问题.为实现节能的目标,建立了能量目标函数和电梯群控系统的蚁群模型,并给出了优化方案和收敛的算法.模拟结果证明了算法的有效性.     

面向多目标的电梯群控仿真系统

本仿真系统主要目标是设计、实现一个开放性的面向多目标的电梯群控仿真系统,其目的是为以后的电梯群控算法的研究构建一个仿真平台。本系统采用基于"一次编译,处处运行"的Java语言,实现了电梯群控仿真;通过调度与虚拟环境的连接,所有控制信息和运行结果都能显示在计算机屏幕上,使用方便、简单、直观;采用面向对象设计,系统的可扩展性强;通过对电梯运行状态的仿真,实现电梯运行状态实时监控。     

基于GA-RL算法的多Agent电梯群控系统

针对电梯群控系统这一类复杂的派梯优化决策问题,应用多Agent的理论与技术,建立了系统强化学习模型.提出了一种基于GA算法的多Agent强化学习方法,给出了具体算法的一般描述.建立电梯群控调度系统的虚拟仿真环境,并与其他算法进行了对比研究.仿真结果表明:该方法在提高强化学习的效率和收敛速度,改善种群结构等方面收到了很好的求解效果,为电梯群控系统的优化调度决策提供了一种较好的途径.     

基于CC-LINK总线的电梯群控系统

采用多目标规划电梯群控算法,在现有的电梯系统上引入群控系统,构建了基于三菱PLC与CC-LINK 现场总线的新型电梯群控系统.     

基于先验知识的强化学习系统

针对强化学习算法收敛速度慢的主要原因为强化学习算法所用模型通常都假设系统参数未知、先验知识未知，由此造成该算法从没有任何基础开始搜索最优策略，搜索范围大的问题，提出将强化学习系统建立在先验知识的基础上，既有效利用了前人的工作成果，又加快了算法的收敛速度．通过解决电梯群控问题验证了所提出系统的合理性和有效性．     

基于遗传算法的电梯群控鲁棒优化模型

针对电梯群控调度过程中交通流不确定的问题,建立了鲁棒优化模型,利用遗传算法对所建模型进行求解.对于不确定线性优化问题,研究了不确定集的选择以及模型鲁棒对等式转化方法.仿真实验中,利用电梯群控虚拟仿真环境对鲁棒优化调度算法在不同交通流下进行了验证.以300人/15 min的混合交通流模式为例,鲁棒优化算法的平均候梯时间比静态分区算法降低12.77 s;平均乘梯时间比最小等待时间算法降低9.7 s;电梯启停次数比静态分区算法少8次.实验结果表明,鲁棒优化调度算法对不同交通模式具有更好的适应性,可以减小交通流不确定性的影响,提高电梯群控调度性能.     

一种有效的交通流预测法在城市电梯中的应用

一种好的电梯群控系统交通流预测方法,能够为电梯群控调度算法的进一步研究提供依据,实现电梯的优化调度.该文针对电梯系统的交通流问题,提出了将小波与基于径向基(RBF)函数的神经网络相结合的小波神经网络(WNN)预测方法,对现有电梯系统交通流进行预测,并通过仿真研究,验证该方法的可行性和有效性,为电梯群控系统的调度奠定了基础.     

基于CANBUS的电梯群控系统的算法与实现

为了满足高层建筑和智能化建筑的需要,在研究电梯群控系统运行特点的基础上,提出了多目标的电梯群控系统算法.采用最优化理论的分析方法,分析电梯群控模型及调度策略,以及最大限度地降低系统能耗的群控系统,并基于CAN总线的技术特点,给出了群控系统的实现方案,对电梯群控理论的研究有一定的促进作用.     

基于SARSA算法的水声通信自适应调制

水声信道复杂多变,自适应调制系统中反馈信息存在较大的时延,实际信道状态与接收到的反馈信息无法匹配,带来反馈信道状态信息过时问题,发送端不能准确做出自适应决策进而导致传输误码高及吞吐量低等问题。针对该问题,利用强化学习中的SARSA算法学习信道的变化并进行行为策略的选择,根据信道的变化,择优选出最佳的调制方式,以改善系统的传输误码和通信吞吐量。对比固定调制方式和直接反馈情况下的系统的误码率和吞吐量,结果表明,经强化学习后的系统误码率和吞吐量均优于其他两种方式,可见,强化学习算法在时变水声信道自适应调制中改善传输误码和吞吐量的问题上是有效可行的。     

基于生物智能算法的智能控制研究与实践应用

 传统的自动控制方法因为其固定参数等弊端极大限制了控制效果,生物智能算法因为其环境自适应与自学习机制的特性,为突破传统控制方法的瓶颈提供了一种新的思路,并且随着强化学习等机器学习理论与方法的不断完善与发展,生物智能算法的性能也得到了极大的提高。总结了在智能控制中常用的7种生物智能算法,分析了经典的自动控制方法与生物智能算法,尤其是强化学习、深度学习等新型智能算法的结合的应用实例。结合近年来兴起的深度学习,强化学习及类脑智能科学对智能控制的发展现状,以及未来的发展趋势进行展望。强调一种智能辅助控制方法,将智能算法与传统控制方法相结合,为智能控制的研究提供新的思路与实用范例。     

基于预测状态表示的Q学习算法

针对不确定环境的规划问题,提出了基于预测状态表示的Q学习算法.将预测状态表示方法与Q学习算法结合,用预测状态表示的预测向量作为Q学习算法的状态表示,使得到的状态具有马尔可夫特性,满足强化学习任务的要求,进而用Q学习算法学习智能体的最优策略,可解决不确定环境下的规划问题.仿真结果表明,在发现智能体的最优近似策略时,算法需要的学习周期数与假定环境状态已知情况下需要的学习周期数大致相同.     

Design of evolvable hardware for robotic navigation

This paper presents an integrated on-line learning system to evolve programmable logic array (PLA) controllers for navigating an autonomous robot in a two-dimensional environment. The integrated online learning system consists of two learning modules: one is the module of reinforcement learning based on temporal-difference learning based on genetic algorithms, and the other is the module of evolutionary learning based on genetic algorithms. The control rules extracted from the module of reinforcement learning can be used as input to the module of evolutionary learning, and quickly implemented by the PLA through on-line evolution. The on-line evolution has shown promise as a method of learning systems in complex environment. The evolved PLA controllers can successfully navigate the robot to a target in the two-dimensional environment while avoiding collisions with randomly positioned obstacles.     

分布式系统中基于非合作博弈的调度算法

针对分布式系统中任务调度问题,根据分布式环境下的任务调度特性,建立了一个非合作博弈的多角色任务调度框架,在此基础上提出了一种基于纳什均衡联合调度策略的分布式强化学习算法.相比于静态调度算法,该算法需要更少的系统知识.能使调度器主动学习任务到达和执行的相关先验知识,以适应相邻调度器的分配策略,目标是使得调度器的策略趋向纳什均衡.模拟实验结果表明:所提出的算法在任务的预期时间和公平性上相对于OLB(机会主义负载均衡)、MET(最小执行时间)、MCT(最小完成时间)等同类调度算法具有更好的调度性能.     

基于深度图强化学习的低轨卫星网络动态路由算法

为了解决高移动性导致卫星网络路由难以计算的问题,融合图神经网络和深度强化学习,提出一种基于深度图强化学习的低轨卫星网络动态路由算法。考虑卫星网络拓扑和卫星间链路的可用带宽、传播时延等约束,构建卫星网络状态,通过图神经网络对其进行表示学习;根据此状态的图神经网络表示,深度强化学习智能体选择相应的决策动作,使卫星网络长期平均吞吐量达到最大并保证平均时延最小。仿真结果表明,所提算法在保证较小时延的同时,还能提升卫星网络吞吐量和降低丢包率。此外,图神经网络强大的泛化能力使所提算法具有更好的抗毁性能。     

基于行动分值的强化学习与奖赏优化

针对强化学习算法收敛速度慢、奖赏函数的设计需要改进的问题，提出一种新的强化学习算法．新算法使用行动分值作为智能行为者选择动作的依据．行动分值比传统的状态值具有更高的灵活性，因此更容易针对行动分值设计更加优化的奖赏函数，提高学习的性能．以行动分值为基础，使用了指数函数和对数函数，动态确定奖赏值与折扣系数，加快行为者选择最优动作．从走迷宫的计算机仿真程序可以看出，新算法显著减少了行为者在收敛前尝试中执行的动作次数，提高了收敛速度．     

基于时空特征融合的端到端无人车控制

基于深度学习的端到端车辆控制器多是由二维卷积神经网络(2D convolutional neural netuark,2D CNN)训练得到的,因未考虑时间维度上的帧间运动信息,使得控制器的可解释性与泛化能力较差,而三维卷积神经网络(3D CNN)可以从连续视频帧中学习时空特征。深度确定性策略梯度强化学习(depth deterministic policy gradient,DDPG)常用于连续动作的控制优化,但DDPG算法仍存在采样方式不合理而导致的样本利用率低的问题。基于此,采用3D CNN与改进DDPG算法相结合的方法对车辆方向盘转角和速度进行预测。通过实车实验实现了车辆在所设置轨道上的自主驾驶,为基于深度学习和强化学习方法解决自动驾驶中的端到端控制问题提供了科学方法。     

无线接入网QoS保证的动态载频开启节能控制

针对复杂应用环境中无线接入网负载高波动的特点,提出一种多路载频动态开启的系统级功耗控制策略,在满足多类业务QoS的同时,降低系统基站的能耗.构建基于连续时间Markov控制过程的系统分析模型,将动态载频开启节能控制转化为一个带约束的优化问题.结合性能势估计与随机逼近,提出一种基于策略迭代的在线自适应策略优化算法.仿真实验结果验证了方法的有效性.     

一种基于性能势的无折扣强化学习算法

传统基于性能势的学习算法能获得马尔可夫决策问题的最优策略。这些算法主要采用单路径采样的方法,使得学习算法效率不高。将性能势与强化学习相结合,提出了一种基于性能势的无折扣值迭代学习算法——G学习,并将其与经典的无折扣强化学习算法(R学习)相比较,获得了较好的实验结果。