基于MAS的CAPP与生产调度集成系统

采用分布式人工智能的Agent技术，提出了基于MAS的CAPP与生产调度集成模型。该模型为动态开放式级／层控制结构，采用合同网协议和主动黑板结构等方法，实现系统的运行和信息交互。建立了基于该模型的原型系统，使工艺设计和调度的Agent结构成为既独立又能很好地进行协商反馈的独立模块。原型系统的仿真结果表明，集成模型和实现框架正确，是解决调度瓶颈问题的有效方法。     

基于多级决策的多智能化自动导航车调度系统

提出基于多级决策和协作学习的方法来建立自动导航车（AGV）调度系统中每个AGV所需要的动态分布式调度策略。系统中的第一个AGV都由一个具有两级决策能力的智能体控制：在选择级，智能体采用Markov对策框架下的强化学习方法，以根据其他AGV当前的子任务建立自已的最有反应子任务；在行动级，智能体通过强化学习建立优化的动作策略来完成由级选择级确定的子任务。AGV调度仿真结果证明，该方法能提高系统的产量，并在零件到达比变化时保持输出产量的稳定。     

基于深度强化学习的无线网络边缘缓存技术综述

边缘缓存能够有效降低服务时延、缓解回程链路流量压力以及提升用户体验质量,可用于解决现有移动通信网络架构难以支撑的数据流量极速增长,满足用户对高质量网络服务的需求。但是复杂的网络状况和未知内容流行度给边缘缓存策略研究带来很大挑战。首先从边缘缓存的优势挑战、应用场景、核心要素等方面介绍边缘缓存网络的基础架构和流程,对研究现状进行分析总结。随后简述深度强化学习技术和DQN算法,分类介绍基于不同缓存系统架构和基于不同深度强化学习方法的边缘缓存策略。最后重点对基于深度强化学习的缓存模型进行解析,提出下一步研究方向。     

基于深度强化学习的分布式能源系统运行优化

分布式能源系统凭借其高效、环保、经济、可靠、和灵活等特点成为我国能源未来发展的重要方向。目前我国的很多分布式能源系统经济效益较差,主要原因是能源系统没有良好的运行策略。本文提出一种基于深度强化学习的分布式能源系统运行优化方法。首先,对分布式能源系统的各个设备进行数学建模。深入阐述了强化学习的基本原理、深度学习对强化学习的结合原理及一种基于演员评论家算法的分布式近端策略优化(Distributed Proximal Policy Optimization, DPPO)算法流程,将分布式能源系统运行优化问题转化为马尔可夫决策过程(Markov decision process,MDP)。最后采用历史的数据对智能体进行训练,训练完成的模型可以实现对本文的分布式能源系统的实时优化,并对比了深度Q网络(Deep Q Network, DQN)算法和LINGO获得的调度策略。结果表明,本文提出的基于DPPO算法的能源系统调度优化方法较DQN算法和LINGO得到的结果运行费用分别降低了7.12%和2.27%,可以实现能源系统的经济性调度。     

时变时延网络化控制系统的鲁棒稳定性

针对一类存在噪声干扰的时变时延网络化控制系统，基于信息调度与控制协同设计的思想，建立了具有信息调度和噪声干扰的时变时延网络化控制系统模型．引入增广状态矩阵分析方法，研究了存在时变时延和噪声干扰情形下闭环网络化控制系统的鲁棒稳定性问题．给出了使闭环系统渐近稳定的控制器参数化表达式．仿真分析表明该策略在满足闭环系统稳定性的同时，降低了系统信道的数据信息流量，充分地利用了网络带宽资源。     

基于深度学习神经网络和量子遗传算法的柔性作业车间动态调度

针对柔性作业车间动态调度问题构建以平均延期惩罚、能耗、偏差度为目标的动态调度优化模型,提出一种基于深度Q学习神经网络的量子遗传算法。首先搭建基于动态事件扰动和周期性重调度的学习环境,利用深度Q学习神经网络算法,建立环境■行为评价神经网络模型作为优化模型的适应度函数。然后利用改进的量子遗传算法求解动态调度优化模型。该算法设计了基于工序编码和设备编码的多层编码解码方案;制定了基于适应度的动态调整旋转角策略,提高了种群的收敛速度;结合基于Tent映射的混沌搜索算法,以跳出局部最优解。最后通过测试算例验证了环境-行为评价神经网络模型的鲁棒性和对环境的适应性,以及优化算法的有效性。     

基于协同优化的动态模块化设计方法研究

为了解决模块化设计缺乏过程支持、模块系统缺乏闭环流程优化的研究现状,基于系统论和协同学的观点提出动态模块化设计的方法及其技术框架.结合设计过程模型和多事务处理代理系统模型,构建了支持协同和优化分析的过程调度和冲突消解机制,实现了模块化分析所得规范体系在组合设计过程中的应用及产品结构的改进和优化.通过基于此框架模型的原型系统的开发及在某系列型号发动机设计过程的应用,验证了该方法对解决现有问题的有效性.     

考虑电动汽车充放电的智慧社区强化学习能源优化调度策略

为提高智慧社区能源系统(smart community energy system，SCES)运行的经济性，引入了电动汽车作为储能设备，并在此基础上提出了一种基于强化学习的新型智慧社区能源系统运行优化调度策略。首先，基于各能源设备运行机理构建了新型智慧社区能源系统模型，该模型考虑了电动汽车作为储能设备入网运行对负荷和供需平衡的影响。其次，将电动汽车分为耗能组和储能组，分别作为用电负荷和储能设备参与系统运行。分析了新型智慧社区能源系统多种能源设备的能量耦合关系，进而建立了电动汽车及各能源设备的非线性约束条件，并重新设计了算法的状态空间、动作空间以及奖励函数。再次，运用基于深度双Q网络(double deep Q network，DDQN)的新型智慧社区能源优化调度策略解决能源系统运行优化问题。最后，以某社区为例，仿真验证了所提策略可有效提高智慧社区能源系统运行的经济性。     

基于WGAIL-DDPG(λ)的车辆自动驾驶决策模型

优良的可靠性、学习效率和模型泛化能力是车辆自动驾驶系统研究的基本要求.基于深度强化学习理论框架提出了一种用于车辆自动驾驶决策的WGAIL-DDPG(λ)(Wasserstein generative adversarial nets-deep deterministic policy gradient(λ))模型.其中...     

基于多级决策的多智能体自动导航车调度系统

提出基于多级决策和协作学习的方法来建立自动导航车 ( AGV)调度系统中每个 AGV所需要的动态分布式调度策略 .系统中的每一个 AGV都由一个具有两级决策能力的智能体控制 :在选择级 ,智能体采用 Markov对策框架下的强化学习方法 ,以根据其他 AGV当前的子任务建立自己的最有反应子任务 ;在行动级 ,智能体通过强化学习建立优化的动作策略来完成由选择级确定的子任务 .AGV调度仿真结果证明 ,该方法能提高系统的产量 ,并在零件到达比变化时保持输出产量的稳定     

一种基于博弈论的交通系统最优调度策略学习方法

交通网中,最大化车流量和最小化平均等待时间是每一个路口调度的目标.交通调度中,各路口与其它路口发生博弈关系.博弈过程中,相邻路口之间为使其自身利益最大化而存在一种策略间相互协调的约束.针对复杂的交通调度控制问题,基于多智能体多阶段博弈论对交通系统进行建模.考虑动态博弈交通环境的实际特征,进一步基于博弈的增强学习算法,提出一种以惩机制为约束条件的交通系统博弈策略的学习方法,最终使参与交通博弈的多个路口达到Nash均衡,从而得到交通系统的最优配时调度策略组合.实验验证了所提出方法的可行性和有效性.     

云计算下深空通信网络的能耗感知调度方法研究

云计算下深空通信网络中,通常同时要求低能耗和低反应时间,当前调度方法一般无法同时满足上述两种条件,导致调度性能不佳。为此,提出一种新的云计算下深空通信网络的能耗感知调度方法,将云计算系统抽象地表示成一个四元组,给出云计算平台拓扑图,介绍了云计算系统的能耗感知模型。将能耗感知理论引入min-min任务调度方法,依据深空通信网络对任务截止时间要求的满足程度,优先选择任务队列中的最短任务,将其分配至能耗最小的服务器上执行,求出该任务在各服务器上的执行能耗,通过完成时间是否满足截止时间要求判断是否结束调度。给出基于能耗感知的最早完成时间任务调度方法的详细实现过程。实验结果表明,所提方法能耗低,时间跨度优。     

基于CDN和P2P混合系统的流媒体调度策略

提出了基于CDN和P2P混合系统的流媒体调度策略。在原有CDN系统架构的基础上,增加了代理服务器之间的P2P协作功能。按照IP最近匹配的原则,能够保证在代理服务器之间流媒体文件传输时间达到最小。对缓存空间中的内容,按照流媒体文件的流行度对其进行排序并更新,达到充分利用缓存空间的目的。仿真结果表明,本文提出的调度策略能有效减小用户延迟,达到资源共享。     

强化学习在城市交通信号灯控制方法中的应用

 悉尼自适应交通控制系统（SCATS）、绿信比-周期-相位差优化技术（SCOOT）及Smooth采用自适应交通信号灯控制方法，对城市道路口的交通信号灯进行了有效控制。随着深圳城市交通流量急剧增长，深圳交警在自主研发Smooth信号控制式基础上，提出实时、分布式、自适应调控要求，联合创新了人工信号控制方案TrafficGo，探索基于深度神经网络的强化学习，通过在线学习各种流量负荷，实时推理计算信控时段、相位、相序、信号周期、绿信比、相位差，进一步优化了交通信号灯的控制模式。介绍了在交通信号灯控制中运用的强化学习模型，实地测评表明，其取得了一定改进效果。     

基于节点流量的低能耗无线传感器网络MAC协议

根据传感器节点的生存时间取决于节点能量消耗的特点,设计了节能的MAC协议.提出了一种基于节点流量的低能耗无线传感器网络MAC协议TBEE-MAC(traffic-based energy efficient MAC).在TBEE-MAC中,节点采用周期性休眠机制来节省能量,提出了活动时间结构和基于节点流量的同步调度方式,在时间误差允许的范围内,调整了同步调度周期,减少了能量消耗.仿真显示,TBEE-MAC在提供低延时性能的基础上,能量有效性相对于S-MAC协议有很大提高.     

Intelligent logistics system of steel bar warehouse based on ubiquitous information

Internet of Things and artificial intelligence technology are the key elements of the intelligent construction of iron and steel production warehouse. This paper puts forward a whole set of intelligent scheme for bar warehouse crane for the guidance of metallurgical process engineering, including cluster rapid self-awareness technology of the smart crane, precise self-executing technique of crane with rigid-flexible hybrid structure, multi-body system kinematics model of the smart crane sling and the swing characteristics model at different azimuth, antiswing control technology based on the optimization objective function, the vehicle model recognition system based on lidar, and the clustering crane dynamic scheduling method based on multi-agent reinforcement learning. The complete intelligent logistics system of the bar warehouse has changed the original operation mode of the warehouse area and realized the unmanned operation and intelligent scheduling of the crane,which is of great significance for improving the production efficiency, reducing the production cost, and improving the product quality.     

基于灰狼算法优化深度学习网络的网络流量预测

针对深度学习网络在网络流量预测建模过程中的参数优化难题, 以改善网络流量预测结果为目标, 提出一种基于改进灰狼算法优化深度学习网络的网络流量预测模型. 首先, 收集网络流量历史数据, 并对数据进行相空间重构、 归一化等预处理; 其次, 引入灰狼算法快速搜索到全局最优深度学习网络的相关参数, 并根据最优参数对预处理后的网络流量历史数据进行学习, 建立能挖掘网络流量历史数据变化规律的预测模型; 最后, 与其他算法优化深度学习网络的网络流量预测模型进行对比分析. 实验结果表明, 基于改进灰狼算法优化深度学习网络的网络流量预测精度超过90%, 远高于其他对比模型, 且预测建模过程的建模时间少于对比模型, 可满足网络流量管理的高精度和实时性要求.     

基于连通可靠性的区域路网抗震优化加固

道路交通是地震发生后抢险救灾的重要通道。结合道路单元抗震可靠性以及道路单元重要程度等分析结果,建立路网抗震加固优化模型。模型以加固优化费用最低为目标,保证加固优化后道路单元抗震可靠度和系统抗震连通可靠度达到最低限定值,重点考虑加固优化后系统连通可靠程度最高。采用正交枚举法对满足模型条件的方案进行求解,给出一种路网抗震加固优化方案的设计方法。最后,通过算例验证方法的可行性。     

网络多链路出口路由优化调度方法的改进分析

对网络多链路出口路由进行优化调度的过程中,传统的路由调度方法只分析了网络拓扑结构,容易出现链路拥塞的情况,忽略了网络流量特征,增加了队列长度与通讯时间,调度效果不佳。提出基于N元非合作模型的网络多链路出口路由优化调度方法,依据路由表空间串行流量调度的状态,对多链路网络的抽象拓扑进行设计,获得多链路网络流量能否经过链路的判断,通过非合作性理论在单控制节点中从多选择域中获取渐进次优解,使得路由数据流从单控制节点映射至多链路出口时可以保持各链路上的流量均衡。引入链路因数对各链路上路由映射的量进行管理,完成对路由调度的改进分析。实验结果表明,所提方法不仅具有很高的调度效率,而且调度均衡性和资源利用率较优。