基于深度强化学习的机场货运业务优化研究

为了将智能Agent技术架构应用于机场货运业务的仿真模型开发,以机场货运资源优化为目标,提出了将深度强化学习与机场货运业务仿真模型结合的决策支持系统框架,用仿真数据实现对深度学习网络的训练,运用深度学习网络优化模型中的调度方案.训练成熟的系统采取在线模式,可以用于实时优化货运流程的调度方案.为了验证架构的有效性,在An...     

轻量级WebVR地铁站大规模火灾情景实时仿真研究

大规模火灾仿真需要庞大的计算量和卓越的渲染能力，对Web端实时在线火灾仿真系统的实现提出了挑战。提出了一套轻量级Web端地铁站火情实时仿真技术框架。基于火灾安全领域中的计算公式整理简化，分析地铁站防烟设施影响，提出了基于防烟分区的两阶段烟雾扩散模型，实现烟雾扩散趋势计算；提出了Web端的防烟分区级多粒度粒子发射器框架，完成火焰和烟雾形态的渲染，实现基于Web端实时计算和可视化过程。试验验证表明：本文方法与专业火灾模拟软件模拟结果在大体趋势上相近，并且打开网页即可实时在线对火灾进行模拟，在便捷性上拥有显著优势。     

基于指标关联的舰载机出动架次率预测方法

舰载机出动架次率作为衡量航母战斗力的关键指标，对航母-舰载机系统的安全高效运行十分重要。建立根据实时数据预测当前出动架次率的模型，将会为航母指挥官的实时调度提供重要参考。首先，从指标原始数据出发，基于大数据关联度分析、社区发现及主成分分析法，确定指标之间的树状关系，从而建立稀疏深度神经网络。同时，为了保证更好的训练效果，选取标准化、L2正则化、Adam优化器作为神经网络的优化算法进行训练。仿真结果表明，在航母舰载机持续性出动任务下，所提方法能够实现对舰载机出动架次率的快速、准确、实时预测。     

基于时间敏感软件定义网络的工业互联网时延优化方案

大规模工业通信网络中不同优先级的数据流量共同传输会导致网络拥塞、时延增大等问题，基于时间敏感软件定义网络(time sensitive software defined network, TSSDN)框架，提出一种网络时延优化方案。在数据链路层对工业网络中不同优先级的数据流量设计分类整形调度的增强型时间感知整形器(enhanced-time awareness shaper, E-TAS)算法，缩短网络排队时延，将最高优先级同步实时数据采取流预留的方式、将次优先级非同步实时数据采取帧抢占的方式进行调度，将低优先级非实时数据按其调度权重进行公平调度，同时在网络层结合使用基于时延的Dijkstra算法，缩短网络数据的传播时延。仿真结果表明，所提方案有效保证了不同优先级数据流量的时延要求，实现了网络总时延性能的优化。     

基于仿真优化的集装箱港口大门作业调度研究

提出基于仿真优化的集装箱港口大门通道作业的调度优化方法.首先,建立了大门作业的离散事件仿真模型和调度优化数学模型;其次,设计了启发式Tabu搜索算法和仿真模型相结合的仿真优化方法;然后,结合仿真自动化方法和在线数据库实现了仿真优化系统;最后,用实例验证并分析了本方法的有效性及效率问题.结果表明了本方法对在线、实时作业调度优化问题的适用性.     

一种面向对象的FMS仿真环境的实现

开发了一种基于面向对象框架的可视化ＦＭＳ仿真环境，可以模拟在不同初始条件下和实时决策规则下的ＦＭＳ的实时运行状况，并提出了一种基于面向对象模型的实用死锁检测算法，可以实现实时死锁检测及报警，最后的统计结果可为作业计划与调度规则的决策及优化提供论依据。     

针对机动目标的三维实时滚动优化制导策略

为解决目标机动策略未知条件下的飞行器拦截问题, 提出一种基于神经网络的三维滚动优化制导策略。首先, 针对全局最优导引律终端时刻难以确定的问题, 在滚动时域优化框架下, 引入零效脱靶量设计局部最优导引律, 并使用粒子群优化算法进行求解。其次, 为了提高制导律在线求解效率, 构建神经网络, 对优化算法滚动求解得到的若干组制导训练数据进行离线学习, 并将经过训练的网络用于制导指令在线滚动优化。仿真结果表明, 神经网络-滚动优化制导策略对采取各类机动方式的目标均具有较好的制导性能, 有效提高了制导指令在线优化效率, 可以为飞行器制导律实时滚动求解提供参考。     

多智能体协同决策仿真平台研究与开发

强化学习仿真平台为强化学习提供交互和训练的环境。为了使仿真平台兼容多智能体强化学习算法，满足军事领域仿真的需求，提炼多智能体强化学习算法中的相似流程，设计统一接口，将多种不同类型深度强化学习算法在仿真平台进行嵌入验证；优化仿真平台后端服务框架以加速算法模型的训练过程。实验结果表明：在仿真平台中统一接口规范，能够兼容多种不同类型的多智能体强化学习算法，显著提升了后端服务框架重构和参数量化后算法训练效率。     

基于深度强化学习的网络路由优化方法

针对同一网络拓扑下不同网络负载的路由优化问题, 在深度强化学习方法的基础上, 提出了两种依据当前网络流量状态进行路由分配的优化方法。通过网络仿真系统与深度强化学习模型的迭代交互, 实现了对于流量关系分布的网络路由持续训练与优化。在利用深度确定性策略梯度(deep deterministec policy gradient, DDPG)算法解决路由优化问题上进行了提升和改进, 使得该优化方法更适合解决网络路由优化的问题。同时, 设计了一种全新的链路权重构造策略, 利用网络流量构造出用于神经网络输入状态元素, 通过对原始数据的预处理加强了神经网络的学习效率, 大大提升了训练模型的稳定性。并针对高纬度大规模网络的连续动作空间进行了动作空间离散化处理, 有效降低了其动作空间的复杂度, 加快了模型收敛速度。实验结果表明, 所提优化方法可以适应不断变化的流量和链路状态, 增强模型训练的稳定性并提升网络性能。     

天基信息支援体系离散事件仿真与效能评估

针对天基信息支援体系效能评估中存在的准确性与实时性无法兼顾的问题,以体系仿真为基础,提出一种基于离散事件仿真的效能评估模型构建方法。首先,基于仿真工具建立离散事件仿真模型,对体系的结构与运作流程进行模拟,并基于仿真模型构建评估指标体系,生成效能评估数据样本。之后,利用深度学习对复杂映射的强大表现能力基于深度置信网络构建效能评估代理模型,结合无监督预训练和有监督调优实现网络的训练和参数优化。最后,对仿真生成的测试集样本进行评估模型验证实验。结果表明,所提方法在计算快速的同时对原评估模型有很高的还原度。     

基于强化学习的连续型机械臂自适应跟踪控制

针对空间主动碎片清除操作中连续型三臂节机器人系统跟踪问题，提出一种基于强化学习的自适应滑模控制算法。基于数据驱动的建模方法，采用BP神经网络对三臂节连续型机械臂进行建模，并作为预测模型指导强化学习实时调节所提出滑模控制器的控制参数，从而实现连续型机器人运动的实时跟踪控制。仿真结果表明：提出的数据驱动的预测模型对随机轨迹预测的相对误差保持在\pm \mathrm{1}\mathrm{\%}以内，能够高精度地反映系统动态特性。对比固定参数的滑模控制器，提出的自适应控制器在保证系统达到控制目标的同时具有更低的超调量和更短的调节时间，表现出更好的控制效果。     

弹性高超声速飞行器智能控制系统设计

针对气动舵受限下的弹性高超声速飞行器控制问题, 提出一种基于神经自适应的智能控制方案。在速度子系统的设计过程中, 为了降低对模型参数的依赖程度, 应用强化学习算法在线调整比例积分微分(proportional integral derivative, PID)控制参数, 给出智能PID控制策略。对于高度子系统, 考虑气动舵的动态特性, 利用神经自适应方法对模型未知函数及不确定项进行逼近。为了处理气动舵的约束问题, 以非线性模型预测控制为优化分配模板生成大量样本数据集, 经离线训练得到深度神经网络代替求解复杂优化问题和控制分配的过程。此外, 通过引入自适应超螺旋微分器处理外部扰动, 增强了系统的鲁棒性。利用Lyapunov方法证明了所设计控制器的稳定性, 并通过仿真验证了所设计控制方案能够快速计算控制指令, 实现高精度跟踪控制。     

基于协作式深度强化学习的火灾应急疏散仿真研究

火灾是威胁公共安全的主要灾害之一,火灾产生的高温和有毒有害烟气严重影响了疏散路径的选择。将深度强化学习引入到应急疏散仿真研究,针对多智能体环境提出了协作式双深度Q网络算法。建立随时间动态变化的火灾场景模型,为人员疏散提供实时的危险区域分布信息;对各自独立的智能体神经网络进行整合,建立多智能体统一的深度神经网络,实现所有智能体之间的神经网络和经验共享,提高整体协作疏散效率。结果表明：所提方法具有良好的稳定性和适应性,训练和学习效率得到提升,具有良好的应用价值。     

基于深度强化学习的云作业调度及仿真研究

针对复杂瞬变的多用户多队列多数据中心云计算环境中作业调度困难的问题,提出一种基于深度强化学习的作业调度方法.建立了云作业调度系统模型及其数学模型,并建立了由传输时间、等待时间和执行时间三部分构成的优化目标.基于深度强化学习设计了作业调度算法,给出了算法的状态空间、动作空间和奖赏函数.设计与开发了云作业仿真调度器,完成作...     

基于BSO-ELM的涡轴发动机加速过程性能参数预测

建立精度和实时性均满足要求的航空发动机性能参数预测模型是实现发动机性能优化和实时监控的基础。极限学习机(extreme learning machine, ELM)对复杂的非线性航空发动机系统具有良好的适应性, 本文提出了利用头脑风暴优化算法(brain storm optimization, BSO)优化ELM的网络参数以提高其性能。并提出以发动机的台架试车加速过程数据为训练和验证样本, 利用BSO-ELM算法回归辨识得到涡轴发动机加速过程性能参数预测模型。结果表明预测参数燃气发生器转速n_g、燃气发生器出口温度T₄和增压比π_c的两项精度指标均优于BSO算法优化的反向传播神经网络和粒子群优化算法优化的ELM方法得到的预测模型, 表明了BSO-ELM预测模型的可行性与优越性; 在相同仿真环境下, BSO-ELM算法可大幅提高计算效率使预测模型的实时性更优。     

面向LVC训练的蓝方虚拟实体近距空战决策建模

真实-虚拟-构造为近距空战对抗训练提供了有力支撑。针对课题对蓝方虚拟实体的实际决策建模需求, 在对比分析深度强化学习与经典智能优化方法的基础上, 从优化理论的角度对神经网络的权值空间和结构空间进行定义, 提出基于智能优化的进化神经网络决策模型及其求解方法。首先,分析近距空战战术特点, 战机飞行运动模型, 实际决策建模需求。其次,分别设计战机关键飞行状态、动作空间、适应度函数, 实现蓝方端到端感知与决策。最后, 给出基于经典遗传神经网络的决策模型及求解示例。结果表明, 所提方法可实现蓝方战机通过对抗数据来学习对手作战特点的功能, 验证了模型及方法的有效性; 同时所提方法对目前智能优化及其改进算法, 以及不同结构神经网络具有通用性。     

MADDPG算法并行优先经验回放机制

多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient, MADDPG)算法是深度强化学习方法在多智能体系统(multi-agent system, MAS)领域的重要运用,为提升算法性能,提出基于并行优先经验回放机制的MADDPG算法。分析算法框架及训练方法,针对算法集中式训练、分布式执行的特点,采用并行方法完成经验回放池数据采样,并在采样过程中引入优先回放机制,实现经验数据并行流动、数据处理模型并行工作、经验数据优先回放。分别在OpenAI多智能体对抗、合作两类典型环境中,从训练轮数、训练时间两个维度对改进算法进行了对比验证,结果表明,并行优先经验回放机制的引入使得算法性能提升明显。     

基于元胞自动机的地铁火灾疏散动态分析

在元胞自动机基本模型基础上,结合地铁人员疏散特征,开发一种扩展元胞自动机模型。模型采用危险度的概念来反映人员对地理位置的认识,以及火情对主观选择的影响作用,并引入附加危险度来实现人与人,人与障碍物之间的摩擦和排斥效应,该附加危险度随乘客运动实时调整。根据人行特征,采用八方向运动规则,结合人员密度确定乘客疏散速度,体现快即是慢的疏散规律。通过站台和站厅两幅总危险度图的布置,模拟整个地铁建筑中人员的逃生过程,以广州地铁二号线某中间站为例,分析了乘客高峰期和非乘客高峰期,以及地铁环境正常运行状态和火灾紧急运行状态下的疏散动态特征。仿真结果显示进入紧急模式下,即使乘客满员,楼梯和闸机的疏散能力能够满足地铁疏散要求。当预警滞后或控制不动作时,逃生所需时间有明显增加,整个疏散通道上,楼梯和站厅检票闸机处形成两处瓶颈,而且闸机疏散能力明显不足。