基于DQN的机场地服人员动态排班研究

针对在繁忙机场的地面服务人员动态排班问题,提出一种基于深度Q网络(DQN)的排班方法．首先以最大化任务执行率和最小化员工工作时间作为目标,建立了优化模型;然后根据目标提出了两种不同的排班方法,进而采用DQN算法,根据生成的航班动态数据,提取6个状态特征作为网络的输入,并拟定合适的奖励机制,使得训练后的模型能够动态地选择最好的分配方法,最终对模型进行求解．将该方法应用在连续7 d的实际排班中,实验结果表明：与人工排班结果相比,该方法平均每天的任务完成数增加了0.43个,员工的总工作时长减少了53 min,DQN的排班结果具有明显优势,提高了机场地面服务的工作效率．     

基于增强拓扑神经进化的等效并行机动态调度

针对工件动态到达、处理时间不确定且机器须要弹性预防维护的等效并行机调度问题,以平均流程时间最小化为目标,提出了基于强化学习的动态调度方法．将调度过程作为马尔可夫决策过程,通过定义状态空间、行为空间、奖励函数与适应度函数,提出基于增强拓扑神经进化(NEAT)算法的动态调度方法．设计三种规模问题的实例,将基于NEAT的方法与最短路径树(SPT)、先装先卸(FIFO)调度规则及基于深度Q网络(DQN)的方法进行比较,结果表明：基于NEAT的方法相比基于DQN的方法能够以更短的训练时间获得更优、更稳健的调度方案,相比SPT和FIFO调度规则能够获得更优的目标值,利用训练好的NEAT模型对随机生成的大规模问题实例的快速高质量求解结果表明,基于NEAT的调度方法具有更好的泛化性能．     

基于动态优先级的奖励优化模型

传统的约束马尔可夫决策过程(constrained Markov decision process, CMDP)模型用来解决多目标决策的困难,但该模型缺乏通用性并且只适用于离散环境。为了解决这一问题,提出一种基于CMDP的改进算法CRODP,与强化学习(reinforcement learning, RL)算法结合,将带约束问题建模为拉格朗日公式,其中包含着深度强化学习的策略参数。然后进一步推导出模型参数的更新公式,并将其作为深度强化学习神经网络的损失函数。模型在学习过程中动态调整约束与主要目标之间的权重以确保最终策略符合给定的约束。在若干机器人平台上与基准的深度强化学习算法进行比较,显示本算法得出的最优策略能够更好地满足相应约束。     

MADDPG算法并行优先经验回放机制

多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient,MADDPG)算法是深度强化学习方法在多智能体系统(multi-agent system,MAS)领域的重要运用,为提升算法性能,提出基于并行优先经验回放机制的MADDPG算法.分析算法框架及训练方...     

D3DQN-CAA:一种基于DRL的自适应边缘计算任务调度方法

为解决已有基于深度强化学习的边缘计算任务调度面临的动作空间探索度固定不变、样本效率低、内存需求量大、稳定性差等问题,更好地在计算资源相对有限的边缘计算系统中进行有效的任务调度,在改进深度强化学习模型D3DQN（Dueling Double DQN）的基础上,提出了自适应边缘计算任务调度方法D3DQN-CAA.在任务卸载决策时,将任务与处理器的对应关系看作一个多维背包问题,根据当前调度任务与计算节点的状态信息,为任务选择与其匹配度最高的计算节点进行任务处理;为提高评估网络的参数更新效率,降低过估计的影响,提出一种综合性Q值计算方法;为进一步加快神经网络的收敛速度,提出了一种自适应动作空间动态探索度调整策略;为减少系统所需的存储资源,提高样本效率,提出一种自适应轻量优先级回放机制.实验结果表明,和多种基准算法相比,D3DQN-CAA方法能够有效地降低深度强化学习网络的训练步数,能充分利用边缘计算资源提升任务处理的实时性,降低系统能耗.     

函数单调性教学技巧与分析

函数单调性是函数的重要性质,教学中恰到好处的实例引入,数形的有机结合,重点实际的技巧分析,是学生学好函数单调性这一性质的关键。     

适应消防部队职能任务的拓展 进一步加强专业人才队伍建设

面对消防部队职能拓展带来的机遇和挑战,如何在认清自身优势的同时,深入分析工作中的不适应性问题,采取针对性措施,增强应急救援能力,已经成为我们急需研究和解决的课题。笔者就改革用人机制、加强素质能力建设、塑造消防部队战斗精神等方面进行探讨,寻求适应职能任务的拓展,突破发展瓶颈,强化专业人才队伍建设的新方法。     

城市单交叉口信号多相位自适应控制模型

针对交通系统的动态性和随机性,提出了信号交叉口的自适应控制模型.充分考虑了转弯比例的时变性以及车道分配的时变性,给出一种交叉口随机动态模型.将强化学习(RL)引入到交通信号系统中,针对交通网络的交通流及信号特征,建立了RL的状态空间、动作空间和回报函数,以最小化交叉口的排队车辆数为目标,实施对交通信号的优化控制.在不同的交通环境设定下,对典型的十字交叉口进行仿真试验,将RL控制方法同传统的定时控制和感应控制进行了对比.结果表明,RL控制器具有很强的学习能力,对于交通环境的突然变化仍可以保持较高的控制效率.     

基于前视声呐信息的AUV避碰规划研究

在复杂海洋环境中,利用前视声呐获取的障碍物信息指导自治水下机器人（AUV）进行局部避碰。主要采用强化学习的方法对AUV进行控制和决策,综合Q学习算法、BP神经网络和人工势场法对AUV进行避碰规划。强化学习的方法强调AUV在环境的影响中学习,通过环境对不同行为的评价性反馈信号来改变行为选择策略。并且在环境发生变化时,AUV通过学习来实现对新环境的适应,不断改进其自治能力,进而实现在不确定环境下的避障任务。开发了AUV运动规划的虚拟仿真软件系统,仿真实验证明了算法的合理性与可行性。     

Consistency analysis of accelerated degradation mechanism based on gray theory

A fundamental premise of an accelerated testing is that the failure mechanism under elevated and normal stress levels should remain the same. Thus, verification of the consistency of failure mechanisms is essential during an accelerated testing. A new consistency analysis method based on the gray theory is pro- posed for complex products. First of all, existing consistency ana- lysis methods are reviewed with a focus on the comparison of the differences among them. Then, the proposed consistency ana- lysis method is introduced. Two effective gray prediction models, gray dynamic model and new information and equal dimensional （NIED） model, are adapted in the proposed method. The process to determine the dimension of NIED model is also discussed, and a decision rule is expanded. Based on that, the procedure of ap- plying the new consistent analysis method is developed. Finally, a case study of the consistency analysis of a reliability enhancement testing is conducted to demonstrate and validate the proposed method.