基于深度强化学习的空中基站部署优化算法

针对无人机群(swarm of unmanned aerial vehicle, UAV-swarm)在救灾场景中对地面移动用户进行持续性通信覆盖的问题,设计了一种基于多智能体的深度强化学习的无人机群路径优化算法。该算法框架中无人机具有分布式决策能力,根据用户的移动来动态调整自身的移动策略。通过设置合适的强化学习奖励和参数,使无人机在满足覆盖百分比、防碰撞、能源限制等多种约束前提下,最大限度地长期覆盖地面移动用户。与其他无人机部署方案算法进行仿真对比,实验结果表明,该模型在收敛速度和收敛效果上得到了显著提升。     

基于深度强化学习的无人机自组网路由算法

针对无人机自组网节点密度大、拓扑变换频繁,导致移动自组网复杂的问题,提出了一种基于深度强化学习(deep-reinforcement learning, DRL)的分布式无人机自组网路由算法。利用DRL感知学习无人机特征,使节点不断与环境交互、探索学习最优行动(路由)策略;通过存储经验知识,维护端到端路由,赋予无人机网络智能化重构和快速修复的能力,从而提高路径的稳定性,降低路由建立和维护开销,增强网络的鲁棒性能。仿真结果表明,提出的算法具有较好的收敛性能;在路由修复时间、端到端时延,以及网络适应性、扩展性方面都优于传统的路由算法。     

基于卷积神经网络感知功能的极端场景生成方法

近年来,基于卷积神经网络深度学习的感知算法在自动驾驶车辆环境感知系统中发挥着越来越重要的作用。由于在神经网络训练过程中,训练数据无法覆盖所有极端场景,因此如何保证基于深度学习的感知算法在极端场景下的安全性和可靠性,仍是一个亟待解决的问题。传统的基于真实行驶里程的验证方法,在获取极端场景数据上危险性高,经济性差,因此很难检验驾驶功能在极端场景下的性能。基于虚拟场景的仿真验证方法,虽然可以通过设置场景参数来生成大量测试场景,但是通过简单的参数组合并不能有效的生成极端场景。本文展示了一种在虚拟环境中生成极端场景的方法,用于训练和测试基于深度卷积神经网络的车道线识别算法。首先将场景特征用参数进行表示,然后使用deep Q-learning强化学习的方法,来生成极端场景的参数组合。通过与随机组合以及成对组合场景参数的方法进行对比,可以看出该基于强化学习的场景生成方法可以更有效地生成极端场景,因此可提高自动驾驶感知功能的测试效率,同时可为卷积神经网络提供更多的极端场景训练数据。     

知识牵引与数据驱动的兵棋AI设计及关键技术

在分析知识推理型与数据学习型兵棋人工智能(artifical intelligence, AI)优缺点的基础上, 提出了基于知识牵引与数据驱动的AI设计框架。针对框架中涉及的基于数据补全的战场态势感知,基于遗传模糊系统的关键点推理,基于层次任务网的任务规划、计划修复与重规划,基于深度强化学习的算子动作策略优化等关键技术进行深入探讨。结果表明,所提框架具有较强的适应性, 不仅能够满足分队、群队、人机混合等兵棋推演的应用需求, 而且适用于解决一般回合制或即时策略性的博弈对抗问题。     

Mg-Sn合金化与固溶-时效行为的研究现状

作为具备良好发展前景的可时效强化镁合金,Mg-Sn合金通过Mg₂Sn相析出强化、固溶强化与细晶强化获得了优异的性能。与Mg-Zn、Mg-Al主要镁合金相比,Sn在Mg中的固溶度较好,析出强化效果优异;另外,Mg₂Sn相的熔点高达771.5 ℃,使Mg-Sn合金成为非稀土系列的低成本耐热镁合金。从合金化、固溶-时效处理工艺分析总结了可时效强化Mg-Sn合金的研究进展,分析Mg-Sn合金时效行为的重要参数及其影响因素,主要目的为细化Mg₂Sn析出相或增加Mg₂Sn析出相数量;同时,对添加到Mg-Sn合金中的合金元素的固溶效果、细晶效果与形成三元强化相效果进行系统总结与分析,为Mg-Sn合金成分的设计和性能改善提供重要参考。     

基于POMDP模型的机器人行动的仿真优化

策略梯度优化算法是一种很重要的强化学习算法,对实现机器人的自主导航有着重要的应用价值.在部分可观Markov决策过程(POMDP)的基础上,实现了两个有限记忆的策略梯度优化算法:基于模型的GAMP算法和无模型的IState-GPOMDP算法,并利用该算法对机器人走迷宫的问题进行了仿真.通过分析仿真结果,对这两种算法引入了基于观测的优化;并发现在所给报酬函数下,策略梯度算法中的步长参数也在一定程度上影响着优化策略的效率.     

MADDPG算法并行优先经验回放机制

多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient,MADDPG)算法是深度强化学习方法在多智能体系统(multi-agent system,MAS)领域的重要运用,为提升算法性能,提出基于并行优先经验回放机制的MADDPG算法.分析算法框架及训练方...     

强化固溶态2024铝合金ECAP加工后的拉伸性能

在室温下对经强化固溶处理的2024铝合金实施了等效应变为0．5的等通道转角挤压（ECAP）,将强化固溶、形变、时效和晶界细化四者有机结合,制备出超高强铝合金,其硬度、屈服强度、伸长率分别高达约191HV,610MPa和13％．强度-结构关系的定量计算表明,ECAP变形过程中所引入的位错,其对强度提升的贡献高达整个强度提高值的62．2％．研究结果还表明,强化固溶→低温ECAP变形→低温人工时效是提升常规铝合金的强度、制取超高强铝合金的一条有效途径。     

交错波纹板原表面换热器通道内对流换热的数值研究

对具有正弦波形通道交叉排列的原表面换热器多通道单元内三维稳态层流流动与换热特性进行了分析，利用数值模拟方法探讨了上下波纹板交错角θ、波纹相对节距P／H(波长／波高)及雷诺数RP对流动与换热性能的影响．结果表明：在入口段流动与换热性能的变化较大，此变化在沿主流方向第4个单元后基本消失；在水力直径基本相同的前提下，阻力系数厂及平均努谢尔特数Nu随θ的增大而增大；f及Nu在P／H为1．5～3．1的范围内随P／H的增大而增大，在RP大于900及P／H为3．1～4．0时随P／H的增大却开始减小；壁面局部Nu的最大值发生在主流尾部以及与流体出口邻近的2个入口处附近，最小值在上下波纹板的接触点上产生。     

环形内肋片圆管层流脉冲流动强化对流换热数值分析

为了解环形内肋片圆管中脉冲流动强化对流换热的机理,该文对这一现象进行了数值研究。数值计算结果表明:与具有相同Rem时的稳定流动相比,脉冲流动可使对流换热强化一倍以上,其强化效果与振荡频率、肋片高度和肋片间距有关;最佳量纲1振荡频率在400到1000之间,并随着Rem的增大而增加;对流换热强化的原因在于脉冲流动使由肋片引起的涡旋更加激烈,速度场和温度梯度场之间的协同性更好。