基于深度强化学习的空中基站部署优化算法

针对无人机群(swarm of unmanned aerial vehicle, UAV-swarm)在救灾场景中对地面移动用户进行持续性通信覆盖的问题,设计了一种基于多智能体的深度强化学习的无人机群路径优化算法。该算法框架中无人机具有分布式决策能力,根据用户的移动来动态调整自身的移动策略。通过设置合适的强化学习奖励和参数,使无人机在满足覆盖百分比、防碰撞、能源限制等多种约束前提下,最大限度地长期覆盖地面移动用户。与其他无人机部署方案算法进行仿真对比,实验结果表明,该模型在收敛速度和收敛效果上得到了显著提升。     

国内外不同体制下实验动物管理政策体系和标准体系的分析与启示

目的 阐述我国实验动物管理制度的优势,找出存在的短板,提出完善与强化我国实验动物管理政策体系和标准体系的对策与建议.方法 分析国内外实验动物管理政策体系和标准体系架构.结果 我国还没有一部实验动物管理的法律,与国际上的通用要求存在较大差距;与国际先进标准相比较,我国实验动物标准内容相对滞后,标准之间缺乏系统性和协调性....     

影响微波强化烧成水泥熟料的主要因素

用电炉将水泥生料预热至一定温度,然后再用微波炉加热较短时间,强化烧成了水泥熟料.影响微波强化烧成水泥熟料的主要因素有:预热温度提高,有利于熟料的强化烧成;F e2O3对强化烧成有促进作用;液相的出现使物料吸波能力极大提高.     

一种无先验地图的移动机器人导航方法

为了提高移动机器人在复杂环境下的无先验地图导航算法模型训练速度及导航成功率,提出一种基于深度确定性策略梯度(deep deterministic policy gradient, DDPG)的移动机器人导航方法。利用2D激光雷达的均匀分布测距信息,降低环境噪声的干扰及高维度环境信息的计算量;采用人工势场法构建移动机器人从初始位置到目标点过程的奖励函数;通过Actor-Critic网络结构提高模型训练的稳定性和泛化能力。实验结果表明,提出的方法具有模型训练速度快、导航成功率高及泛化能力强等优点。     

基于深度强化学习的无人机自组网路由算法

针对无人机自组网节点密度大、拓扑变换频繁,导致移动自组网复杂的问题,提出了一种基于深度强化学习(deep-reinforcement learning, DRL)的分布式无人机自组网路由算法。利用DRL感知学习无人机特征,使节点不断与环境交互、探索学习最优行动(路由)策略;通过存储经验知识,维护端到端路由,赋予无人机网络智能化重构和快速修复的能力,从而提高路径的稳定性,降低路由建立和维护开销,增强网络的鲁棒性能。仿真结果表明,提出的算法具有较好的收敛性能;在路由修复时间、端到端时延,以及网络适应性、扩展性方面都优于传统的路由算法。     

多agent协同强化学习算法SE-MACOL及其应用

针对多agent团队中各成员之间是协作关系且自主决策的学习模型,在此对Q学习算法进行了适当扩充,提出了适合于多agent团队的一种共享经验元组的多agent协同强化学习算法。其中采用新的状态行为的知识表示方法,采用相似性变换和经验元组的共享,能够提高多agent团队协同工作的效率。最后将该算法应用于猎人捕物问题域,实验结果表明该算法能够明显加快多个猎人合作抓捕猎物的进程。     

基于深度强化学习的机械装备剩余使用寿命预测方法

随着机械装备发展的日益大型化和复杂化,其使用安全性和可靠性也越来越受到重视.剩余使用寿命(remaining useful life, RUL)预测技术,通过分析设备的运行数据,预测设备还能正常运行的时间,利用该技术可有效提升设备运行的安全性和可靠性,同时可为设备的后续维修决策提供关键依据.本文提出一种基于深度强化学习(deep reinforcement learning, DRL)的RUL预测方法,首先通过自编码器(autoencoder, AE)对机械装备的原始信号进行特征提取,利用提取到的特征构成强化学习的状态变量,通过设置合适的动作空间和奖励函数训练强化学习模型,使其能依据样本间的时序相关性对装备的RUL进行准确预测.与其他方法相比,强化学习方法的时序交互决策逻辑可以自然地保留样本间的时序依赖关系,降低了RUL预测的波动性.最后利用涡轮发动机数据集CMPASS对提出的方法进行实验验证,所提出的方法在RMSE和Score两项指标上均优于目前多种RUL预测方法,且所提出方法对于接近退化末期的装备预测效果有明显提升.     

基于卷积神经网络感知功能的极端场景生成方法

近年来,基于卷积神经网络深度学习的感知算法在自动驾驶车辆环境感知系统中发挥着越来越重要的作用。由于在神经网络训练过程中,训练数据无法覆盖所有极端场景,因此如何保证基于深度学习的感知算法在极端场景下的安全性和可靠性,仍是一个亟待解决的问题。传统的基于真实行驶里程的验证方法,在获取极端场景数据上危险性高,经济性差,因此很难检验驾驶功能在极端场景下的性能。基于虚拟场景的仿真验证方法,虽然可以通过设置场景参数来生成大量测试场景,但是通过简单的参数组合并不能有效的生成极端场景。本文展示了一种在虚拟环境中生成极端场景的方法,用于训练和测试基于深度卷积神经网络的车道线识别算法。首先将场景特征用参数进行表示,然后使用deep Q-learning强化学习的方法,来生成极端场景的参数组合。通过与随机组合以及成对组合场景参数的方法进行对比,可以看出该基于强化学习的场景生成方法可以更有效地生成极端场景,因此可提高自动驾驶感知功能的测试效率,同时可为卷积神经网络提供更多的极端场景训练数据。     

基于模糊强化学习的双轮机器人姿态平衡控制

针对单轨双轮机器人在静止情况下存在的固有静态不稳定问题, 提出一种基于模糊强化学习(简称为Fuzzy-Q)的控制方法。首先,运用拉格朗日法建立带控制力矩陀螺的系统动力学模型。然后, 在此基础上设计表格型强化学习算法, 实现机器人的稳定平衡控制。最后,针对算法存在的控制精度不高和控制器输出离散等问题, 采用模糊理论泛化动作空间, 改善控制精度, 并使控制输出连续。仿真实验表明, 相较于传统强化学习方法, 所提方法能够显著提高控制精度, 且可以有效抑制外界干扰力矩对系统的影响, 保证系统具有一定的抗干扰能力。     

知识牵引与数据驱动的兵棋AI设计及关键技术

在分析知识推理型与数据学习型兵棋人工智能(artifical intelligence, AI)优缺点的基础上, 提出了基于知识牵引与数据驱动的AI设计框架。针对框架中涉及的基于数据补全的战场态势感知,基于遗传模糊系统的关键点推理,基于层次任务网的任务规划、计划修复与重规划,基于深度强化学习的算子动作策略优化等关键技术进行深入探讨。结果表明,所提框架具有较强的适应性, 不仅能够满足分队、群队、人机混合等兵棋推演的应用需求, 而且适用于解决一般回合制或即时策略性的博弈对抗问题。