基于卷积神经网络感知功能的极端场景生成方法

近年来,基于卷积神经网络深度学习的感知算法在自动驾驶车辆环境感知系统中发挥着越来越重要的作用。由于在神经网络训练过程中,训练数据无法覆盖所有极端场景,因此如何保证基于深度学习的感知算法在极端场景下的安全性和可靠性,仍是一个亟待解决的问题。传统的基于真实行驶里程的验证方法,在获取极端场景数据上危险性高,经济性差,因此很难检验驾驶功能在极端场景下的性能。基于虚拟场景的仿真验证方法,虽然可以通过设置场景参数来生成大量测试场景,但是通过简单的参数组合并不能有效的生成极端场景。本文展示了一种在虚拟环境中生成极端场景的方法,用于训练和测试基于深度卷积神经网络的车道线识别算法。首先将场景特征用参数进行表示,然后使用deep Q-learning强化学习的方法,来生成极端场景的参数组合。通过与随机组合以及成对组合场景参数的方法进行对比,可以看出该基于强化学习的场景生成方法可以更有效地生成极端场景,因此可提高自动驾驶感知功能的测试效率,同时可为卷积神经网络提供更多的极端场景训练数据。     

基于深度强化学习的无人机自组网路由算法

针对无人机自组网节点密度大、拓扑变换频繁,导致移动自组网复杂的问题,提出了一种基于深度强化学习(deep-reinforcement learning, DRL)的分布式无人机自组网路由算法。利用DRL感知学习无人机特征,使节点不断与环境交互、探索学习最优行动(路由)策略;通过存储经验知识,维护端到端路由,赋予无人机网络智能化重构和快速修复的能力,从而提高路径的稳定性,降低路由建立和维护开销,增强网络的鲁棒性能。仿真结果表明,提出的算法具有较好的收敛性能;在路由修复时间、端到端时延,以及网络适应性、扩展性方面都优于传统的路由算法。     

一种无先验地图的移动机器人导航方法

为了提高移动机器人在复杂环境下的无先验地图导航算法模型训练速度及导航成功率,提出一种基于深度确定性策略梯度(deep deterministic policy gradient, DDPG)的移动机器人导航方法。利用2D激光雷达的均匀分布测距信息,降低环境噪声的干扰及高维度环境信息的计算量;采用人工势场法构建移动机器人从初始位置到目标点过程的奖励函数;通过Actor-Critic网络结构提高模型训练的稳定性和泛化能力。实验结果表明,提出的方法具有模型训练速度快、导航成功率高及泛化能力强等优点。     

多agent协同强化学习算法SE-MACOL及其应用

针对多agent团队中各成员之间是协作关系且自主决策的学习模型,在此对Q学习算法进行了适当扩充,提出了适合于多agent团队的一种共享经验元组的多agent协同强化学习算法。其中采用新的状态行为的知识表示方法,采用相似性变换和经验元组的共享,能够提高多agent团队协同工作的效率。最后将该算法应用于猎人捕物问题域,实验结果表明该算法能够明显加快多个猎人合作抓捕猎物的进程。     

中国药品集中采购政策解读与实证分析

2018年底伊始的国家药品集中采购迄今为止已实施三轮,共涉及112个品种,预计每年约可节省医保药品支出539亿元.对三轮集中采购规则进行解读和实证分析,发现:选区规则对竞价结果具有显著性影响;熔断机制理论上会受到成本因素约束,实践中仍发挥了一定效果.国家药品集中采购促进了中国医药市场基于质量和成本的竞争,推动行业集中度...     

基于深度强化学习的空中基站部署优化算法

针对无人机群(swarm of unmanned aerial vehicle, UAV-swarm)在救灾场景中对地面移动用户进行持续性通信覆盖的问题,设计了一种基于多智能体的深度强化学习的无人机群路径优化算法。该算法框架中无人机具有分布式决策能力,根据用户的移动来动态调整自身的移动策略。通过设置合适的强化学习奖励和参数,使无人机在满足覆盖百分比、防碰撞、能源限制等多种约束前提下,最大限度地长期覆盖地面移动用户。与其他无人机部署方案算法进行仿真对比,实验结果表明,该模型在收敛速度和收敛效果上得到了显著提升。     

基于强化学习的连续型机械臂自适应跟踪控制

针对空间主动碎片清除操作中连续型三臂节机器人系统跟踪问题,提出一种基于强化学习的自适应滑模控制算法。基于数据驱动的建模方法,采用BP神经网络对三臂节连续型机械臂进行建模,并作为预测模型指导强化学习实时调节所提出滑模控制器的控制参数,从而实现连续型机器人运动的实时跟踪控制。仿真结果表明：提出的数据驱动的预测模型对随机轨迹预测的相对误差保持在±1%以内,能够高精度地反映系统动态特性。对比固定参数的滑模控制器,提出的自适应控制器在保证系统达到控制目标的同时具有更低的超调量和更短的调节时间,表现出更好的控制效果。     

基于协作式深度强化学习的火灾应急疏散仿真研究

火灾是威胁公共安全的主要灾害之一,火灾产生的高温和有毒有害烟气严重影响了疏散路径的选择。将深度强化学习引入到应急疏散仿真研究,针对多智能体环境提出了协作式双深度Q网络算法。建立随时间动态变化的火灾场景模型,为人员疏散提供实时的危险区域分布信息;对各自独立的智能体神经网络进行整合,建立多智能体统一的深度神经网络,实现所有智能体之间的神经网络和经验共享,提高整体协作疏散效率。结果表明：所提方法具有良好的稳定性和适应性,训练和学习效率得到提升,具有良好的应用价值。     

集中润滑装置零部件二次开发技术

为解决集中润滑行业缺少三维标准件库的问题,本文利用成组技术对集中润滑装置进行模块划分,以VB为开发语言,利用参数化设计技术对三维设计软件Solid Works进行二次开发,完成集中润滑装置标准件库的开发。利用宏录制功能快速完成递进式分油器柱塞参数化设计编程,为其他机械产品提高设计效率提供借鉴。     

具有强化学习策略的决策树算法

传统决策树在对不平衡数据进行分类时,提高正类的权重和舍弃部分负类的信息,造成负类的预测精度较低.文章引入强化学习思想,提出一种基于马尔可夫决策过程的改进决策树方法.根据马尔可夫决策过程、当前分裂特征的标准化互信息和马修斯相关系数作为信息增益率的奖励或者惩罚,形成新的特征选择标准.实验结果表明,与其他传统方法相比,改进的...