基于DDPG算法的风力发电机变桨距控制研究

风电机组模型的不确定性以及风速等外部干扰严重影响风电机组输出功率的稳定性,基于准确风机参数的传统控制策略难以满足系统控制需求。因此,本文提出一种基于DDPG算法的风机变桨距控制器。借助强化学习仅需与环境交互无需建模的优势,以风机模型为训练环境,功率为奖励目标,变桨角度为输出,采用深度神经网络搭建Actor-Critic单元,训练最优变桨策略。采用阶跃、低湍流、高湍流三种典型风况对算法进行检测。仿真结果表明,不同风况下基于DDPG算法控制器的控制精度、超调量、调节时间等性能均优于传统比例-积分-微分控制器效果。     

基于改进DDPG算法的机器人路径规划算法研究

为解决深度强化学习训练时间长、收敛慢的问题,该文针对未知环境下的机器人路径规划,基于深度确定性策略梯度(DDPG)算法,结合人工势场法设计了回报函数.为了符合机器人运动学模型,设计连续的状态和动作空间.采用Python语言,在不同地图下分别使用人工势场法、原始DDP G和该文改进的DDP G算法进行仿真对比实验.改进的...     

某导弹突防的三维视景仿真与研究

以导弹的位置、姿态等数据为基础，研究导弹能否有效地利用敌方防御雷达的死区，躲避敌防御系统的袭击，并通过Vega-Creator-VC 仿真开发环境，实现导弹从发射、飞行至攻击目标的视景仿真，同时提出了三维对象建模中的关键技术、模型驱动中视点的变化和部件运动、场景处理中特殊效果的实现。本三维仿真系统符合仿真系统三维化的发展趋势，符合虚拟现实的要求，为导弹突防提供了逼真的三维场景。     

MEC架构下基于DDPG的车联网任务卸载和资源分配

为了缓解车联网中个体车辆计算资源配置过低而导致的任务处理时延较大的问题,提出了一种移动边缘计算(mobile edge computing, MEC)架构下的动态任务卸载策略和资源分配方案。以最小化全网任务处理时延为目标,将车联网中的任务卸载和资源分配问题建模为马尔可夫决策过程(Markov decision process, MDP),并利用深度确定性策略梯度(deep deterministic policy gradient, DDPG)算法进行了问题求解。仿真结果表明,与执行者-评价者(actor-critic, AC)和深度Q网络(deep Q-network, DQN)这2种算法相比,DDPG算法以最快的算法收敛特性获得最小的全网任务处理时延。     

好奇心驱动的深度强化学习机器人路径规划算法

针对采用深度强化学习算法实现机器人路径规划任务中,训练前期随机性高导致奖励难获取问题,提出内在好奇心驱动的深度确定性策略梯度算法对连续型动作输出的端到端机器人路径规划进行研究。将环境获取的感知信息作为输入状态,输出机器人动作(线速度、角速度)的连续型控制量,在Gazebo仿真平台进行训练并验证。实验结果表明,基于内在好奇心驱动的深度确定性策略梯度路径规划算法可以较好地实现端到端的机器人路径规划,并且有利于解决训练前期奖励难获取问题,与离散型动作输出的深度Q学习网络模型进行了对比分析,结果表明本文算法决策控制效果更优越。在真实环境中进行了验证,在静态障碍和动态障碍的场景下,所提出算法可成功到达目标点。     

采用航路点进化的空袭目标突防航路预测

空袭目标突防航路预测是进行防空兵力部署方案评估的辅助手段之一。在分析突防航路预测问题的基础上建立了空袭目标突防航路预测模型,并针对传统进化算法将航路作为一个整体后导致先前候选航路中高质量航路点利用效果较差的问题,提出了基于航路点进化的空袭目标突防航路预测算法。首先通过改进传统进化算法框架与评价函数使航路点可被分别进化和评价,然后使用自适应差分进化算法(JADE)实现航路点的进化,最后采用多准则决策方法实现航路点的评价与选择,从而提升了高质量航路点的利用效果。为了测试算法的性能,设置了障碍数目分别为15、30、60、120的4个仿真情景,仿真结果表明算法能够有效实现空袭目标突防航路的预测,并且在障碍数目较多的情景中其性能优于遗传算法。     

采用双经验回放池的噪声流双延迟深度确定性策略梯度算法

为了进一步提高双延迟深度确定性策略梯度算法(TD3)的网络探索性能和收敛速度,提出一种采用基于多步优先和重抽样优选机制的双经验回放池的噪声流TD3算法。该算法在策略网络中的每一层添加噪声流以增加参数的随机性,并引入多步优先经验回放池,将多个连续样本组成一个基础单元进行存储,训练时通过多步截断双Q处理实现对值函数的有效逼近,同时增加一个经验回放池采用重抽样优选机制来存储学习价值更大的样本,双经验回放池的设置可弥补样本多样性不足的问题。在OpenAI Gym平台的Walker2d-v2场景中进行仿真实验,结果表明,与对比算法相比,本文算法获得的回报值有明显改善,网络收敛速度也大大加快。     

基于深度强化学习的智能车辆行为决策研究

自动驾驶车辆决策系统直接影响车辆综合行驶性能,是实现自动驾驶技术需要解决的关键难题之一。基于深度强化学习算法DDPG（deep deterministic policy gradient）,针对此问题提出了一种端到端驾驶行为决策模型。首先,结合驾驶员模型选取自车、道路、干扰车辆等共64维度状态空间信息作为输入数据集对决策模型进行训练,决策模型输出合理的驾驶行为以及控制量,为解决训练测试中的奖励和控制量突变问题,本文改进了DDPG决策模型对决策控制效果进行优化,并在TORCS（the open racing car simulator）平台进行仿真实验验证。结果表明本文提出的决策模型可以根据车辆和环境实时状态信息输出合理的驾驶行为以及控制量,与DDPG模型相比,改进的模型具有更好的控制精度,且车辆横向速度显著减小,车辆舒适性以及车辆稳定性明显改善。     

基于WGAIL-DDPG(λ)的车辆自动驾驶决策模型

优良的可靠性、学习效率和模型泛化能力是车辆自动驾驶系统研究的基本要求.基于深度强化学习理论框架提出了一种用于车辆自动驾驶决策的WGAIL-DDPG(λ)(Wasserstein generative adversarial nets-deep deterministic policy gradient(λ))模型.其中...     

基于改进的DDPG算法的蛇形机器人路径规划方法

针对蛇形机器人执行路径规划任务时,面对复杂环境传统强化学习算法出现的训练速度慢、容易陷入死区导致收敛速度慢等问题,提出了一种改进的深度确定性策略梯度(deep deterministic policy gradient, DDPG)算法。首先,在策略-价值(actor-critic)网络中引入多层长短期记忆(long short-term memory, LSTM)神经网络模型,使其控制经验池中信息的记忆和遗忘程度;其次,通过最优化特征参数将CPG(central pattern generators)网络融入强化学习模型,并设计新型网络状态空间和奖励函数;最后,将改进算法与传统算法分别部署在Webots环境中进行仿真实验。结果表明,相比于传统算法,改进算法整体训练时间平均降低了15%,到达目标点迭代次数平均降低了22%,减少了行驶过程中陷入死区的次数,收敛速度也有明显的提升。因此所提算法可以有效地引导蛇形机器人躲避障碍物,为其在复杂环境下执行路径规划任务提供了新的思路。     

基于GA-ESM的AHP及其在导弹突防能力评估中的应用

突防能力是地地导弹的一项重要性能指标,在地地导弹武器系统论证中,对突防能力进行评估具有重要意义。针对传统的AHP标度方法中存在的一些局限性,采用基于GA-ESM的AHP法,对地地导弹的突防能力进行了评估。研究表明GA-ESM具有通用性,在系统评估中具有推广应用价值。     

基于微分进化算法的防空导弹火力分配

防空导弹火力分配是防空作战中的关键环节,优化分配方案、提高分配效率都将对提升防空作战效能产生重要影响.在分析防空导弹火力分配过程的基础上,建立了基于最大杀伤效能的防空导弹火力分配模型,并引入惩罚函数,改良了原有模型;在分析微分进化算法优缺点的基础上,结合防空导弹火力分配问题的特殊性,对标准微分进化算法进行了改进,使其适用于离散问题的求解,并将其应用于防空导弹火力分配问题;结合实例对基于微分进化算法的防空导弹火力分配模型进行仿真分析.仿真结果表明,采用微分进化算法解决防空导弹火力分配问题收敛速度快、鲁棒性强、执行效率高.     

基于最大效能的目标机动策略研究

在地面防空作战中，地空导弹和空中目标的对抗是一个动态的对抗过程。目标通过对自身和导弹的状态估计，估计出相对导弹作不同机动时所获得的效能，并以最大效能为最优机动形式。通过对目标机动方式的分析，提出了一种基于最大效能的机动策略，并进行了仿真试验，结果表明效果良好。     

一种针对采用冲压发动机的远程空空导弹末段制导算法研究

本文针对采用冲压发动机的远程BTT空空导弹末段制导算法进行研究,在导弹非线性俯仰-偏航-滚转三通道模型基础上,通过数值解算两点边界值方法研究非线性模型的弹体加速度控制指令和滚转角速率控制指令的最优算法。本文采用多时间尺度技术解决了BTT导弹弹体在滚转变化过快时的近优控制指令。系统仿真结果表明在小噪声干扰情况下,导弹可直接命中目标,制导算法具有一定的应用价值。     

侵彻体撞击钢筋的接触算法研究

钻地弹的侵彻规律研究成为武器开发和目标防护的重点.考虑钢筋对弹体运动的影响,本文基于弹体与钢筋作用的等效单自由度模型,建立了侵彻体和钢筋碰撞的接触算法,弹体和钢筋分别简化为钢球和固支梁,将梁构件的抗力当做弹体的阻力.将算法进行编程实现,并通过商业软件AUTODYN计算初步验证了弹-筋接触程序的合理性.     

基于旋转矩阵的加密解密算法

利用舍入误差分析的方法及计算机浮点运算的特性, 构造一种基于旋转矩阵的加密解密算法, 并提出了保证算法有效的充分条件. 应用实例验证了算法的可行性.     

基于改进SEIR算法的疫情传播趋势检测方法

通过对传统SEIR(susceptible-exposed-infectious-removed)算法进行优化重建, 提出一种改进的SEIR算法. 该算法通过为感染率β添加衰减函数, 对数据拟合得到随时间增长而改变的β. 仿真实验结果表明, 该算法在测试集上的平均MSE（mean square error）只有0.11, 相比于目前已有的其他算法, 误差值显著降低.     

基于混合粒子群算法的沥青转运车螺旋搅料器模型及仿真

 为解决沥青转运车螺旋搅料器搅拌特性建模困难的问题,运用人工智能理论建立了以螺距、叶片半径为输入,沥青混合料的离析率为输出的神经网络模型。为克服BP算法与粒子群算法（PSO）的缺陷,将L-M算法与PSO算法相融合的混合粒子群算法PSOLM应用于该神经网络模型的学习算法中。为避免PSOLM算法在全局最优值附近的搜索过程变慢,采用一种从PSO搜索到L-M搜索的启发式算法。仿真试验结果表明,与BP算法、PSOBP算法相比,该算法不仅对螺旋搅料器模型的精度和建模的效率有显著的提高,而且改善了PSO算法的全局寻优能力,提高了算法的收敛速度和计算精度,避免了PSO算法早熟现象的出现,为螺旋搅料器搅拌特性的建模提供一条新的有效解决途径。     

基于改进蚁群算法的CVRP问题研究

车辆路径优化问题归属于NP-hard问题;针对基本蚁群算法求解效率低下,可行解质量不高,容易陷入局部最优解的情况,在充分考虑具有一般性的车辆路径优化问题的数学模型与解决方案后,提出了一种带有轮盘赌运算与2-opt优化运算相结合的改进蚁群算法,算法在运算过程中对选取路径的概率进行二次计算,扩大了全局的搜索范围;同时对得到的路径进行内部优化,增强了局部搜索能力,提高了解的质量;通过MATLAB软件进行仿真实验的结果表明:相较于基本的ACO算法以及遗传算法得到的结果,改进的蚁群算法在性能上和求解的质量具有很大的优势,可以更好地解决带有容量约束的车辆路径优化问题,为相应的企业更好地节省物流成本。