数值积分的神经网络算法研究

提出一种求解数值积分的新方法,其基本思想是训练傅立叶基神经网络来逼近被积函数以实现定积分的数值计算.为保证算法的收敛性,提出并证明了神经网络算法的收敛性定理,为学习率的选取提供依据.本算法计算精度较高,对被积函数要求较低,适应性强,并可以计算振荡函数的积分.数值积分算例验证了本算法的有效性,因此在工程实际中有较大的应用价值.     

Hammerstein系统自适应神经网络控制算法的收敛性分析

对一类确定性Hammerstein系统，给出了基于神经网络的自适应控制算法。考虑到神经网络的非线性特点，特别是其自适应学习能力，控制系统采用两个神经网络分别作为估计器和控制器，通过在线训练网络的权重来获得模型参数和控制输入。神经网络的训练用Widrow-Hoff学习规则。对算法的全局收敛性进行分析表明系统具有总体收敛性，输入输出有界。     

一种基于互相关函数的神经网络在线解耦学习算法

在分散解耦的系统框架上提出了基于MIMO过程互相关函数的神经网络解耦器在线学习算法。该算法定义了一组MIMO过程的互相关函数作为神经网络解耦器的指标函数，采用混合遗传算法在线训练神经网络。结合强耦合的非线性系统的仿真结果表明该算法的有效性。     

基于强化学习的改进三维A*算法在线航迹规划

针对飞行器在线航迹规划对算法实时性与结果最优性要求高的问题，基于强化学习方法改进三维A^*算法。首先，引入收缩因子改进代价函数的启发信息加权方法提升算法时间性能；其次，建立算法实时性与结果最优性的性能变化度量模型，结合深度确定性策略梯度方法设计动作-状态与奖励函数，对收缩因子进行优化训练；最后，在多场景下对改进后的三维A^*算法进行仿真验证。仿真结果表明，改进算法能够在保证航迹结果最优性的同时有效提升算法时间性能。     

基于深度强化学习的Boost变换器控制策略

针对Boost变换器母线电压稳定控制存在模型不确定性和非线性的问题，提出了一种基于无模型深度强化学习的智能控制策略。结合强化学习DDQN(double DQN)算法与DDPG算法设计了Boost变换器控制器，包括了状态、动作空间、奖励函数以及神经网络的设计以提高控制器动态性能；基于ModelicaGym库开发工具包reinforment learning modelica(RLM)实现了Boost变换器模型与强化学习智能体的联合仿真。通过与双环PI控制器的对比仿真表明：强化学习控制器在三种工况下的母线电压稳定控制结果具有更好的动态性能。     

多智能体协同决策仿真平台研究与开发

强化学习仿真平台为强化学习提供交互和训练的环境。为了使仿真平台兼容多智能体强化学习算法，满足军事领域仿真的需求，提炼多智能体强化学习算法中的相似流程，设计统一接口，将多种不同类型深度强化学习算法在仿真平台进行嵌入验证；优化仿真平台后端服务框架以加速算法模型的训练过程。实验结果表明：在仿真平台中统一接口规范，能够兼容多种不同类型的多智能体强化学习算法，显著提升了后端服务框架重构和参数量化后算法训练效率。     

基于协作式深度强化学习的火灾应急疏散仿真研究

火灾是威胁公共安全的主要灾害之一,火灾产生的高温和有毒有害烟气严重影响了疏散路径的选择。将深度强化学习引入到应急疏散仿真研究,针对多智能体环境提出了协作式双深度Q网络算法。建立随时间动态变化的火灾场景模型,为人员疏散提供实时的危险区域分布信息;对各自独立的智能体神经网络进行整合,建立多智能体统一的深度神经网络,实现所有智能体之间的神经网络和经验共享,提高整体协作疏散效率。结果表明：所提方法具有良好的稳定性和适应性,训练和学习效率得到提升,具有良好的应用价值。     

弹性高超声速飞行器智能控制系统设计

针对气动舵受限下的弹性高超声速飞行器控制问题, 提出一种基于神经自适应的智能控制方案。在速度子系统的设计过程中, 为了降低对模型参数的依赖程度, 应用强化学习算法在线调整比例积分微分(proportional integral derivative, PID)控制参数, 给出智能PID控制策略。对于高度子系统, 考虑气动舵的动态特性, 利用神经自适应方法对模型未知函数及不确定项进行逼近。为了处理气动舵的约束问题, 以非线性模型预测控制为优化分配模板生成大量样本数据集, 经离线训练得到深度神经网络代替求解复杂优化问题和控制分配的过程。此外, 通过引入自适应超螺旋微分器处理外部扰动, 增强了系统的鲁棒性。利用Lyapunov方法证明了所设计控制器的稳定性, 并通过仿真验证了所设计控制方案能够快速计算控制指令, 实现高精度跟踪控制。     

基于熵方误差的高斯牛顿前馈神经网络

为了提高前馈神经网络学习算法的收敛速度,尝试定义熵方误差函数,并将其应用于高斯牛顿前馈神经网络。在理论上证明了熵方误差函数的有效性,以及基于熵方误差的高斯牛顿前馈神经网络的局部二阶收敛性。最后进行仿真实验,并与几种常用神经网络进行对比,结果表明引入熵方误差函数的前馈神经网络具有良好的收敛性与稳定性。     

体系作战下巡航导弹的动态隐身

通过体系作战下的系统作战仿真平台, 利用强化学习方法实时调整巡航导弹航迹, 实现面对敌方传感器的动态隐身。以巡航导弹突防美军“海军综合防空火控”系统为典型作战场景, 基于体系作战仿真平台设计了一种引入动态预警威胁和拦截脱靶量的奖励函数, 使用深度确定性策略梯度算法训练巡航导弹突防模型, 模型训练完成后巡航导弹通过感知预警机和拦截导弹的状态, 改变其机动轨迹以降低探测概率和提高拦截脱靶量, 达到动态隐身的效果, 进而提升其战场生存能力和突防能力。     

基于深度强化学习的网络路由优化方法

针对同一网络拓扑下不同网络负载的路由优化问题, 在深度强化学习方法的基础上, 提出了两种依据当前网络流量状态进行路由分配的优化方法。通过网络仿真系统与深度强化学习模型的迭代交互, 实现了对于流量关系分布的网络路由持续训练与优化。在利用深度确定性策略梯度(deep deterministec policy gradient, DDPG)算法解决路由优化问题上进行了提升和改进, 使得该优化方法更适合解决网络路由优化的问题。同时, 设计了一种全新的链路权重构造策略, 利用网络流量构造出用于神经网络输入状态元素, 通过对原始数据的预处理加强了神经网络的学习效率, 大大提升了训练模型的稳定性。并针对高纬度大规模网络的连续动作空间进行了动作空间离散化处理, 有效降低了其动作空间的复杂度, 加快了模型收敛速度。实验结果表明, 所提优化方法可以适应不断变化的流量和链路状态, 增强模型训练的稳定性并提升网络性能。     

面向LVC训练的蓝方虚拟实体近距空战决策建模

真实-虚拟-构造为近距空战对抗训练提供了有力支撑。针对课题对蓝方虚拟实体的实际决策建模需求, 在对比分析深度强化学习与经典智能优化方法的基础上, 从优化理论的角度对神经网络的权值空间和结构空间进行定义, 提出基于智能优化的进化神经网络决策模型及其求解方法。首先，分析近距空战战术特点, 战机飞行运动模型, 实际决策建模需求。其次，分别设计战机关键飞行状态、动作空间、适应度函数, 实现蓝方端到端感知与决策。最后, 给出基于经典遗传神经网络的决策模型及求解示例。结果表明, 所提方法可实现蓝方战机通过对抗数据来学习对手作战特点的功能, 验证了模型及方法的有效性; 同时所提方法对目前智能优化及其改进算法, 以及不同结构神经网络具有通用性。     

基于非线性模型预测控制的火星大气进入智能制导方法

针对火星大气进入精确制导问题, 提出了基于非线性模型预测控制(nonlinear model predictive control, NMPC)的智能进入制导方法。首先, 考虑了进入制导约束, 采用NMPC方法设计制导算法。通过引入衰减记忆滤波器, 提出了基于误差信息估计的预测模型修正方法, 增强系统对模型误差的鲁棒性, 并利用变预测时域策略提高系统性能。然后, 以NMPC制导系统为制导模板, 在实际条件下生成大量样本数据集, 进行深度神经网络(deep neural network, DNN)的离线训练。最后, 在进入制导过程中利用DNN代替求解复杂优化问题和积分预测的过程, 在线快速解算控制量, 并结合横向制导实现智能制导。仿真结果表明, 提出的制导方法能够快速计算指令, 实现了高精度制导。     

基于机器学习的地铁行人流在线优化控制研究

为了实现高峰期地铁站行人流管控的在线优化，设计了基于机器学习的地铁站行人流管控算法框架。以某地铁车站早高峰的行人流管控流程为研究对象，利用Agent技术搭建地铁站行人流管控仿真模型。多次运行仿真模型可以获得深度学习网络的训练数据。通过对网络进行充分训练，得到优化调度策略。将网络接入地铁站行人流实时运行数据，实现实时优化管控。仿真实验表明：引入的深度强化学习框架可以实现在线优化，调度结果优于传统方法。     

基于卡尔曼滤波的极限学习机在线盲均衡算法

针对正交振幅调制(quadrature amplitude modulation, QAM)信号, 在预测方法的盲均衡框架下, 基于卡尔曼滤波(Kalman filter, KF)提出了一种新的神经网络在线盲均衡算法。采用复数型极限学习机(complex extreme learning machine, C-ELM)作为非线性预测滤波器(prediction filter, PF), 用KF实时更新C-ELM的输出权值以使预测误差达到最小, 再通过自动增益装置调整信号的幅度变化, 最后引入相位调整因子纠正信号的相位旋转。仿真结果表明, 所提算法实现了良好的实时均衡效果, 具有较快的收敛速率和较小的稳态均方误差, 不仅适用于方形, 同时也适用于十字形QAM信号的盲均衡。     

基于模糊小波网络的防空导弹自动驾驶仪设计

针对防空导弹的飞行控制问题,提出一种基于模糊小波网络的导弹自动驾驶仪设计方法。该方法利用模糊小波网络良好的学习和参数自调整能力,因而使建立的系统辨识器及控制器能够很好地近似系统动态特性,逼近最佳控制效果。给出了应用该方法的具体实现步骤,结合导弹飞行的全弹道典型特征点参数,通过仿真实验说明了设计方法的有效性。     

基于强化学习的多机协同传感器管理

网络化战争中,机载雷达在实现对目标信息持续获取的同时保证载机安全生存是亟待解决的问题。对此,以多机协同作战安全转场任务为背景,提出基于深度强化学习算法的智能传感器管理方法。首先,综合考虑信号辐射量与目标威胁因素,计算目标运动过程中的实时威胁隶属度。其次,在强化学习框架下对雷达-目标分派问题建模,利用神经网络逼近动作-值函数,并根据时序差分算法进行参数更新。仿真结果表明,相比于传统调度方法,所提算法有效提升了任务成功率,缩短了任务完成用时。     

基于先验知识的多功能雷达智能干扰决策方法

针对基于强化学习的多功能雷达干扰决策方法训练周期长、收敛慢的问题，本文提出了基于先验知识的多功能雷达智能干扰决策算法。所提算法使用了基于势能函数的收益塑造理论，利用先验知识设置收益函数，相比于传统算法，具有更快的收敛速率。利用先验知识加速算法收敛速率的方法对强化学习在多功能雷达干扰决策中的实际应用具有重要的意义，对于强化学习在其他领域的应用也具有很好的参考价值。