基于协作式深度强化学习的火灾应急疏散仿真研究

火灾是威胁公共安全的主要灾害之一,火灾产生的高温和有毒有害烟气严重影响了疏散路径的选择。将深度强化学习引入到应急疏散仿真研究,针对多智能体环境提出了协作式双深度Q网络算法。建立随时间动态变化的火灾场景模型,为人员疏散提供实时的危险区域分布信息;对各自独立的智能体神经网络进行整合,建立多智能体统一的深度神经网络,实现所有智能体之间的神经网络和经验共享,提高整体协作疏散效率。结果表明：所提方法具有良好的稳定性和适应性,训练和学习效率得到提升,具有良好的应用价值。     

脉冲信道下基于深度学习的BP译码方法

在脉冲信道下,针对置信传播(belief propagation, BP)算法对短码长的低密度奇偶校验(low-density parity-check, LDPC)码译码性能差的问题,提出了一种基于深度学习的BP译码方法。首先，根据Tanner图构建两种深度神经网络模型,通过对Tanner图中边的权重重新赋值来提升译码性能。然后，简化信道对数似然比(log-likelihood ratio, LLR)的计算方法,通过模型训练优化近似计算参数,得到对参数γ鲁棒的译码模型。最后，构造鲁棒训练集,训练得到对参数α和γ鲁棒的译码模型。仿真结果表明,在高码率时,该方法相对于传统BP译码算法性能显著提升,且在近似计算信道LLR值时,译码性能在不同参数的脉冲信道下均具有鲁棒性。     

脉冲信道下基于深度学习的BP译码方法

在脉冲信道下,针对置信传播(belief propagation, BP)算法对短码长的低密度奇偶校验(low-density parity-check, LDPC)码译码性能差的问题,提出了一种基于深度学习的BP译码方法。首先,根据Tanner图构建两种深度神经网络模型,通过对Tanner图中边的权重重新赋值来提升译码性能。然后,简化信道对数似然比(log-likelihood ratio, LLR)的计算方法,通过模型训练优化近似计算参数,得到对参数γ鲁棒的译码模型。最后,构造鲁棒训练集,训练得到对参数α和γ鲁棒的译码模型。仿真结果表明,在高码率时,该方法相对于传统BP译码算法性能显著提升,且在近似计算信道LLR值时,译码性能在不同参数的脉冲信道下均具有鲁棒性。     

DTCNN的人脸识别算法的Map-Reduce并行化实现研究

传统人脸识别算法都采用基于特征提取的解决方案，所以有效的特征需要很强的先验知识和丰富的工程经验.本文引入深度平 铺卷积神经网络（deep tiled convolutional neural networks，DTCNN），利用深度平铺卷积神经网络的特征学习能力来实现 人脸识别，可是由于深度平铺卷积神经网络的运算复杂度高，并且在处理海量数据时会出现训练时间过长，内存占用大等问题.为此本 文提出一种Map-Reduce并行化的DTCNN算法.实验表明，深度平铺卷积神经网络能够获得比传统经典人脸识别更好的性能，而 Map-Reduce的引入又极大地减少了大数据集下的系统训练时间.     

多智能体协同决策仿真平台研究与开发

强化学习仿真平台为强化学习提供交互和训练的环境。为了使仿真平台兼容多智能体强化学习算法，满足军事领域仿真的需求，提炼多智能体强化学习算法中的相似流程，设计统一接口，将多种不同类型深度强化学习算法在仿真平台进行嵌入验证；优化仿真平台后端服务框架以加速算法模型的训练过程。实验结果表明：在仿真平台中统一接口规范，能够兼容多种不同类型的多智能体强化学习算法，显著提升了后端服务框架重构和参数量化后算法训练效率。     

基于神经网络的高并行大规模MIMO信号检测算法

随着5G和未来移动无线网络的不断发展, 大规模多输入多输出(multiple input multiple output, MIMO)是其中的关键技术之一。随着天线数目的不断增加, 给接收机的设计带来更高的挑战, 复杂度过高的检测算法在实际中难以应用。本文将一种高并行(high-parallelism, HP)检测算法展开到神经网络中, 单层神经网络基于该算法的每次迭代, 并将其与可训练的权重参数和非线性神经单元相结合, 提出基于网络结构HP-Net的方法。通过训练HP-Net得到最优可训练参数, 进而提高检测性能。实验结果表明, 所提方法相对传统最小均方误差(minimum mean square error, MMSE)算法复杂度更低, 并能够得到更低的误码率; 同时相对HP并行检测算法误码率性能更优。     

基于强化学习的改进三维A*算法在线航迹规划

针对飞行器在线航迹规划对算法实时性与结果最优性要求高的问题，基于强化学习方法改进三维A^*算法。首先，引入收缩因子改进代价函数的启发信息加权方法提升算法时间性能；其次，建立算法实时性与结果最优性的性能变化度量模型，结合深度确定性策略梯度方法设计动作-状态与奖励函数，对收缩因子进行优化训练；最后，在多场景下对改进后的三维A^*算法进行仿真验证。仿真结果表明，改进算法能够在保证航迹结果最优性的同时有效提升算法时间性能。     

基于ADASYN与改进残差网络的入侵流量检测识别

针对现有入侵流量检测模型分类准确率低、小样本特征提取不足等问题, 提出了一种基于自适应合成采样和Inception-Resnet模块的改进残差网络算法。该算法能够对不平衡数据集进行采样优化, 有效提升模型的小样本特征提取能力。首先, 通过对不平衡的数据训练集进行过采样改善数据分布, 然后对非数据部分进行独热编码处理并与数据部分整合, 降低预处理复杂度, 最后利用改进残差网络模型进行数据训练, 并进行性能评估和算法效能对比。实验结果表明, 改进残差网络模型对入侵流量的检测准确率在多分类和二分类情况下分别达到89.40%和91.88%。相比于经典深度学习算法, 改进残差网络模型的准确率更高, 误报率更低, 具备较高的可靠性和工程应用价值。     

动态环境中的多智能体进化算法

针对动态环境,提出了一种基于多智能体的进化算法(MAEA).智能体模拟生物机制特征,相互合作来寻求最优解.智能体生存于网格环境中,为了增加自身能量,智能体可以与其邻域展开竞争,并依据统计信息来获得知识进行学习.为了保持种群多样性,同时引入随机移民和对偶映射策略.通过对一系列动态优化函数的仿真实验可以得出,相比之下,基于多智能体的进化算法可以在动态环境中获得更好的性能.     

基于深度强化学习的网络路由优化方法

针对同一网络拓扑下不同网络负载的路由优化问题, 在深度强化学习方法的基础上, 提出了两种依据当前网络流量状态进行路由分配的优化方法。通过网络仿真系统与深度强化学习模型的迭代交互, 实现了对于流量关系分布的网络路由持续训练与优化。在利用深度确定性策略梯度(deep deterministec policy gradient, DDPG)算法解决路由优化问题上进行了提升和改进, 使得该优化方法更适合解决网络路由优化的问题。同时, 设计了一种全新的链路权重构造策略, 利用网络流量构造出用于神经网络输入状态元素, 通过对原始数据的预处理加强了神经网络的学习效率, 大大提升了训练模型的稳定性。并针对高纬度大规模网络的连续动作空间进行了动作空间离散化处理, 有效降低了其动作空间的复杂度, 加快了模型收敛速度。实验结果表明, 所提优化方法可以适应不断变化的流量和链路状态, 增强模型训练的稳定性并提升网络性能。     

基于自适应SGD-多智能体的防空资源部署优化

针对分布式环境下的战场指挥资源部署存在的效率低、速度慢、无法达到预期战略、数据集过大导致计算资源损耗过大等问题,提出了一种分布式环境下多智能体联盟的指挥控制资源部署优化算法。通过对深度学习中的梯度下降算法进行学习率的改进,将原本设定的学习率改为自适应的学习率,进而对指挥控制资源部署进行多智能体联盟的设计。仿真证明了该算法对此问题具有优越的适应性,可以高效地解决分布式环境下的多智能体联盟的指挥控制资源部署优化问题。     

基于Bagging-Down SGD算法的分布式深度网络

通过对大量数据进行训练并采用分布式深度学习算法可以学习到比较好的数据结构,而传统的分布式深度学习算法在处理大数据集时存在训练时间比较慢或者训练精度比较低的问题。提出Bootstrap向下聚合随机梯度下降(Bootstrap aggregating-down stochastic gradient descent,Bagging-Down SGD)算法重点来提高分布式深度网络的学习速率。Bagging-Down SGD算法通过在众多单机模型上加入速度控制器,对单机计算的参数值做统计处理,减少了参数更新的频率,并且可以使单机模型训练和参数更新在一定程度上分开,在保证训练精度的同时,提高了整个分布式模型的训练速度。该算法具有普适性,可以对多种类别的数据进行学习。     

基于深度强化学习的海战场目标搜寻路径规划

海战场是未来大国冲突的主阵地之一, 强大的海战场目标搜寻能力是执行海上训练和作战的最后一道屏障, 同时也因其复杂多变的环境和重要战略地位成为战场联合搜救中最艰难最核心的部分。面向海战场目标搜寻的存活时间短、实时性要求高等特点, 提出一种基于深度强化学习的海战场目标搜寻规划方法。首先, 构建了海战场目标搜寻场景数学规划模型, 并将其映射为一种强化学习模型; 然后, 基于Rainbow深度强化学习算法, 设计了海战场目标搜寻规划的状态向量、神经网络结构以及算法框架与流程。最后, 用一个案例, 验证了所提方法的可行性与有效性, 与常规应用的平行搜寻模式相比大大提高了搜寻成功率。     

复杂任务下的多智能体协同进化算法

针对多智能体系统在处理复杂任务时存在的低效率、高冗积、多智能体系统内协同模型算法存在交互冲突、资源损耗过高等问题, 提出一种基于复杂任务的多智能体系统优化算法。在差分进化算法与局部优化算法的基础上对二者进行优化, 结合强化学习的训练框架, 构建训练网络, 通过对学习步长进行修订, 改变种群迭代优化准则, 使得种群在计算力充足的情况下可以实现全局收益最大化, 有效解决了指挥控制系统过程中的协同优化问题。     

弹性高超声速飞行器智能控制系统设计

针对气动舵受限下的弹性高超声速飞行器控制问题, 提出一种基于神经自适应的智能控制方案。在速度子系统的设计过程中, 为了降低对模型参数的依赖程度, 应用强化学习算法在线调整比例积分微分(proportional integral derivative, PID)控制参数, 给出智能PID控制策略。对于高度子系统, 考虑气动舵的动态特性, 利用神经自适应方法对模型未知函数及不确定项进行逼近。为了处理气动舵的约束问题, 以非线性模型预测控制为优化分配模板生成大量样本数据集, 经离线训练得到深度神经网络代替求解复杂优化问题和控制分配的过程。此外, 通过引入自适应超螺旋微分器处理外部扰动, 增强了系统的鲁棒性。利用Lyapunov方法证明了所设计控制器的稳定性, 并通过仿真验证了所设计控制方案能够快速计算控制指令, 实现高精度跟踪控制。