有人/无人作战智能体分布式任务分配方法

有人/无人作战智能体任务联盟是面向分布式网络化作战体系提出的一种作战样式,任务分配问题是研究任务联盟指挥策略的关键点之一。以有人/无人作战智能体任务联盟为研究对象,提出与之适应的分布式体系结构。将任务执行质量引入任务分配问题建模中,以拍卖算法为基础,通过编组整体拍卖、方案预处理等改进机制,有效降低了个体方案的构建开销,并在约束的时间内实现任务联盟的动态任务分配。针对作战想定进行了仿真计算,结果表明算法能在有限拍卖次数下给出接近理想优化效果的分配方案。     

复杂任务下的多智能体协同进化算法

针对多智能体系统在处理复杂任务时存在的低效率、高冗积、多智能体系统内协同模型算法存在交互冲突、资源损耗过高等问题, 提出一种基于复杂任务的多智能体系统优化算法。在差分进化算法与局部优化算法的基础上对二者进行优化, 结合强化学习的训练框架, 构建训练网络, 通过对学习步长进行修订, 改变种群迭代优化准则, 使得种群在计算力充足的情况下可以实现全局收益最大化, 有效解决了指挥控制系统过程中的协同优化问题。     

多平台分布式协同作战下基于MPC-MAS的指挥控制模型设计

在瞬息万变的网络化体系作战环境中,如何准确、及时地提取有用信息并作出决策,有效应对实际作战中作战效益低、资源损耗大、作战时间长等问题一直是研究的热点之一。本文以多平台协同完成对来袭目标的拦截任务为背景,提出了一种多平台分布式协同作战下基于模型预测控制(model prediction control, MPC)和多智能体系统(multi-agent system, MAS)的指挥控制系统模型。通过引入分布式多平台协同的模型概念,使各平台之间实现完全信息共享,并且采用全局分布-局部集中的决策结构,设计了分布式指挥控制的协同模型框架,选定蒙特卡罗方法进行仿真实验对比。实验结果证明了该模型具有收敛性好、误差低、损失值低等优点,可以高效地解决分布式环境下协同作战的指挥控制模型构建问题。     

多智能体量子多目标进化算法及其在EELD问题中的应用

环境经济负荷分配问题是电力系统中重要的多目标优化问题。求解多目标优化问题的关键在于找到尽可能多的Pareto最优解。在基于量子进化理论,智能体的竞争、学习能力和生物的进化策略的基础上,提出了一种用于求解多目标优化问题的量子编码的多智能体进化算法。该方法将智能体分布在多智能体网络环境中,智能体之间通过量子进化来生成问题的可行解。将该算法应用于经济环境负荷分配的两目标(燃料成本和NOx排放)与三目标(燃料成本,NOx排放和SO2排放)优化问题,通过与经典多目标优化算法进行比较,表明了该算法的有效性。     

基于多智能体强化学习的动态频谱分配方法综述

认知无线电和动态频谱分配技术是解决频谱资源短缺问题的有效手段。随着近年来深度学习和强化学习等机器学习技术迅速发展, 以多智能体强化学习为代表的群体智能技术不断取得突破, 使得分布式智能动态频谱分配成为可能。本文详细梳理了强化学习和多智能体强化学习领域关键研究成果, 以及基于多智能体强化学习的动态频谱分配过程建模方法与算法研究。并将现有算法归结为独立Q-学习、合作Q-学习、联合Q-学习和多智能体行动器-评判器算法4种, 分析了这些方法的优点与不足, 总结并给出了基于多智能体强化学习的动态频谱分配方法的关键问题与解决思路。     

RoboCupRescue Agent仿真中的多智能体协作方法

对RoboCupRescue智能体仿真系统内的多智能体协作问题进行了研究和分析,提出一种由多种评价模型和协作方式组成的协作方法,并从同类和异类智能体两个方面给出了具体的实现.该实现主要采用了人工免疫控制、静态分配与动态调整结合以及基于共识的分布式控制等方式.在仿真测试中,各类智能体通过相互协作有效完成了灾难环境中的救援任务.     

基于均匀设计的多智能体遗传算法研究

将均匀设计方法、多智能体系统与遗传算法相结合,提出了一种多智能体遗传算法.设计了基于均匀设计表的均匀种群初始化方法和均匀交叉算子,并将其引入算法中.算法通过智能体与智能体环境间的相互作用,以及智能体自学习提高自身能量,实现了复杂问题的全局优化目标.实验表明,该算法对于高维函数优化问题,尤其是高维多峰函数,具有很好的全局搜索能力和较快的收敛速度,能够避免陷入局部最优.     

动态环境中的多智能体进化算法

针对动态环境,提出了一种基于多智能体的进化算法(MAEA).智能体模拟生物机制特征,相互合作来寻求最优解.智能体生存于网格环境中,为了增加自身能量,智能体可以与其邻域展开竞争,并依据统计信息来获得知识进行学习.为了保持种群多样性,同时引入随机移民和对偶映射策略.通过对一系列动态优化函数的仿真实验可以得出,相比之下,基于多智能体的进化算法可以在动态环境中获得更好的性能.     

多智能体协同决策仿真平台研究与开发

强化学习仿真平台为强化学习提供交互和训练的环境。为了使仿真平台兼容多智能体强化学习算法，满足军事领域仿真的需求，提炼多智能体强化学习算法中的相似流程，设计统一接口，将多种不同类型深度强化学习算法在仿真平台进行嵌入验证；优化仿真平台后端服务框架以加速算法模型的训练过程。实验结果表明：在仿真平台中统一接口规范，能够兼容多种不同类型的多智能体强化学习算法，显著提升了后端服务框架重构和参数量化后算法训练效率。     

分布式作战方案自动生成系统策略协同研究

分布式作战方案自动生成的核心部件是方案的建立和择优,而分布的多决策者间的协同是解决该问题的前提。战场的复杂性和多变性决定了各决策者间的协同策略也需灵活多变。基于多智能体系统中智能体之间的协同机制,利用面向对象的编程思想提出分布式作战方案自动生成系统协同策略的一般表示方法以及策略择优机制。此种方法可扩展应用于分布式指挥控制系统的决策协同问题研究。     

Distributed Algorithm for Robust Resource Allocation with Polyhedral Uncertain Allocation Parameters

This paper studies a distributed robust resource allocation problem with nonsmooth objective functions under polyhedral uncertain allocation parameters. In the considered distributed robust resource allocation problem, the (nonsmooth) objective function is a sum of local convex objective functions assigned to agents in a multi-agent network. Each agent has a private feasible set and decides a local variable, and all the local variables are coupled with a global affine inequality constraint, which is subject to polyhedral uncertain parameters. With the duality theory of convex optimization, the authors derive a robust counterpart of the robust resource allocation problem. Based on the robust counterpart, the authors propose a novel distributed continuous-time algorithm, in which each agent only knows its local objective function, local uncertainty parameter, local constraint set, and its neighbors’ information. Using the stability theory of differential inclusions, the authors show that the algorithm is able to find the optimal solution under some mild conditions. Finally, the authors give an example to illustrate the efficacy of the proposed algorithm.     

Algorithm Implementation for Distributed Convex Intersection Computation

Intersection computation of convex sets is a typical problem in distributed optimization. In this paper, the algorithm implementation is investigated for distributed convex intersection computation problems. In a multi-agent network, each agent is associated with a convex set. The objective is for all the agents to achieve an agreement within the intersection of the associated convex sets. A distributed"projected consensus algorithm" is employed, and the computation of the projection term is converted to a constrained optimization problem. The solution of the optimization problem is determined by Karush-Kuhn-Tucker(KKT) conditions. Some implementable algorithms based on the simplex method are introduced to solve the optimization problem. Two numerical examples are given to illustrate the effectiveness of the algorithms.     

基于改进层次聚类法的指挥控制资源部署

以网络化作战战场资源部署为研究背景,对战术指挥控制资源部署问题进行了描述。以决策实体工作负载的均方根最小为目标函数,建立了指挥控制资源部署问题的数学模型,提出了基于改进层次聚类法的指挥控制资源部署算法。该算法以作战任务-平台资源的分配结果为输入信息,对可部署决策实体数目范围设定、决策实体合并项选择和决策实体能力约束判定进行了改进,着重分析了每一层聚类的N-best备选策略和决策实体合并项选择方法。通过一个作战想定,分别从目标函数值、搜索空间大小两个方面对本算法和其他算法进行了比较。     

基于进化多目标优化的微服务组合部署与调度策略

面向微服务实例在不同资源中心的组合部署与调度问题,构建微服务组合部署与调度最优化问题模型。以资源服务中心计算及存储资源利用率、负载均衡率和微服务实际使用率等为优化目标,以服务的完备性、资源与存储资源总量和微服务序列总量为约束条件,提出基于进化多目标优化算法（NSGA-Ⅲ,MOEA/D）求解方法,寻求微服务序列在不同资源中心的实例组合部署与调度策略。通过真实数据集实验对比,在全部满足用户服务请求的约束下,该策略比传统微服务组合调度策略的计算、存储资源平均空闲率和微服务实际空闲率要分别低13.21%、5.2%和16.67%。     

Adaptive optimization of agile organization of command and control resource

Adaptive optimization is one of the means that agile organization of command and control resource (AOC2R) adapts for the dynamic battlefield environment. A math model of the adaptive optimization of AOC2R is put forward by analyzing the interrelating concept and research. The model takes the adaptive process as a multi-stage decision making problem. The 2-phases method is presented to calculate the model, which obtains the related parameters by running the colored Petri net (CPN) model of AOC2R and then searches for the result by ant colony optimization (ACO) algorithm integrated with genetic optimization techniques. The simulation results demonstrate that the proposed algorithm greatly improves the performance of AOC2R.     

针对无人潜航器的反潜策略研究

近年来无人潜航器对国家海洋国土安全带来的威胁逐渐增大,其低噪声特性和隐蔽入侵方式也给反潜行动带来极大困难。为此,提出了一种两阶段规划算法,用以学习优化反潜策略,在部署阶段,建立了基于不确定性马尔可夫决策过程的反潜资源分配模型,并设计了鲁棒性部署策略强化学习算法,用以求解不确定条件下分配模型的纳什均衡解。在搜索阶段,建立了基于部分可观察马尔可夫决策过程的搜潜模型,并设计了基于多智能体强化学习的搜潜策略学习算法。最后,通过仿真实验验证了本算法与比对算法相比具有更高的性能。     

基于分层结构的C4ISR服务部署分布式演化方法

针对指挥信息系统(command, control, communications, computers, intelligence, surveillance and reconnaissance, C4ISR)服务部署分散、作战平台计算/存储资源有限、演化实时性要求高的特点, 基于分层结构设计了系统状态分布式监控与演化总体架构, 并在该架构下提出了一种服务部署方案层级动态调整方法。通过定义信息流转长度与方案调整代价设计了服务部署调整方案的数学优化模型, 针对部署方案中同时包含服务部署位置和信息流转路径的特点, 将成对交换思想、最短路径规划与m-best策略相结合提出了一种贪心求解算法, 以实现调整方案的快速生成。实验证明, 该方法能够在保证系统信息流转效能的同时有效控制系统的演化范围, 适用于执行任务过程中服务部署方案的敏捷调整。     

面向SDN的生存性虚拟网络映射算法

针对软件定义网络环境下生存性虚拟网络映射问题,提出了基于网络资源关键度的虚拟网络可靠性映射算法。该算法首先通过提出底层网络资源和拓扑重要度度量方式,构建资源关键度排序集合,同时备份控制网络,考虑到控制器位置部署,设置链路时延权重进行最短物理路径的选取,映射时依据位置约束进行虚网映射,在此基础上针对不同物理网络故障类型采用备份切换和可行迁移方式进行恢复,确保虚拟网络服务连续不间断。仿真结果表明,与以往算法相比,该算法在请求接受率、故障恢复率、底层网络整体负载均衡度以及平均控制延迟4个指标上具有更好的网络性能。