基于多智能体强化学习的多机器人协作策略研究

研究了一种基于智能体动作预测的多智能体强化学习算法. 在多智能体系统中,学习智能体选择动作不可避免地要受到其他智能体执行动作的影响,因此强化学习系统需要考虑多智能体的联合状态和联合动作.基于此,提出使用概率神经网络来预测其他智能体动作的方法,从而构成多智能体联合动作,实现了多智能体强化学习算法. 此外,研究了该方法在足球机器人协作策略学习中的应用,使多机器人系统能够通过与环境的交互学习来掌握行为策略,从而实现多机器人的分工和协作.     

基于多智能体原理的人工鱼交互仿真建模方法

为解决计算机动画中人工生命体存在的数学模型复杂、计算量大、交互性差的问题,提出一个基于多智能体原理的虚拟生物交互自组织行为建模方法,并以人工鱼为例,将多智能体原理和微分对策方法结合,可以在不需大量计算的情况下实现人工鱼的多种竞争交互行为仿真.试验表明,采用交互建模方法的人工鱼同环境和其他生物的竞争交互仿真行为更加高效、自主和智能.     

基于知识的深度强化学习研究综述

作为解决序贯决策的机器学习方法,强化学习采取持续的“交互-试错”机制,实现智能体(Agent)与环境的不断交互,从而学得完成任务的最优策略,契合了人类提升智能的行为决策方式。知识作为一种包含了经验、价值观、认知规律以及专家见解等要素的结构化信息,应用于强化学习可以有效提高Agent的学习效率,降低学习难度。鉴于此,本文以强化学习的基本理论为起点,对深度强化学习以及基于知识的深度强化学习研究成果进行了系统性的总结与梳理。     

一种非真实感绘制的多智能体仿真方法

提出了一种非真实感绘制的多智能体方法。绘制过程分为三阶段:轮廓绘制、素描绘制和多层涂色,每阶段分别由一类智能体进行模拟绘制。绘制智能体定义为具有一定生命周期、类型标识、特征标志等属性以及一定行为特征的智能体,它们不断与绘制环境交互,由局部环境激励触发它们不同的绘制行为。通过自适应地调整行为,绘制智能体能够搜索到各自的特征像素并进行特征绘制,从而完成各自的绘制任务。实验表明,此方法能够较好地模拟画家创作过程。     

VGE多用户协作建模与虚拟演示

提出将多智能体技术集成到虚拟地理环境（VGE）中,以有效地虚拟表达面向“人”GIS。主要研究VGE中基于遗传算法（GA）和多智能体系统（MAS）的多用户之间的协作。分析和研究了基于GA的多用户集体操作行为学习的算法,建立多智能体与对象之间动态交互的动力学作用模型和运动策略;最后以进化的3个智能体如何协作完成群体推立方体箱任务为例,基于V-Realm Builder 2.0设计了VGE中3用户集体推箱的虚拟世界原型,并用Simulink 6.0进行建模与虚拟演示。     

复杂任务下的多智能体协同进化算法

针对多智能体系统在处理复杂任务时存在的低效率、高冗积、多智能体系统内协同模型算法存在交互冲突、资源损耗过高等问题,提出一种基于复杂任务的多智能体系统优化算法.在差分进化算法与局部优化算法的基础上对二者进行优化,结合强化学习的训练框架,构建训练网络,通过对学习步长进行修订,改变种群迭代优化准则,使得种群在计算力充足的情况...     

多智能体涌现生成的群体行为仿真

众多实验表明,以建模仿真的方法研究复杂的群体行为是一条可行有效的途径.针对如何使所构建的群体行为模型在仿真过程中,既能表现自主、智能的个体行为,又能表现灵活、适应的整体行为,提出了一种基于智能体的综合建模方法,重点从信息获取、决策判断、运动控制三个方面对智能体模型的设计与实现进行了论述,并以实验结果证明了多智能体在交互.协调作用下涌现生成可视化群体行为仿真的科学性及合理性.     

基于进程的Agent体系仿真模型框架

在体系对抗仿真中,如何表示作战实体的决策行为是一个难点。进程交互仿真方法由于其面向实体描述,可以给出针对特定实体的完整行为序列,不需要建立大量关联关系复杂的事件例程和活动例程,易于描述实体完整的生命周期,因此采用进程交互仿真可以大大减少Agent复杂行为表示的难度,可以为Agent行为提供一种更加自然的表示方法,大大增加Agent行为建模的效率。本文分析了基于进程的Agent仿真调度策略,提出了基于进程的体系仿真模型框架和体系仿真模型调度过程,并针对作战实体的决策行为讨论了作战实体的决策行为原语和行为组合进程。     

基于多控制智能体的改进shepherding行为

针对目前shepherding行为生成方法中,shepherd的运动方式缺乏速度和时间约束的缺陷,提出了一种改进的shepherding行为生成方法。通过在shepherd的路径规划中,把基于概率路径图（probabilistic roadmap, PRM）的多智能体解耦式规划方法和基于速度调节的时变规划算法相结合,使得shepherd的运动满足时间和速度的约束,同时利用优先级策略实现shepherd之间的信息交互能力,因此产生的shepherding行为更加真实。仿真结果表明,改进的shepherding行为更符合骚乱事件中真实人的运动特性。     

基于影响图的多智能体学习算法

提出一种多智能体学习算法.用影响图作为 agent 表示工具,给定 agent 的一个初始模型和它的历史行为,在能力、信念和优先学习的基础上来构建新的模型.学习方法是把其它 agent 的历史行为作为训练集,利用神经网络以及决策知识和专家知识来修改影响图中各结点的连接关系.针对与 agent 历史行为不一致的情况,本文把它看成效用函数发生了随机偏差,通过 Markov chain-Monte Carlo 技术进行模拟,实现效用函数的调整.最后利用多机编队协同空战作为例子说明算法的实用性.     

一种基于离散事件系统规范的复杂产品行为模型描述方法

基于离散事件系统规范(discrete event system specification,DEVS)的多分辨率形式化描述具有层次化、结构化的描述能力,但对模块内部智能行为描述相对匮乏,而基于Agent的建模可以刻画个体的感知行为、通信协作和学习进化.在多分辨率建模框架下,结合DEVS和Agent模型描述以提供对事件...     

连续/离散混合型制造系统的生产过程虚拟仿真建模

离散事件仿真建模被广泛应用于制造系统的设计及运行控制,但是很多制造系统兼有离散系统和连续系统的特点。提出一种将离散事件与连续系统结合起来的仿真建模方法,以支持动态展现这类制造系统的生产过程。该方法的主要思想是,主机内部的机构运动主要采用连续系统进行仿真建模,而主机之间的加工顺序则利用离散系统来构建其仿真模型,然后由统一的仿真管理器管理。论文详细描述了虚拟仿真引擎中的仿真时钟推动机制,并用这一方法建立了面向啤酒灌装生产线生产过程的虚拟仿真模型,说明了这一方法的可行性。     

基于ARENA的场站飞行保障过程建模与仿真

运用离散事件仿真(DES)方法建立了航空兵场站飞行保障过程的数学模型,包括单个保障类型Ack模型、和整个飞行保障过程的层次结构模型PRi,以及飞行保障过程仿真策略模型PS。并在所建的数学模型的框架下利用离散事件仿真软件ARENA对航空兵场站网络化飞行保障过程进行了仿真。仿真结果表明:网络化条件下的主动保障方式的保障时间可以比传统的被动保障方式的保障时间缩短4.3分钟,提高保障效率10.5%。     

组件化仿真模型交互模式的并行化改造

微处理器的多核化及众核化发展趋势为推广并行仿真提供了机遇。依照仿真模型可移植性标准开发的组件化仿真模型之间通过接口、事件和数据流三种模式进行交互,但其立即响应的特点无法满足并行仿真的需求。研究了三种交互模式的并行化改造方法,在组件交互的对外表现层作适当调整,但基本保持原有风格;在组件交互的实现层,三种交互模式都被转化为并行离散事件仿真的经典事件交互范式,通过时间同步协议保证仿真逻辑的正确性及并行仿真的运行效率。组件化并行仿真模型的三种交互模式各有适用场合,丰富了并行仿真的模型交互方法。     

基于Petri网的直升机反潜仿真

Petri网对具有并行、异步和随机时间的离散事件仿真系统具有很强的可视化描述能力,它可以通过标记在网内的流动揭示系统的动态行为。而直升机反潜过程是一个复杂的离散事件过程,包括了搜索、跟踪、定位和攻击四个阶段,各阶段之间的转换是由各种战术规则和随机战场态势所决定的,具有并行、异步和冲突竞争等特点,采用传统的排队论和决策树方法描述直升机反潜过程非常困难。在建立了描述这些过程的Petri网的基础上,提出了处理并行和竞争变迁的实施原则,实现了直升机反潜过程描述的可视化。     

DEVS/HLA分布仿真系统的时间推进方法研究

离散事件系统规范(DEVS)和高层体系结构(HLA)关注于不同的系统层次,将它们结合起来可以有效实现模型重用并利于仿真系统的校核和测试.DEVS/HLA分布仿真环境是将两者集成在一起的实现形式,该环境的核心在于如何利用时间管理服务在HLA分布模式下实现DEVS协议.在对DEVS/HLA环境的体系结构进行详细分析的基础上,详细研究了协调者控制和基于映射机制的两种时间推进方法,着重针对映射式方法提出了一种改进的时间推进算法,该算法能够为成员提供尽可能大的前瞻量,从而改进了DEVS/HLA系统的时间推进效率,算法的实际性能通过实验进行了验证.     

基于DEVS的防空作战模型可重用性研究

仿真模型重用是当前仿真领域的热点问题,其在工程领域的实现能够极大提高开发效益。鉴于各类现代防空作战行动中的相似性,采用DEVS方法为其建立分层耦合的离散事件模型(DEM),在事件驱动层面对各类应用情景中的模型状态转移做了统一的、规范的描述,并针对不同的应用情景引入行为模型(BM)建模,在行为表示层面上描述模型状态转移的具体算法,最后设计了BM和DEM结合的动态链接方式,给出仿真程序组成示例,实现了从事件驱动层到行为表示层的模型重用。     

体系对抗仿真模型形式规范研究

体系对抗仿真已经成为武器系统作战效能评估和武器装备论证的有效手段。然而,目前缺乏对于体系对抗仿真模型抽象方法的研究。在总结体系对抗仿真实体层次建模和体系层次建模基本要素的基础上,对DEVS进行扩展,给出了面向体系对抗仿真的模型形式规范描述,包括实体模型形式描述、事件类型形式描述、体系模型形式描述以及实验模型形式描述。体系对抗仿真模型形式规范是对DEVS向体系层次描述的有益扩充,可以有效地指导体系对抗仿真的建模工作。     

A message-driving formalism for modeling and simulation of multi-agent supply chain systems

To acquire a competitive advantage in the expanding market, manufacturing enterprises should be able to manage their supply chains as effectively as possible. It is now becoming popular to model supply chains as multi-agent systems and use discrete event simulation to learn more about their behaviors or investigate the implications of alternative configurations. In order to enhance the computational efficiency and keep the simulation credibility, this paper proposes a message-driving formalism for the simulation of multi-agent supply chain systems. Through the message-driving formalism, the problem of shared variables is addressed and the parallel operation of agents is implemented. Simulation experiments with a prototype implementation show that the message-driving formalism is able to provide credible results in significantly less simulation time.     

StarSim:支持快速构建的离散事件系统通用模拟框架

离散事件系统是研究和实践中常见的一类目标系统,使用软件对其进行模拟是有益甚至必须的。提出支持快速构建的离散事件系统通用模拟框架StarSim,为离散事件系统快速构建软件模拟器。StarSim设计简单通用的系统抽象模型以支持快速构建目标系统模拟器,提供基于事件的实体间交互方式以表达目标系统中的交互行为,引入简化的对象请求代理技术以透明的支持分布性,使用基于令牌分发的多线程技术以并行处理目标系统中同时发生的事件,预留可定制的监测和控制接口以灵活的监控目标系统,使用Java语言编写以确保移植性。为一个混合类型离散事件系统快速构建模拟器,验证了StarSim的诸特性和快速构建能力。