基于HLA的智能Agent仿真环境研究

智能Agent建模方法是一种描述复杂现象、研究复杂系统、实现复杂自适应性计算的有效手段。高层体系结构(HLA)为复杂大系统建模与仿真提供了公共的技术支撑框架，但HLA／RTI提供的数据交换方式不能充分满足Agent之间的通信需求。研究了基于HLA的智能Agent仿真环境，通过HLA／RTI与知识共享和操作语言(KQML)的集成，实现智能Agent之间的通信和合作，并通过实验验证了该环境的可行性。     

一种基于Agent的单路口交通信号学习控制方法

Agent技术是从分布式人工智能领域中兴起的研究热点，论文将Agent与经验知识和加强学习方法中Q－学习算法相结合，应用到城市交通信号控制领域中，解决单个路口的动态实时问题，通过在仿真环境下的对比，证明该方法具有较好的控制效果。     

基于多Agent的智能决策生成系统研究

分析了战略决策模拟系统中引入智能决策生成系统的必要性，介绍了多Agent理论，提出了基于多Agent的智能决策生成系统的框架结构，给出了系统工作流程、Agent结构和实现技术，最后总结了采用多Agent技术实现智能决策生成系统的主要优点。     

实时多Agent结构与群体智能决策系统实现

文章首先指出了多Agent系统的理论在军事群体实时智能决策中应用的可行性，然后提出了单个实时Agent的组成结构和控制模型，讨论了在实时系统下，多个Agent间通信的不同方式和特点，通过在KQML通信原语的语义层增加时间约束，对KQML进行了扩展，解决了传统KQML通信协议无法满足实时多Agent系统的时间约束问题，实现一个基于多Agent系统的群体实时智能决策系统，为群体智能决策系统的开发提供了理论指导和实现方法。     

一个基于人工势场的战场态势分析模型

在基于Agent建模仿真方法的战争复杂性研究过程中,为了解决高层指挥控制Agent对军事态势自主分析判断能力的问题,引入了高等物理学中电势场的基本原理来对战场态势分析进行建模——并取名为人工势场。文中介绍了人工势场模型构建的基本原理,结合工程实践详细讨论了该模型在理论和工程实现上的一些基本问题,最后给出了基于该模型的几个简单的分析测试实例。仿真实验证明该模型用于高层指挥控制Agent的实时军事态势分析是可行的。     

基于多Agent系统的导弹突击行为建模方法研究

在战争复杂适应系统CGF仿真行为建模中,引入Agent理论和技术,提出了一种基于MAS的战术导弹群突击行动的行为建模方案,该方案支持各Agent成员的自主行为、协作行为,可用于解决CGF实体在虚拟战场中的态势评估、决策制定、学习等行为,为CGF实体在分布交互式仿真中智能行为的逼真仿真提供了基础。     

带指挥控制的陆战模型的仿真及分析

给出了一个以复杂适应系统理论为理论基础，采用Agent建模方法，并在Swarm仿真平台上实现的带指挥控制的陆战模型的仿真及分析，仿真及分析结果表明该模型可以反映指挥控制作用下的地面战斗演化进程，初步具备了模拟兰彻斯特方程的能力。这种方法为研究战争领域问题提供了全新的思路。     

平台级ABM方法及在多传感器仿真演示中的应用

为了开展未来战争系统作战运用的先期概念技术演示,利用Agent作为智能实体的特性,把战争系统各成员直接映射成相应的Agent,由此提出了平台级基于Agent的建模(ABM)方法.在给出各Agent的定义和工作原理的基础上,采用任务树分解法和产生式规则表达知识的形式,设计了作为仿真演示系统基本单元的Agent.以信息化战场多个情报侦察平台(即多传感器)为例,开发了仿真演示系统.仿真演示结果表明,该系统模型能实现信息化战场上战术分队情报侦察这一客观、动态、复杂、智能过程的分布式仿真.     

操作员-UCAV交互实时Agent 个体控制及结构

提出一个用于Agent进行任务执行决策的微控算法,以解决Agent在动态环境中所做出的任务执行决策能否满足任务截止期的问题.提出了一个两层结构的实时Agent,其中本地控制层负责Agent的个体行为控制,协作计划层则令Agent能与其它Agent通信及协作.基于以上技术,实现了操作员-UCAV实时交互Agent个体控制及结构,能够适应动态的环境、自动进行任务调度和协调,并能保证任务在复杂环境下的响应时间.     

贝叶斯网和MAS在生态工业园中的应用初探

Agent在MAS中的行为在很多方面类似于生物在自然环境中的生态行为,因此,从生态系统角度,基于生态特征研究MAS的工业进化模型是很有意义的,对解决生态工业系统的优化控制有着引人注目的现实意义和发展前景.应用贝叶斯技术和贝叶斯网络为智能Agents和多Agent系统所提供的数学框架和处理工具,可有效地解决Agent研究领域所遇到的知识表示、学习和行为决策问题.生态工业系统中的每个企业可以建模为智能Agent.提出一种基于贝叶斯网的方法来对各企业Agent之间的协作关系进行建模.该方法能有效表达各企业Agent的行为策略之间的因果关系,进而可以对生态工业系统中各企业在不同情况下采取的行为策略进行预测和决策,使得整个生态工业系统的经济效益、社会效益和环境效益达到最优化.     

基于Agent的体系对抗仿真建模方法研究

面向信息化战争的武器装备体系对抗仿真，从复杂系统建模的角度对传统系统仿真建模方法提出了严峻挑战。因此，需要以CAS理论为依据，研究新的武器装备体系对抗仿真建模方法，以适应信息化战争模拟的需要。为此，我们在分析体系对抗仿真需求的基础上，从基于Agent的体系对抗仿真建模概念、仿真建模概念框架、仿真建模策略，基于Agent的体系整体“涌现”行为建模等问题入手，探讨了基于Agent的体系对抗仿真建模方法问题，并结合体系对抗仿真实验，研究了基于Agent的实体行为建模、实体交互建模和实体模型结构，提出了基于Agent的体系整体“涌现”行为建模思想和建模规范。     

基于径向基函数网络的强化学习在机器人足球中的研究

与监督学习从范例中学习的方式不同，强化学习不需要先验知识，而是具有从经验中学习的能力，将强化学习应用在大状态空间中，必须应用函数逼近的方法，如使用径向基函数网络建立输入和输出的映射关系。本文对基于径向基函数网络的强化学习在机器人足球这样的动态的多智能体环境中的应用进行了研究。实验结果证明了研究方法的可行性。     

TOAesti mation algorithm based on multi-search

1 .INTRODUCTIONWith theincessant development of wireless communi-cation, wireless location already became a newissue .The former researchers proposed many location algo-rithms . Those algorithms can be separated two kindsbasically: One is ti me of arrival /ti me difference ofarrival (TOA/TDOA) technology; another is angleof arrival ( AOA) technology[1]. However ,for therealization of AOAtechnology need the array anten-na ,it is i mpractical in current communication net-work,especiall…     

基于Metropolis准则的多步Q学习算法与性能仿真

强化学习是目前智能体和机器学习研究的热点。针对强化学习中标准Q学习算法更新速度慢的缺点,通过引入多步信息更新策略和模拟退火中的Metropolis准则,提出了一种新颖的多步Q学习算法,称为SAMQ算法。仿真实验表明,与现有的算法相比,该算法能够有效提高收敛速度,较好地解决智能体选择动作时面临的新知识探索还是当前策略遵循的关键问题。     

基于改进AGD-分布式多智能体系统的目标优化分配模型

由于现代化战场环境动态多变、作战实时性高,针对当前防空作战中武器目标分配(weapon target assignment, WTA)约束多且复杂、传统建模无法真实反映战争过程、模型可信度不高等问题,提出一种在分布式约束优化问题(distributed constraint optimization problem, DCOP)背景下,基于多智能体系统(multi-Agent system, MAS)理论的武器目标优化分配模型,并利用改进的加速梯度下降(accelerated gradient descent, AGD)算法进行求解。通过实验证明了该算法具有良好的收敛性和低复杂度,能够适应现代化防空作战的需求,满足大规模寻优问题的需求,高效解决多智能体目标优化分配问题。     

Dynamic Decision Model in Evolutionary Games Based on Reinforcement Learning

In evolutionary games, it becomes more difficult to choose optimal strategies for players because of incomplete information and bounded rationality. For bounded rational players, how to maximize the expected sum of payoffs by learning and changing strategies is an important question in evolutionary game theory. Reinforcement learning does not need a model of its environment and can be used online, it is well-suited for problems with incomplete and uncertain information. Evolutionary game theory is the subject about the decision problems of multiagent with incomplete information. In this article, reinforcement learning is introduced in evolutionary games, multiagent reinforcement learning model is constructed, and the learning algorithm is presented based on Q-learning. The results of simulation experiments show that the multiagent reinforcement learning model can be applied successfully in evolutionary games for finding the optimal strategies.     

基于A3C的多功能雷达认知干扰决策方法

在多功能雷达对抗领域, 目前基于强化学习理论的认知干扰决策方法难以满足雷达对抗高实时性要求。对此, 将异步优势行动者-评论家(asynchronous advantage actor-critic, A3C)算法引入到认知干扰决策领域, 设计了包括干扰机模型、环境模型(目标方多功能雷达)以及交互机制的认知干扰决策整体框架, 制定了干扰决策流程, 干扰机模型利用异步多线程方式与环境模型进行交互训练。仿真实验表明, 在扩充雷达任务转换关系表的基础上, 所提方法与基于深度Q网络(deep Q network, DQN)的认知干扰决策系列方法相比, 极大地提高了时间效率, 平均决策时间降低70%以上, 并且在决策准确度上有着明显优势, 表明所提方法能够为多功能雷达对抗决策提供更有力的技术支撑。     

基于相依网络的异质目标智能排序模型

随着战争复杂性的不断提升，目标排序模型必须能够从体系的角度出发，对战场中的异质目标进行综合排序，并满足动态、对抗、可进化的要求.首先基于相依网络理论，从对抗的角度出发，综合考虑敌我双方的能力构建目标体系；然后，提出两阶段的目标排序算法，实现了对作用于不同空间的异质类目标的动态综合排序；最后，设计面向历史对抗数据的目标体系权值调整算法，确保了目标排序模型的适应性.通过在某战役级兵棋系统进行实验并与人类指挥员的经验数据对比，验证了所提出模型的有效性.     

军用车辆器材联勤联供系统仿真模型研究

军用车辆器材是维护车辆和保持我军车辆运输能力的重要资源之一。采用全军联勤、军地联供的新保障体制 ,对汽车部队实施高效益的器材保障 ,是高技术战争对车辆器材保障的必然要求。本文运用系统动力学原理 ,对该体制进行了初步的仿真研究 ,研究结果表明 ,新保障体制能更好地适应部队的实际情况和高技术战争的要求.     

基于强化学习的机器人模糊控制系统设计

研究了基于强化学习(RL)的模糊逻辑控制器(FLC)设计方法,并将该控制器作为反应式自主移动机器人的控制系统。在缺乏专家知识的情况下,将模糊推理系统(FIS)和强化学习理论相结合构成模糊强化系统,通过强化学习算法获取FLC得模糊规则库,从而有效地解决了复杂未知环境的机器人导航问题。实验结果表明,由强化学习设计的模糊控制器的有效性,同时具有较强的适应能力,可以应用于不同的复杂环境。