基于信度分配函数的Agent强化学习算法

基于智能体 (Agent)系统强化学习原理和基于动态规划的Q -学习算法的基础上 ,提出了一种新的Agent强化学习算法 .该算法在Agent学习过程中不断调整Agent知识库的加权值 ,在强化学习的每个阶段 ,通过选取合适的信度分配函数来修正Agent强化学习动作的选取策略 .与标准的Q -学习方法相比 ,具有更加合理的物理结构 ,并且能保证算法收敛 .仿真实验说明该方法加快了标准Q -学习算法的收敛速度 ,具有较好的学习性能     

基于Agent的机器人足球赛中的再励学习算法

关于Agent个体的机器学习一直是Agent研究的一个重要方面，本文对再励学习中的Q学习算法做了简单介绍，然后在一个基于Agent的机器人足球赛平台上将Q学习算法引入，并进行了对比实验。     

基于多Agent仿真的冲突场景识别

构建了基于多Agent的空管运行仿真系统的基本框架,设计了航空器Agent、空管自动化Agent和管制员Agent.利用JADE平台,Java编程语言开发了仿真原型系统,该系统采用分布式结构,并导入全天的飞行计划数据,实现对全国交通运行态势的仿真.为了提高轨迹预测的准确性,考虑了风的影响.通过对管制员Agent记录的全天冲突数据的分析,可以得到易冲突扇区主要集中在我国的东部以及中南部区域,R343和A461为易冲突航路等.冲突数据的分析结果对于航路网络的规划、扇区划分以及飞行计划的优化有重要的实践意义.     

多Agent系统的Q值强化学习算法

对多Agent系统的Q值强化学习算法进行研究,将历史信息因素的影响添加到Q值学习中,提出了一个新的基于多Agent系统的Q值学习算法.该算法在保证多Agent系统利益达到相对最大化的同时,也有效降低了Agent之间的冲突率.最后,通过仿真测试验证了该算法的有效性.     

交通管制员行为风险防范探讨

交通管制员的工作状态直接影响到交通管制中的风险。管制员则是空中交通管制员的简称,而在影响空中交通风险的因素中,管制员的行为因素则占了相当大的比重,而且这也是很难把握的一个重要因素。交通管制员虽然不是一个个体但是若出现行为方面的失误,则会给整个空中的管制活动产生重大影响,甚至出现不可挽救的危险。因此该文主要分析了交通管制员的行为中的风险因素,并提出了一定的防范措施。     

浅谈如何缓解空中交通管制员的工作压力

空中交通管制工作关系到航空秩序和空中乘客的安全,相对于地面交通指挥而言,空中交通管制工作要求更加严格.本文首先分析空中交通管制员工作压力的概况,其次分析营销空中交通管制员工作压力的主要因素,最后提出缓解空中交通管制员压力的对策,以期更好的满足空中交通管制需求.     

基于实用推理的多智能体协作强化学习算法

针对将单AgentQ-学习协作算法直接扩展到多Agent系统会导致状态-动作对集合的急剧膨胀、从而影响多Agent的协作学习速度的问题,提出了基于实用推理的多Agent协作强化学习算法.在实用推理框架下,首先在慎思过程中通过考虑群体意图来确定单个Agent的子意图;然后,在手段-目的推理过程中采用Q-学习算法得出实现子意图的最优策略,从而实现群体意图.在Q-学习算法中,各Agent只需考虑自身的状态-动作的值函数更新,对其他Agent值函数的更新可以不加考虑,从而大大降低了算法的空间复杂度,提高了学习速度.追捕问题的仿真实验结果验证了算法的有效性.     

基于Markov对策和强化学习的多智能体协作研究

MAS的协作机制研究,当前比较适用的研究框架是非零和Markov对策及基于Q－算法的强化学习。但实际上在这种框架下的Agent强调独立学习而不考虑其他Agent的行为,故MAS缺乏协作机制。并且,Q－算法要求Agent与环境的交互时具有完备的观察信息,这种情况过于理想化。文中针对以上两个不足,提出了在联合行动和不完备信息下的协调学习。理论分析和仿真实验表明,协调学习算法具有收敛性。     

多Agent MDPs中并行Rollout学习算法

文章在rollout算法基础上研究了在多Agent MDPs的学习问题.利用神经元动态规划逼近方法来降低其空间复杂度,从而减少算法"维数灾".由于Rollout算法具有很强的内在并行性,文中还分析了并行求解方法.通过多级仓库库存控制的仿真试验,验证了Rollout算法在多Agent学习中的有效性.     

基于Agent网上答疑系统的设计与实现

目前,国内现有的网络答疑系统中尚存着一些问题,例如答疑方式单一、智能性和自主性低、知识库缺乏自我学习能力等.为解决这些问题,提出了基于自动答疑Agent和知识库学习Agent为核心的系统模型,并以《VisualFoxPro6.0程序设计》课程作为试验实例,采用Asp技术,结合Agent思想,完成了“基于Agent网络答疑系统(WASBA)”,运行结果表明设计基本达到了预期目标,实现了系统的自动答疑和系统知识库的自主学习.与同类答疑系统比较,在主动性和智能性方面有了较为明显的改进.     

基于Q-学习的动态单机调度

针对当前基于Q-学习的Agent生产调度优化研究甚少的现状,利用Q-学习对动态单机调度问题在3种不同系统目标下的调度规则动态选择问题进行了研究.在建立Q-学习与动态单机调度问题映射机制的基础上,通过MATLAB实验仿真,对算法性能进行了评价.仿真结果表明,对于不同的系统调度目标,Q-学习能提高Agent的适应能力,达到单一调度规则无法达到的性能,适合基于Agent的动态生产调度环境.     

空中交通管制员的压力管理策略探讨

随着民用航空的飞速发展,空中交通管制工作面临更大挑战,空中交通管制员需要承担的工作压力也越发沉重.空管员工管理过程中,加强空中管制员的压力管理尤为重要.本文主要分析空中交通管制员的压力管理策略,旨在能为空管工作的有序、安全与顺利开展提供一定借鉴.     

ABLE:Agent构建和学习环境

文章描述的Agent构建和学习环境（ABLE）是基于Java的Agent开发框架，用于开发和配置混合型智能Agent和Agent应用．它提供了一个可重用的组件库，包含；数据访取、机器学习、机器推理和优化算法，这些算法都以JavaBean形式打包，定义为AbleBean，并提供了几种灵活的连接方法将AbleBean连接成一个软件Agent＋此外，ABLE还提供了一个基于Swing的图形化用户接口，用户可以在图形界面上创建并配置AbleBean，并进一步构建和测试由这些AbleBean所构成的Agent．     

基于个性的协同强化学习模型

将个性行为绑定到信息Agent上,提出了一种基于个性的协同强化学习算法,让不同个性的Agent充当合适的角色.基于共同的目标和相同的信息,Agent可能产生共同的意图,规划出共同的行为,使得MAS可以适用于动态、实时、有干扰、对抗的环境中.     

基于优先级的航班到达调度算法

随着空中交通流量的迅猛增长,终端区空中交通拥堵以及由此导致的航班延误现象日益突出,甚至危及航空安全,航运效益也随之受到巨大的损失。作为终端区流量管理的核心,航班到达调度旨在为终端区待着陆的航班安排合理的着陆顺序和降落时刻,在确保安全的前提下提高进港航班运行效率。基于优先级思想,文章提出了PBSA和PBSA-CPS两种航班到达调度算法,并引入约束位置交换概念,以提高调度结果对于管制员的可操作特性。最后以首都机场为例进行了仿真,并与现行的先到先服务算法FCFS进行了对比。仿真结果表明,通过对航班赋予相应的优先级,有助于优化调配到达航班队列的降落时隙分配结果,提高终端区运行效率,减少延误损失。     

动态环境下多智能体协作学习方法的研究

将预测分析技术和强化学习技术有机结合,使多Agent系统中的各Agent,不仅具有了高度反应自适应性,而且拥有了高效而准确的预测分析能力;使Agent的行为更具有针对性,尽可能地减少错误,保证学习的正确方向,提高Agent间进行信息共享,融合单个Agent的Q值表.相当于相同情况下增加了学习次数,不仅尽可能地消除策略中的冗余动作,以高效的方式实现最终目标,而且提高多Agent系统执行效率和收敛速度及性能.本文提出了一种改进的多Agent间协作学习方法,适用于环境不完备的复杂情况.以追捕问题作为仿真实验.结果表明所提方法能够有效地促进多智能体系统中各Agent间协作学习能力.     

雷达模拟机培训系统中几个关键环节的应用

监视雷达系统已成功应用于我国高密度飞行区域的空中交通服务。在对监视雷达技术的推广应用过程中需要对使用该系统的空中交通管制员和飞行指挥员进行基于该系统的模拟培训,从而保证该系统安全高效地工作。研究解决了利用计算机仿真技术解决雷达模拟机培训系统软件上的几个关键问题,结合运行实际,较好地模拟空中交通管制环境,达到培训提高管制员指挥技能等功能。     

一种基于影响图学习其它Agent模型的方法

为了实现动态环境中Agents之间的有效协作,Agent必须能够识别其它Agent的模型.用影响图作为Agent模型表示工具,给定Agent的一个初始模型和它的历史行为,在能力、优先和信念学习的基础上来构建新的模型.学习的方法是用其它Agent的历史行为作为训练集,利用神经网络学习技术来修改效用函数.     

基于SHEL模型的空管工作中的人为因素研究

作为空中交通管制工作主体的空中交通管制员,在空中交通管制工作中处于中心位置,因而人与软件、人与硬件、人与环境、人与人等要素之间的相互关系成为影响空中交通管理安全和运行品质的关键因素。本文从我国空中交通管理部门现行的管制运行工作入手,运用SHEL模型加以分析,结合实际,最终提出针对空中交通管制工作中人为因素的控制策略,以及一些针对性的管理方法。     

基于职业特性的管制员初始培训探索

空中交通管制是保证飞行安全的重要环节,空中交通管制员作为实施空中交通管制任务的主体,对于保证空中交通活动的安全和有序畅通,具有重要的作用,其个人职业效能直接关系到空中交通管制运行系统的安全性及可靠性。空中交通管制职业的特殊性,要求管制员不仅具备较高的受教育程度及很强的管制技能,更须具备强烈的安全意识、严谨的作风、良好的心理素质和团队协作能力。在现行培养体系下,应形成对应的职业素养培训对策,从先期选拔、安全意识、严谨作风、飞行等训练,以形成良好的初始职业素养。