基于场地划分的RoboCup中型组守门员动态策略防守

中型组守门员多是从单一的几何算法角度上考虑守门员的防守策略.在实际比赛中,场上形势变化快,足球运动轨迹和状态不规则,单一的防守策略较难适应场上变化.利用动态策略的守门员根据足球运动状态、足球所属区域、守门员站位等场地信息进行动态决策,弥补了单一策略在实时性上的不足,有效提高了守门员防守能力.利用动态策略的守门员在实地实验和实际比赛中效果明显优于单一策略.     

一种基于影响图的决策方法及在RoboCup中的应用

影响图是贝叶斯网络的扩展,利用影响图可以有效解决智能Agent利用经验学习和行为选择2个基本问题。RoboCup是一个典型的多Agent系统,其中的球和球员都可以看成是Agent。文章给出一种基于影响图的决策方法,并将其应用到RoboCup中,从而实现了球员截球过程中行为的动态调整。     

改进的Q学习算法及在其RoboCup中的应用

传统的Q学习已被有效地应用于处理RoboCup中传球策略问题,但是它仅能简单地离散化连续的状态、动作空间。文章提出一种改进的Q学习算法,提出将神经网络应用于Q学习,系统只需学习部分状态—动作的Q值,即可进行Q学习,有效的提高收敛的速度。最后在RoboCup环境中验证这个算法,对传球成功率有所提高。     

一种改进的强化学习方法在RoboCup中应用研究

基于CMAC(cerebella model articulation controller)提出一种动态强化学习方法(dynamic cerebellamodel articulation controller-advantage learning,DCMAC-AL)。该方法利用advantage(λ)learning计算状态-动作函数,强化不同动作的值函数差异,以避免动作抖动;然后在CMAC函数拟合基础上,利用Bellman误差动态添加特征值,提高CMAC函数拟合的自适应性。同时,在RoboCup仿真平台上对多智能体防守任务(takeaway)进行建模,利用新提出的算法进行学习实验。实验结果表明,DCMAC-AL比采用CMAC的advantage(λ)learning方法有更好的学习效果。     

HfutEngine2005仿真机器人足球队设计

文章从进攻和防守的角度描述了RoboCup仿真机器人足球队球员Agent决策策略的设计;提出了基于Advisor-Evaluator进攻决策模型,详述其各个组成部分,并进行性能分析;设计基于防守对象-绑定-防守动作的防守模型来进行防守方案设计,实战结果表明,以此为基础的HfutEngine2005具有较强的比赛能力。