基于强化学习的全自主机器人足球系统协作研究

从人工智能的角度上说,机器人足球比赛主要研究了多智能体系统要解决的分布的多机器人在复杂的动态环境下,如何通过相互协商完成某一复杂任务。全自主机器人足球是机器人足球发展的一个趋势,在完全未知的环境中,通过自身学习来了解和积累外部信息。对于传统强化学习,存在容易出现死锁,学习速度慢,要求外部条件是静态等缺陷。提出了一种基于蚁群算法的强化学习模型,即蚁群算法与Q学习相结合的思想。随着赛场上态势的渐趋复杂,传统的Q学习速度会变得很慢且交互困难。通过对新算法的分析,实验数据显示:新算法不仅提高了Q学习的学习速率,在解决状态空间维数的灾难问题上,也是可行的。     

基于蚁群算法的多机器人环境探索

针对多机器人的环境探索问题,采用了蚁群算法,解决了多机器人的目标分配与环境区域覆盖。通过对蚁群算法和等待拍卖算法在两种不同环境模型的覆盖率的比较,表明了蚁群算法在相同覆盖率的情况下运行次数较少。     

一种基于蚁群算法的多机器人协作方法

设计了一种基于蚁群算法的多机器人协作策略,由此解决多机器人系统在未知环境工作中的自主协作规划问题.针对多机器人系统在未知环境中可能存在任务死锁的问题,对基本的蚁群算法进行了相应改进,通过仿真验证了该改进方法的可行性.     

多智能体系统中具有先验知识的Q学习算法

为了提高多智能体系统中的典型的强化学习——Q学习的学习效率和收敛速度,充分利用环境信息和相关的专家经验,提出了具有先验知识的Q学习算法。利用模糊综合决策方法处理专家经验和环境信息得到Q学习的先验知识,对Q学习的初始状态进行优化。典型的足球机器人系统中的仿真实验结果表明:该算法使学习过程建立在较好的学习基础上,从而更快地趋近于最优状态,其学习效率和收敛速度明显优于普通的Q学习。     

基于改进的启发式蚂蚁算法求解最短路径

针对复杂环境中机器人路径规划问题,为了提高蚁群算法的寻优能力和收敛速度,基于A~*算法的距离评价函数,对算法中的启发式函数进行改进,提出一种启发式的蚂蚁算法,并对新算法进行仿真测试.结果表明:改进后的启发函数可以有效改善蚂蚁算法搜索的盲目性,解决了传统蚁群算法收敛速度慢、易陷入局部最优解的问题.与传统蚂蚁算法相比,启发式蚂蚁算法在20×20网格下的相关系数提高了0.4722,40×40网格下的相关系数提高了0.226 5,说明改进算法的规划能力和收敛效率均有所提高,整体上优于传统蚂蚁算法.     

基于分布式纳什Q学习的多传感器协同目标跟踪

针对传统目标跟踪算法过分依赖环境模型的问题,提出了一种基于分布式纳什Q学习的多传感器协同目标跟踪算法.分析了强化学习与分布式纳什Q学习算法的原理;描述了多传感器的协同跟踪态势,建立了离散系统的非线性模型,给出了传统的扩展卡尔曼滤波解决方法;定义了对分布式纳什Q学习性能影响至关重要的传感器行为和奖惩函数,奖惩函数通过计算预测误差方差阵的迹得到;采用基于贝叶斯推理的概率统计方法解决了Q函数的更新问题.纯方位量测信息的被动跟踪仿真结果表明,相比于传统滤波算法,该算法增强了传感器对环境变化的适应性,实现了对目标的有效跟踪,提高了跟踪精度.     

基于改进蚁群算法的多目标路径规划研究

传统蚁群算法因在复杂环境中容易产生死锁，导致部分蚂蚁失效，造成效率低下，迭代次数增多。为此，提出了一种利用环境信息引入环境因子来调整启发函数的方法从而降低死锁情况的发生，增加了有效蚂蚁的数量，从整体上提高了蚁群的搜索速度，扩大了搜索范围。同时，传统蚁群算法在路径规划中仅在理想地域内寻求最短路径，而多因素环境中最短路径往往并非最优解。为解决此问题通过在不同环境中对转移概率进行加权优化在追求路径最短的基础上提出多目标路径规划，丰富了蚁群算法的实用性和现实意义。最后经仿真实验对优化算法进行验证，证明了上述优化的可行性。     

发育学习在足球机器人基本动作技能中的应用

研究了发育学习算法及其在机器人足球比赛技术动作学习问题中的应用。结合发育学习算法的优点,选用合适的强化学习算法,并将其应用于足球机器人动作技能的学习中。无需任何先验知识和环境模型,通过不断与环境交互获得知识,自主地进行动作选择,具有自主学习能力,在自主机器人行为学习中受到广泛重视。最后,给出了试验结果分析,并验证了该算法的优越性和有效性,并且能够满足高水准机器人足球比赛的需要。     

室内服务机器人路径导航系统设计及算法

随着各行业智能化的快速发展,室内服务机器人逐渐地走进了人们的日常生活中。针对日益复杂的室内环境以及对机器人路径规划技术要求的不断提高,本文采用激光雷达、底盘驱动、人机交互等功能模块相结合,设计了一种室内服务机器人路径导航系统。同时对传统蚁群算法进行改进,提出了自适应信息素浓度和动态信息素挥发因子,使改进后的蚁群算法具有较高的全局搜索能力,避免了传统蚁群算法前期易陷入局部最优的问题,最后将改进后的蚁群算法应用到移动机器人路径规划上。为了验证改进蚁群算法的有效性,用MATLAB软件进行仿真分析,仿真结果证明了改进蚁群算法在移动机器人路径规划时具有较强的全局寻优能力,同时提高了收敛速度。     

对抗环境下足球机器人路径规划

在RoboCup中型组足球机器人比赛环境下,实现机器人实时、有效的路径规划是赢得比赛的重要前提.充分考虑到足球机器人比赛中实时性和对抗性的特点,采用具有实时性优势的人工势场法,并综合考虑障碍物、目标点以及机器人之间相对位置和相对速度的关系,提出一种相对威胁系数的概念.该系数能够反映比赛中双方机器人实际对抗的强弱程度.将相对威胁系数应用到传统的人工势场中,形成一种新的改进型人工势场法,较好地解决了对抗环境下机器人路径规划中一些实时性、有效性的问题.仿真实验验证了所提出算法在足球机器人比赛系统中具有可行性.将该算法应用于交龙足球机器人上,在实际比赛中取得了较好的成绩.     

基于改进的烟花-蚁群算法和B样条曲线的农业机器人路径规划

根据蚁群算法收敛速度较慢,易陷入局部最优等问题,提出了一种改进烟花-蚁群(improved fireworks-ant colony algo-rithm,IFWA-ACO)混合算法,解决静态环境下农业机器人的路径规划问题,首先针对基本烟花的交互机制和选择策略做出改进,提出爆炸与迁移相结合的策略以及密度峰值火花、探测火花概念,提升烟花算法寻找最优解的能力,然后把改进烟花算法得到的最短路径作换算成蚁群算法中的信息素加强值,从而避免蚁群盲目搜索,最后采用B样条插值方法进行曲线化拟合,生成平滑路径,有利于机器人平稳行进.试验仿真结果表明,IFWA-ACO算法能快速的规划出机器人的最优路径,降低农业机器人能耗,提高工作效率.     

移动机器人的自学习导航策略

针对标准Q学习收敛较慢的缺点,采用多步Q学习算法,为解决连续过程的学习问题,采用CMAC神经网络对连续状态空间进行泛化,讨论了基于CMAC的多步Q学习算法应用于导航系统的实现方法,并与其他方法进行仿真比较,结果了表明了该算法的有效性。     

基于改进蚁群算法的二维码移动机器人路径规划方法

针对在结构化栅格工作环境下,基于蚁群算法的路径规划存在停滞和收敛速度慢的问题,提出了一种基于改进蚁群算法的二维码移动机器人路径规划方法.通过限制蚂蚁的搜索方向,即将机器人置于结构化栅格工作环境下,使其只能在水平和垂直方向上移动,进而提高算法的搜索效率.引入自适应期望函数和启发因子,动态调整状态转移概率,避免算法陷入停滞状态,提高算法的收敛速度.针对机器人在转弯过程中耗费时间较长的问题,通过引入转弯影响因子得到扩展路径长度,进而根据扩展路径长度选取最优路径.实验结果表明,提出的方法可以为二维码移动机器人规划出最优路径.     

基于蚁群算法的移动机器人路径规划研究与应用

文章对传统蚁群算法收敛较慢的问题进行了改进,参考人工势场法的思想,构建并加入了权重可调的引力概率函数作为启发因子,使新的算法在较快的收敛速度下仍能得到全局较优解;在新算法的基础上构建了移动机器人动态路径规划模型,通过计算机仿真和智能试验车的实际行走表明,即使在障碍物非常复杂的场地环境,用该算法也能迅速规划出较优的全局路径。     

移动机器人路径规划的一种改进蚁群算法

提出了一种复杂静态环境下的移动机器人避碰路径规划的改进蚁群算法。基于栅格法的工作空间模型,模拟蚂蚁觅食行为,并针对移动机器人的路径规划的需要,将一些特殊功能赋予常规的蚁群算法。为了避免移动机器人的路径死锁,在路径搜索过程中,当蚂蚁探索到一个死角时,建立了相应的死角表,同时用惩罚函数来更新轨迹强度。仿真研究表明:该算法能明显改善路径规划性能,并且算法简单有效。     

移动自组织网络Q学习和改进蚁群QoS路由算法

针对移动自组织网络的QoS路由问题,提出一种结合Q学习和改进蚁群算法的QoS路由算法,该算法综合Q学习和蚁群算法的优点,把Q学习算法的Q值作为蚁群算法的初始信息素,提高了算法初期的收敛速度,同时在路径选择时综合考虑节点的能量和负载.仿真实验表明,该算法在保证QoS需求的前提下,增加了路由的有效性和鲁棒性,降低了能耗,包投递率、网络生存时间等指标均较好.     

基于免疫机理的足球机器人协作控制研究

针对Robocup中型组全自主足球机器人自主协作任务,基于人工免疫机理对机器人个体及群体体系结构进行优化,采用个体混合式体系结构与群体分布式体系提高系统性能。构建适用于比赛环境的足球机器人免疫系统模型,充分考虑模型中抗体与抗原及其他抗体间的激励和抑制作用,给出在动态环境下面临复杂协作任务时的足球机器人协调控制算法及流程,改善多足球机器人冲突的混乱局面,增强足球机器人策略行为的有效性,提高足球机器人系统的智能协作性。实验结果验证:该算法可以有效的增强足球机器人的协作能力,提高规定时间内的平均成功进功率与平均成功进球率。