基于实用推理的多智能体协作强化学习算法

针对将单AgentQ-学习协作算法直接扩展到多Agent系统会导致状态-动作对集合的急剧膨胀、从而影响多Agent的协作学习速度的问题,提出了基于实用推理的多Agent协作强化学习算法.在实用推理框架下,首先在慎思过程中通过考虑群体意图来确定单个Agent的子意图;然后,在手段-目的推理过程中采用Q-学习算法得出实现子意图的最优策略,从而实现群体意图.在Q-学习算法中,各Agent只需考虑自身的状态-动作的值函数更新,对其他Agent值函数的更新可以不加考虑,从而大大降低了算法的空间复杂度,提高了学习速度.追捕问题的仿真实验结果验证了算法的有效性.     

一个基于角色的动态多智能体协作模型RBDMAS

提出了一个新的多智能体协作模型-基于角色的动态多智能体协作模型(Role Based Dynamic Multi-agent System,RBDMAS).该模型将角色的概念引入到多智能体协作模型中,利用在各智能体中设立角色信息库,动态地实现了多智能体的协作.最后,RoboCup 仿真验证了该模型的有效性.     

基于改进熟人模型的多智能体协作

对RoboCup3D智能体仿真系统内的多智能体协作问题进行了研究和分析,并针对RoboCup3D具体的系统特性,提出了改进熟人模型来解决多机器人协作问题,通过对智能体的熟人类型进行分类,对系统目标最关键的信息进行求解,降低通讯和计算开销,给出了熟人评价体系及策略触发方式,使之能够应用在层次化的整体策略框架。在RoboCup3D仿真平台中对改进熟人模型进行了测试。     

多智能体系统智能体协作层的设计与实现

提出了一种多智能体系统及智能体的框架结构，描述了该多智能体系统智能体协作层的设计与实现，为面向工业应用的多智能体系统开发环境的研制提供了基础。     

基于多智能体协作思想的数据加密传输模式

为了缓解由丁数据集中给数据中心带来的压力，提出了一种基于多智能体协作思想的数据加密传输模式，利用黑板模型结构来解决多全塞全服务器的协调问题，采用循环优先级方法来解决其通讯问题。     

动态环境下的多智能体机器人协作模型

提出了在动态环境中,多Agent的一种协作模型,适用于环境信息不完备的复杂情况.将Agent的独立强化学习与BDI模型结合起来,使多Agent系统不但拥有强化学习的高度反应性和自适应性,而且拥有BDI的推理能力,使只使用数值分析而忽略推理环节的强化学习结合了逻辑推理方法.使用了Borlzman选取随机动作,并且采用了新的奖励函数和表示方法,减少了学习空间,提高了学习速度.仿真结果表明所提方法可行,能够满足多Agent系统的要求.     

高动态多光照环境下图像灰度校正方法研究

在高动态多光照环境下,采集的图像通常存在光照不均匀的现象,需对其进行灰度校正处理。当前图像灰度校正方法无法有效分离高动态多光照环境下图像的目标点与背景点,图像灰度校正效果不佳。为此,提出一种新的图像灰度校正方法,依据Retinex中的照度和反射模型对高动态多光照环境下的图像进行描述,通过投影思想对高动态多光照环境下的图像区域进行分割。针对页白区域,将其置为背景色;针对均匀区,通过全局处理方式对其进行灰度校正处理;针对阴影区域,通过采样法对其进行灰度校正处理,给出高动态多光照环境下图像灰度校正的详细过程。实验结果表明,采用所提方法对图像进行灰度校正处理后,图像质量高,细节丢失少,且处理速度快。     

基于优先经验回放的多智能体协同算法

针对多智能体协同训练中存在的经验缓存机制构建和回放问题,提出一种基于优先经验回放的多智能体协同算法(prioritized experience replayfor multi-agent cooperation, PEMAC)。该算法在MAAC(actor-attention-critic for multi-agent reinforcement learning)算法的基础上引入优先经验回放的思想。训练过程中,算法基于TD误差(temporal-difference)对经验数据比例优先级进行标记,每次采样均采取优先级较高的经验数据更新网络。实验结果表明该算法提升了训练数据的质量,从而提升了模型收敛速度和学习效率,且该算法在合作寻宝和漫游者-发射塔环境中的表现性能均优于基线算法。     

基于人工物理法的多智能体协同控制

 对多智能体的协同控制和队形重构技术进行研究,采用人工物理法完成多智能体的队形建立与队形保持。人工物理法是一种分布式的控制方法,对传感器信息和通信的依赖程度较低,并可以很好地移植到大规模系统中。人工物理法通过设定虚拟的物理力,完成机器人速度和方向信息的解算,并用这些信息进行实时控制。同时为保证在障碍物区域内的智能体避障,采用沿墙跟踪策略,设计双输入、单输出的模糊控制器实现智能体的避障。为克服多模态运动的转换瞬态,利用四点平滑抑制模态转换瞬态。通过传感器探测外界环境,获得相关环境信息并确定障碍物的位置,由此依据判决条件完成多智能体控制的模态转换,进行队形重构。通过复杂环境中的数学仿真及多智能体协同控制的实验验证,表明该系统具有良好的鲁棒性和适应性。     

复杂环境中的多智能体强化学习

提出在机器人足球这样的复杂、动态的环境中使用强化学习的方式与问题 ,阐述了强化学习的实现及如何处理机器学习中的常见问题 ,即延迟奖赏、探索与利用、不完整信息等 ,同时探讨了减少复杂性的若干措施 .     

动态环境下基于深度学习的视觉SLAM研究

由于传统的同步定位与建图(simultaneous localization and mapping,SLAM)中有很强的静态刚性假设,故系统定位精度和鲁棒性容易受到环境中动态对象的干扰.针对这种现象,提出一种在室内动态环境下基于深度学习的视觉SLAM算法.基于ORB-SLAM2进行改进,在SLAM前端加入多视角几何,并与YOLOv5s目标检测算法进行融合,最后对处理后的静态特征点进行帧间匹配.实验使用TUM数据集进行测试,结果显示:SLAM算法结合多视角几何、目标检测后,系统的绝对位姿估计精度在高动态环境中相较于ORB-SLAM2有明显提高.与其他SLAM算法的定位精度相比,改进算法仍有不同程度的改善.     

微学习环境下的移动学习资源设计方法研究

在信息化程度越来越深的时代,移动学习已经成为了高等教育领域重视的一个课题,在全民微时代的今天,微信、微博与微课广泛运用,学生的学习环境也从传统的模式从"微"模式开始转换,该文将结合微时代的移动学习的特征,从微变化的角度出发,在现有的微时代的移动学习的基础上,研究分析关于学习资源的主要原则,为高校的移动学习提供一个广阔的视角和新的思路。     

动态环境下基于SVR-PSO的多机器人气味源定位方法

研究具有风速变化的动态环境下气味源定位问题,提出一种基于支持向量回归和微粒群优化的多机器人气味源定位方法。以当前时刻机器人的位置为输入,以机器人所测的气味浓度值为输出,利用支持向量回归,建立机器人所在位置气味浓度的预测模型;采用改进微粒群优化方法定位气味源时,以气味浓度最大的机器人所在的观测窗内,基于预测模型得到的气味浓度最大值的所在位置作为微粒的全局极值,以当前机器人的位置作为微粒的个体极值,完成微粒的更新;根据机器人所测的气味浓度值,定位气味源。将所提方法应用于2个气味源定位场景,实验结果表明所提方法能够在短时间内成功定位气味源。     

多出口环境下校园网域名的智能解析

域名的智能解析就是域名服务器根据用户的IP地址范围,将用户要访问的域名解析为不同IP的地址．由于某校园网拥有多个网络出口,为了解决外网不同ISP用户访问该院服务器时速度太慢的问题,提出了用Bind9．9架设智能域名服务（domain name service,DNS）的方案,实现了外网用户访问校园网时域名的智能解析．     

智能电网环境下的电网调度管理方法的研究

随着社会经济与工业技术的飞速发展,电力体制也随之在变化,电力用户也对供电的可靠性以及电能的质量有了更高的要求,这也需要我国的电网能够进行高效率、高经济以及更加安全和可靠的发展。在这一前提下,为了不影响人们的日常生活以及社会生产力的发展,智能电网的改革成为了必然的趋势。而这也使得在智能电网的环境下,传统电网调管管理工作和管理方法无法满足智能电网的发展需求,所以对电网调度管理协调工作的加强以及管理方法的完善成为了我国首当其冲需要进行的工作。本文围绕这一课题,并针对传统电网调度管理方法和工作中存在的一系列问题进行探究分析,并在此基础上对于促进我国电网调度管理工作发展的精益化管理措施进行研究。     

云计算环境下智能电网短期负荷预测方法研究

智能电网短期负荷波动性大,传统预测方法无法解决波动性问题,预测结果不准确。为此,提出一种新的云计算环境下智能电网短期负荷预测方法。介绍了支持向量机理论,将一个含有所有某类样本在内的、由支持向量支撑的球面看作超球面,分析了分位数回归过程,将支持向量机和分位数结合在一起,构建支持向量-分位数回归预测模型。得到短期负荷概率密度函数,从而实现智能电网短期负荷预测。在进行实验时,完成对功率采样值和智能电网负荷属性的归一化处理,将其转换成[0,1]区间内的数据。实验结果表明,所提方法预测精度和效率高、成本低。     

动态环境下智能轮椅的路径规划与导航

针对智能轮椅应用的动态环境,提出了一种自主规划和导航算法.采用分层递阶体系结构,设计了基于地图匹配的自定位方法,将路径全局预规划和在线重规划相结合,获得动态环境下导航的次优路径,并且设计了基于局部观测地图的行为控制与行为选择算法.智能轮椅样机的实验结果表明,所提出的方法在动态环境下具有较好的路径优化特性和安全性.     

虚拟学习社区环境下绩效提升方法研究

本文从分析虚拟社区的特点出发,指出了通过虚拟社区进行学习存在的问题。在分析影响学习绩效提升因素的基础上,提出绩效提升的关键在于学习者学习策略的制定和虚拟社区环境建设。文章以这两方面为重点,以绩效提升为目的,详细阐述了绩效提升的策略。     

多环境下道路标志线提取方法的研究

在道路视频检测系统中,CCD摄像机获取的原始道路标志线图像由于天气变化、镜头脏污等干扰因素造成图像模糊,故必须对原始图像进行处理。针对在多种不同环境下道路标志线进行提取,其方法如二维中值滤波、改进的Hough变换等。实验结果表明,通过这些提取方法能够自动、快速、清晰地检测出道路标志线。     

一致环境下多智能体系统的群集算法

针对一致环境下智能群体的群集运动控制算法进行了研究.在群中智能体感知范围有限的情况下,群体拓扑图是动态变化的,假设群体拓扑图时刻保持连通,且群中所有智能体受到外界环境的影响是一致的,通过引入光滑的势场函数,设计了群集控制算法,运用李雅普诺夫稳定性理论,证明了多智能体能取得群集运动,仿真实例验证了算法的有效性.