针对逃逸目标的多机协同围捕策略研究

针对多无人机对入侵飞行器的协同追踪围捕控制问题,将自然界中生物群落在捕捉猎物时展现的逃逸-围捕策略引入到多无人机协同作战研究中,设计了一种多无人机协同围捕逃逸目标策略。该策略由2个阶段组成,第1阶段使用基于动态反馈线性化的控制方法准确跟踪逃逸目标,第2阶段使用李雅普诺夫矢量场方法。该方法可以保障多无人机在围捕飞行中躲避敌方防空力量、雷达探测等危险区域。仿真结果验证了所设计的策略在多无人机围捕和阻止目标逃逸场景中的可行性与有效性。     

一种多移动机器人协作围捕策略

提出一种在连续未知环境中实现多移动机器人协作围捕移动目标的整体方案.围捕包括包围目标和靠近目标,包围目标行为由强化学习算法实现.用状态聚类减小状态空间,利用Q学习算法获得Q值表,根据学习后的Q值表选择动作.对各种行为的输出进行加权求和获得综合行为,实现对移动目标的围捕.仿真实验获得了在不同条件下的围捕结果.结果表明,环境、hunter与prey的速度关系以及prey的逃跑策略对围捕效果都有影响.     

面向多目标参数整定的协同深度强化学习方法

多目标控制参数联合优化整定是自动化系统保持高效、稳定运行的关键问题,强化学习常用于建立自动化调参智能体,代替人工完成参数整定. 针对现有方法使用固定权重将多个优化目标线性组合为单目标,训练具有固定调参知识的单智能体模型,导致实际目标关系受环境影响与先验不符时,智能体无法感知并做出适应性决策调整,限制参数整定效果的问题,提出一种面向多目标参数整定的协同深度强化学习方法. 该方法利用离线仿真学习目标整定知识建立多个Double-DQN智能体,在线建立整定效果反馈,感知目标实际关系并调整智能体协同策略,实现有效的多目标参数整定. 列车自动驾驶参数整定实验结果表明,方法对停车误差、舒适度两个目标整定效果良好,能自适应不同车轨性能且可持续优化,实用价值大.      

一种多帆器人协作围捕策略的研究

在二维受限环境中,研究多机器人对移动目标的协作围捕问题,结合追捕者与逃逸者的相对位姿,对多机器人围捕的初始状态条件进行划分,针对多机器人群体规模、速度、成功围捕条件进行讨论,并对目标机器人的逃逸策略和围捕机器人的围捕策略进行协调性动态调整,提出了采用夹角最大原则的逃逸策略,确定了迎面对角阻截与虚拟势点相结合的围捕策略。课题对分别将新提出的逃逸策略和围捕策略与原有逃逸策略和围捕策略相比较进行仿真实验,结果表明所提出的动态调整策略的有效性。     

基于多智能体深度强化学习的车联网通信资源分配优化

无线网络的高速发展为车联网提供了更好的支持,但是如何为高速移动车辆提供更高质量的服务仍然是一个挑战.通过分析多个车对车（Vehicle-to-Vehicle,V2V）链路重用的车对基础设施（Vehicle-to-Infrastructure,V2I）链路占用的频谱,研究了基于连续动作空间的多智能体深度强化学习的车联网中的频谱共享问题.车辆高移动性带来的信道的快速变化为集中式管理网络资源带来了局限性,因此将资源共享建模为多智能体深度强化学习问题,提出一种基于分布式执行的多智能体深度确定性策略梯度（Multi-Agent Deep Deterministic Policy Gradient,MADDPG）算法.每个智能体与车联网环境进行交互并观察到自己的局部状态,均获得一个共同的奖励,通过汇总其他智能体的动作集中训练Critic网络,从而改善各个智能体选取的功率控制.通过设计奖励函数和训练机制,多智能体算法可以实现分布式资源分配,有效提高了V2I链路的总容量和V2V链路的传输速率.     

多Agent协同设计系统学习机制

从认知的和社会的角度分析了协同设计活动,提出了一种面向协同设计的多Agent系统结构和设计Agent的感知模型,以及多Agent协同强化学习的方法.该方法采用动态小生境技术对设计Agent进行分组,并选出每组中的最优设计Agent,使其通过与设计人员交互进行强化学习,然后和其他组选出的Agent协同学习,并把学到的知识在组内进行传播.以齿轮减速器设计为例,介绍了多Agent协同设计系统的协同设计及学习过程.     

基于模糊控制协调策略的多自主机器人围捕

为了降低多机器入围捕中的通信量,提高多机器人系统对未知环境的适应性,提出了一种基于模糊控制协调策略的多自主机器入围捕方法.围捕机器人根据感知范围内同伴和目标的分布,从L模糊控制器、R模糊控制器和M模糊控制器中选取合适的一个用以控制和最邻角同伴之间的夹角,进而实现多机器人之间的局部协调,结合基于局部感知的目标跟踪,在围捕...     

基于多智能体深度强化学习的高速公路可变限速协同控制方法

面向高速公路多路段可变限速协同控制需求,针对高维参数空间高效训练寻优难题,提出了应用多智能体深度确定性策略梯度（MADDPG）算法的高速公路可变限速协同控制方法。区别于既有研究的单个智能体深度确定性策略梯度（DDPG）算法,MADDPG将每个管控单元抽象为具备Actor-Critic强化学习架构的智能体,在算法训练过程中共享各智能体的状态、动作信息,使得各智能体具备推测其余智能体控制策略的能力,进而实现多路段协同控制。基于开源仿真软件SUMO,在高速公路典型拥堵场景对提出的控制方法开展管控效果验证。实验结果表明,提出的MADDPG算法降低了拥堵持续时间和路段运行速度标准差,分别减少69.23 %、47.96 %,可显著提高交通效率与安全。对比单智能体DDPG算法,MADDPG可节约50 %的训练时间并提高7.44 %的累计回报值,多智能体算法可提升协同控制策略的优化效率。进一步,为验证智能体间共享信息的必要性,将MADDPG与独立多智能体DDPG（IDDPG）算法进行对比：相较于IDDPG,MADDPG可使拥堵持续时间、速度标准差均值的改善提升11.65 %、19.00 %。     

面向航天多型号研制的协同计划编制方法研究

针对当前我国航天型号研制的多型号并举的现状,分析了我国航天型号系统工程管理方法在解决多型号并行研制中存在的缺乏全局规则、资源冲突多发和调度困难、人员为导向、流程逻辑与管理逻辑紧密耦合等问题.提出航天多型号协同计划编制方法.该方法的主要特点包括:第一,从整体思路看,以能力为核心,以资源为基础,以协同为手段;第二,通过在活动和资源之间建立能力层,实现流程管理逻辑和资源管理逻辑的解耦,构建了活动、能力、资源三要素相至作用的计划编制基础理论模型;第三,以能力要素为驱动,实现活动和资源在各自层面上跨型号项目的协同和协调,以能力层为枢纽,实现资源在多型号项目活动间的平衡负载和协同配置.第四,具备全局可控、资源可约束、任务需求为导向、流程与管理松耦合特征.经验证,该方法有助于实现多型号并举环境下的科学计划编制.     

面向窄带环境的异地同步协同设计方法

采用多代理结构和对操作系统的内封装，将应用程序的操作命令提取出来，在异地系统间共享。讨论了建立面向窄带环境的异地同步协同设计支撑平台的关键技术，在体系结构上提出了一个基于操作信息共享的C／S结构。其中服务器上采用的协同管理方式和流量调节技术有效地保证了窄带环境的实施；客户机端的事件驱动与响应机制则严格实现了异地同步协作。按照这种思想建立的操作平台能够支持在地理上分布的工作团队通过低带宽的Internet，安全、实时地进行基于三维图形的异地协同工作。     

狩猎经济文化类型的当代变迁——鄂伦春族、鄂温克族猎民生计调查

进入21世纪不久，随着中国最后一个狩猎部——敖鲁古雅鄂温克民族乡猎民的整体生态移民，狩猎—采集作为一个独立的经济文化类型，在中国悄然消失了。这一文化变故，不仅对于当事民族来说是头等大事，而且对于整个中华民族的文化生态系统来说，也应该具有不小的震动。通过鄂伦春族狩猎文化经济类型的当代变迁、敖鲁古雅鄂温克民族乡生态移民、吉登嘎查鄂温克族猎民村弃猎转牧三个个案的调查，展现出狩猎经济文化类型所走过的坎坷道路和猎民目前的困难处境，并探讨成功弃猎转牧的条件和途径．     

基于强化协作博弈方法的双车道混合交通流特性

对元胞自动机引入Gipps跟驰模型,并结合改进的Q强化学习方法分别建立普通车辆及智能网联车的微观行驶策略,提出了一种新型的混合交通流演化仿真方法.然后,利用数值模拟方式对双车道交通环境进行仿真,探索智能网联车对混合交通流的动态影响.结果表明,相比于元胞自动机构建的普通车辆智能体,改进的Q强化学习方法训练的智能网联车智能体具备更强的连续时空环境适应能力,双车道环境下道路通行能力随着智能网联车渗透率的提升而增大,最高可提升45.34%.此外,智能网联车渗透率的提高会降低车群低效的换道行为,拓宽高通行能力水平下的车辆密度范围,有利于改善交通拥堵.     

北京高校毕业生就业信息网的设计与实现

目的 研究基于Ｉｎｔｅｒｎｅｔ的快速 与应变需求的多层分布式软硬件体系结构,方法 通过分析多种多级体系的结构及它们的优缺点,并根据北京市教委高校毕业生就业信息网的实际情况,设计一种具有动态负荷分担能力的多层分布式应用体系结构。结果 成功地建立了灵活,适应情况变化和开发的快速的北京教委毕业生就业信息网。结论该就业信息网为快速开发和实现企业级的各种复杂的Ｉｎｔｅｒｎｅｔ应用,提供李一个可供参考的解决方     

论合作性学习中的“合作”

文章结合多门课程合作性学习的教学实践,从师师合作、生生合作以及师生合作等环节,探讨了在合作性学习中如何才能实现有效的“合作”,即建立结构合理、思想一致的教学团队;合理划分学生的研讨小组,密切监督小组研讨活动,公正评价学生成绩;培养平等、信任的师生关系,建立畅通的师生交流渠道。     

采用可替代滤波器的卷积神经网络模型剪枝方法

将卷积神经网络模型中某一层的所有滤波器抽象到一个欧几里德空间,对其中能被其他滤波器共同表示的滤波器剪枝,降低滤波器冗余,避免精度损失.使用强化学习进行边训练边剪枝,经过微调恢复神经网络模型性能.结果表明:剪枝并微调后的神经网络模型精度损失较小,参数量与浮点计算量显著减少.     

怒族狩猎音乐文化略论

一个民族的音乐与其传统文化有着深厚的历史渊源,怒族的狩猎调《夏拉格》体现了其狩猎文化的内涵,此音乐具有很强的社会文化性,音乐中体现了文化,文化中包含了音乐。     

一种基于改进动态联盟算法的多机器人协作捕猎方法

多机器人协作捕猎,不仅需要解决目标搜索、追赶和避障等基本问题,还需要设计最优任务分配机制,构建高效追捕联盟,以便快速地捕获猎物。综合考虑机器人和目标之间的各种相关属性,定义量化标准,构造辅助决策矩阵,建立动态联盟。然后将基于生物刺激神经网络的追赶策略用于联盟形成后的追捕过程中。仿真实验表明该算法具有较高的围捕效率。     

基于信度分配函数的Agent强化学习算法

基于智能体 (Agent)系统强化学习原理和基于动态规划的Q -学习算法的基础上 ,提出了一种新的Agent强化学习算法 .该算法在Agent学习过程中不断调整Agent知识库的加权值 ,在强化学习的每个阶段 ,通过选取合适的信度分配函数来修正Agent强化学习动作的选取策略 .与标准的Q -学习方法相比 ,具有更加合理的物理结构 ,并且能保证算法收敛 .仿真实验说明该方法加快了标准Q -学习算法的收敛速度 ,具有较好的学习性能     

强化学习在自动驾驶技术中的应用与挑战

围绕强化学习在自动驾驶领域的应用进行了多方面的概括和总结。对强化学习原理及发展历程进行了介绍;系统介绍了自动驾驶技术体系以及强化学习在自动驾驶领域的应用所需的基础;按不同的应用方向分别介绍了强化学习在自动驾驶领域中的应用案例;深入分析了现阶段强化学习在自动驾驶领域存在的挑战,并提出若干展望。