一种基于PIO改进强化学习的航天器复杂多约束姿态机动规划新方法

本文针对多个姿态约束条件下的航天器姿态机动规划问题进行了研究,提出了一种基于鸽群算法的改进的策略梯度强化学习算法(PIOPGRL).首先,针对强制指向约束和禁止指向约束,建立了基于角度的姿态约束模型,根据约束模型建立了强化学习的回报函数.然后,使用适应度函数替代策略评价函数,将鸽群算法与强化学习相融合.针对策略梯度强化学习算法计算量大、收敛速度慢的问题,使用鸽群算法求解策略梯度,极大减少了计算量.仿真结果表明,相比于策略梯度强化学习算法,基于自PIO改进强化学习的航天器姿态机动规划算法(PIOPGRL)在极大减少计算量的同时,有更优的规划结果,更小的机动代价,适用于微小航天器解决多个姿态约束条件下的姿态机动规划问题.     

基于深度强化学习的不完美信息群智夺旗博弈

复杂环境中群智博弈问题是近年来的研究热点之一.为解决不完美信息条件下多智能体夺旗博弈问题,本文提出了一种基于多智能体双重决斗深度Q网络(multi-agent dueling double deep Q-network, MAD3QN)以及图注意力网络(graph attention network, GAT)的多智能体夺旗博弈深度强化学习算法(G-MAD3QN).该算法在实现多智能体在迷宫地图中路径规划的同时,建模不完美信息条件下多智能体合作与竞争关系,从而确定夺旗博弈策略.在实验中,本文基于二维迷宫环境,考虑智能体观测信息不完美条件,将G-MAD3QN算法与多智能体深度Q网络(multi-agent deep Q-network, MADQN)、MAD3QN等多智能体深度强化学习的基线算法进行对比,从而验证了在二对二夺旗博弈中本文G-MAD3QN算法的有效性.     

启发式极性决策算法解SAT问题

提出了一种启发式极性决策的可满足性问题（SAT）新算法.该算法继承了当前SAT解决器的许多策略：快速BCP、子句记录、重启动搜索等.同时,该算法通过预先根据Karnaugh图的覆盖分布计算变量极性,将其加入到DPLL的决策过程中,大大降低了搜索过程中的冲突次数.实验表明采用该算法的解决器——DiffSat,能够解决许多目前最有效的解决器Zchaff和MiniSat所不能解决的实例.尤其是对于Bart基准系列中的每个实例,DiffSat都能够在0.03s内解决,而Zchaff和MiniSat在给定的900s内不能够解决大部分实例.而且,DiffSat解决器在某些实例上的特性远远优于具有代表性的基于不完全随机算法的解决器DLM.     

基于深度强化学习的泛在电力物联网综合能源系统的自动发电控制

包含超大规模分布式能源、负荷以及冷热电联产的泛在电力物联网的综合能源系统是未来发展趋势.由于泛在物联将给电网带来强的随机扰动问题,传统的自动发电控制(automatic generation control, AGC)方法已无法满足如此大规模复杂综合能源系统的频率稳定.机器学习是解决复杂能源系统AGC强随机扰动的一种有效方法.然而这种超大规模的泛在物联将给AGC求解带来维数灾问题.本文针对DDQN-AD(double deep Q networkaction discovery)算法中经验缓存机制构建问题,提出了一种基于比例优先级采样机制的深度强化学习算法PRDDQN-AD(prioritized replay DDQN-AD),以解决机器学习中多维状态-动作对的维数灾问题,进而解决泛在电力物联网综合能源系统模式下的随机扰动问题.对源网荷储协同的两区域综合能源系统模型和集成了大量源、网、荷、储及冷热电联产的多区域泛在电力物联网综合能源系统模型进行仿真.结果表明,与改进前的DDQNAD算法相比, PRDDQN-AD能够提升训练样本的质量,具有良好的学习效率和泛化性能,能够解决维数灾问题;与其他智能算法相比,其收敛速度和控制性能均有明显提升,可获得区域最优协同控制.     

考虑夹具-托盘组合优化的多资源约束柔性作业车间智能调度

针对多产品混合加工车间中有限夹具-托盘资源引发的生产力制约问题,提出了考虑夹具-托盘组合优化的多资源约束柔性作业车间智能调度方法.首先,以最小化最大完工时间为目标建立了基于设备-夹具-托盘三资源约束的混合整数规划模型.其次,设计了基于可行性修复和自学习型变邻域搜索的改良遗传算法并进行求解,提出了种群染色体初始化、交叉、变异过程中的可行性修复策略,在算法迭代中后期引入三种变邻域搜索方法并构建搜索策略知识库,自学习地求得最优解.最后,基于工业大数据生成算例,并通过数值实验证明了该算法具备求解精度和求解时间上的双重优越性,可有效解决设备-夹具-托盘约束下的柔性作业车间调度问题,为加工车间的生产排产智能化转型提供有力支持.     

基于免疫果蝇混合优化算法的多配送中心选址问题研究

针对具有NP难性质的多配送中心选址问题,利用果蝇优化算法,对免疫算法进行了优化,提出将果蝇优化算法与免疫算法相结合的免疫果蝇混合优化算法。通过与传统免疫算法的matlab仿真结果对比,使用免疫果蝇混合优化算法解决多配送中心选址问题能够快速收敛于全局最优解并优化选址模型,为解决多配送中心选址问题提供了一种新途径。     

基于神经网络的Q学习在Khepera Ⅱ机器人避障中的应用

为了提高移动机器人的自主学习能力,在传统的机器人行为控制结构基础上设计了智能控制结构,同时引入了基于神经网络的Q学习模块算法,克服了传统算法只能应用到离散状态中的不足.移动机器人的避障实验结果表明,该方法能够使移动机器人通过自学习实现自主避障.     

多项目交互组合选择模型的改进粒子群优化研究

为解决多项目之间发生交互作用时的项目选择和组合优化问题,在已有优化模型的基础上,提出改进的粒子群算法,利用种群间跳跃改进的方法增强了粒子的搜索性能,并通过聚类和干涉的方法,防止算法陷入局部最优,有效求解多目标优化模型,最后利用算例分析证明模型和算法的有效性。     

考虑交互与决策者偏好的项目组合改进蚁群优化算法研究

针对在战略项目管理中起关键作用的交互项目组合选择问题,结合考虑决策者偏好的非级别高于模型与交互项目组合模型,得出待搜索的问题模型,并将项目间的协同、冲突和冗余效应同时引入到模型设计中,使其更加完备。通过改进蚁群算法对最优解完成搜索,解决了有效解少、搜索收敛速度慢的问题。算例通过两组对比实验和结果分析验证了模型和算法的有效性和可靠性。     

一种具有记忆自学习能力的快速动态寻优算法及其无功优化求解

针对传统人工智能在随机复杂环境的适应及交互能力较低问题,有机地将经典强化学习Q(?)算法与多主体协同行为进行高度融合,提出了一种具有记忆自学习能力的快速动态寻优算法.该算法通过与外部环境反复的交互来进行自学习改进,并利用值函数矩阵储存状态-动作对记忆,提出了联系记忆方式,有效地对传统Q(?)算法的动作空间进行降维处理,减小了记忆矩阵的规模;基于多主体协同合作的概念,采用多个主体同时对记忆矩阵进行迭代更新,明显提高了更新速度;在预学习形成良好的记忆后,能快速地进行在线动态优化.最后,文章利用电力系统经典无功优化模型进行了算法测试,IEEE 118节点和IEEE 300节点标准算例仿真表明:本文所提算法在保证较高收敛性的同时,寻优速度能提高到遗传算法、蚁群算法、粒子群等传统人工智能方法的5~40倍,非常适用于大规模复杂电网的在线滚动无功优化.     

基于神经系统与免疫系统调节机理的Memetic计算

Lamarck学习理论已被引入进化计算,能有效提高其局部搜索能力,逐步发展成为进化计算的新热点-Memetic计算.文中从神经系统与免疫系统在生物机体内的整合调节机理,提出了免疫Memetic计算模型,设计了模拟神经系统对免疫反应单向调节的Lamarck学习策略,并针对数值优化问题,提出了基于Lamarck学习的免疫Memetic算法.该算法结合了免疫算法和传统数学规划算法的不同特性,具有较理想的搜索性能.基于10个低维和10个高维基准测试问题的仿真结果表明,基于Lamarck学习的免疫Memetic算法与基于遗传算法的基本Memetic算法相比具有明显的优越性.     

基于环形DNA分子的一种求解最大集团的计算模型

文中提出了一种基于环形DNA分子的新型计算模型.该模型的核心构成包括环形DNA分子,链霉亲和素包被的磁珠及环化酶.通过应用该模型解决了一个5个顶点的最大团问题,证明了该模型的可行性.在整个计算过程中,真解的搜索是借助于磁珠和环化酶,DNA分子结构在线性和环形之间相互转化.环形DNA分子的应用极大地减少了计算所需的时间和空间,算法的时间和空间复杂度均为O(n+m).对于解决一个n个节点的最大团问题,这种算法和枚举型算法相比,在搜索过程中所需试管数较少,只需n+1个试管,而利用枚举型算法则需要2n个试管.另外,文中构建的非枚举型初始解空间大大提高了DNA计算机的存储和计算能力.在将来,这种新型的DNA计算模型或许会成为一种解决某些NP完全问题的有效工具.     

一种基于WL算法的加速方法

本文对WL算法和其加速方法TSVQ进行研究。通过对搜索范围的分析提出了一种通过设置搜索带、减少匹配点搜索范围的方法来确定搜索区间，并进行了实验验证。实验证明与TSVQ加速方法相比，本方法能够使合成速度大大提高，并且算法实现上更简单。     

开放环境中基于自适应分布控制的群体机器人多目标搜索方法

多目标搜索问题是群体机器人一个重要的研究方向.现有工作多集中在带边界空间内的多目标搜索问题,而在开放环境中,探索机制会导致群体分散性过强而减弱探索能力.本文通过引入自适应扩散回归策略,在带有假目标的开放环境中,提出了具有高鲁棒性和适应性的群体机器人多目标搜索算法.文中首先从初始状态和处理假目标两方面对现有的主流群体机器人多目标搜索算法进行优化;基于机器人分布控制,本文对自适应群体机器人粒子群优化算法进行优化,提出基于自适应分布控制的群体机器人粒子群优化算法;其次,基于概率有限状态机搜索算法(PFSMS)对开放环境中的多目标搜索算法进行进一步的探索,本文以搜索时间为切入点,在PFSMS原有三种状态的基础上,添加回归状态作为附加状态,提出了基于自适应分布控制的概率有限状态机搜索算法(DPFSMS).当智能体的探索时间超过阈值时,智能体的速度由回归分量和扩散/搜索分量构成. DPFSMS算法给出了在无边界开放环境中的搜索策略,通过限制群体的扩散速度来自适应地调整智能体在无适应度值区域的运动随机性.最后,本文将DPFSMS算法与现有方法进行了对比,在对比实验中DPFSMS算法取得了目前最好的效...     

基于流形鸽群优化的智能合约重入性漏洞检测方法研究

重入性漏洞在智能合约中普遍存在,可能造成巨大的经济损失.现有的基于符号执行的静态分析工具通过预设的规则判断漏洞是否存在,然而预设规则不全面可能会导致重入性漏洞的误报.为了避免误报,本研究尝试从软件测试用例生成的动态分析角度解决这一难题.本文将该应用场景抽象为存在重入性循环路径的路径覆盖测试用例自动生成问题,通过生成并执行覆盖重入性循环路径的测试用例来检测重入性漏洞.以鸽群算法为代表的群体智能算法是求解测试用例生成这类黑盒优化问题的常用方法.鸽群算法在整个决策空间内围绕种群最优解邻域搜索,然而,问题的最优解可能并不在该邻域内,导致路径覆盖率较低.为了提升鸽群算法的路径覆盖率,本文将利用流形启发式算子改进鸽群算法,使其分配更多的算力搜索与优化目标相关的子空间,从而提升鸽群算法求解效率,覆盖重入性循环路径.实验结果显示,改进后的流形鸽群算法能够更加高效地生成覆盖重入性循环路径的测试用例,检测出被测合约的重入性漏洞.与Oyente, Securify和Smartcheck这三个智能合约测试工具相比,本文提出的方法能够有效避免重入性漏洞的误报,在实验的8个被测试智能合约中重入性漏洞识别准确率分别...     

基于D-S理论的分布交互式多传感器联合概率数据互联算法

为了解决杂波环境下利用分布式多传感器系统跟踪多机动目标的问题，提出了一种分布交互式多传感器联合概率数据互联算法,该算法对每个传感器应用交互式联合概率数据互联法滤波，并将模型概率、状态估计等滤波结果送至融合中心．融合中心首先对各目标进行航迹相关判别并应用D-S证据理论对不同传感器关于同一目标的各模型概率进行融合，然后依此模型概率计算各目标状态估计并反馈至各传感器．最后给出了该算法的分析，仿真结果表明本算法能够很好地解决杂波环境下多传感器多机动目标的跟踪问题．     

基于具有时间隧道思想的多智能体强化学习的智能发电控制方法

解决雾霾问题的重要途径之一是大规模引入新能源,以减少碳排放.而新能源大规模接入会给互联电网带来强随机扰动.本文提出一种基于时间隧道的多智能体新算法——PDWoLF-PHC(λ)算法.该算法基于变学习率,有效获取最优控制,可解决传统集中式AGC难以解决的新能源及分布式能源大规模接入互联电网所带来的随机扰动问题,促进新能源与电力系统兼容.对改进的IEEE标准两区域负荷频率控制电力系统模型、智能配电网模型以及华中电网模型进行仿真,结果显示该算法可减少碳排放,提高新能源利用率,与已有智能算法相比具有更快的收敛速度及更强的鲁棒性.     

平衡探索与利用的广义鸽群优化算法

为了平衡鸽群优化算法的探索与利用能力,本文提出了一种广义鸽群优化算法.传统的鸽群优化算法包含两种优化算子,分别为地图与指南针算子和地标算子.这两种算子依次执行,在一次算法运行中,仅执行一轮迭代.在广义鸽群优化算法中,将算法搜索分为多个阶段,每个阶段分别执行两种算子.在算法的一次运行中,两种算子执行多轮.地图与指南针算子侧重于算法的探索能力,而地标算子侧重于算法的利用能力.改进算法仅改变了两种算子的执行顺序,无需增加额外的函数值计算.此外,广义鸽群优化算法扩展了解集合结构和算子参数设置,这对于提高算法的搜索质量大有裨益.在11个单目标测试函数和8个多模态优化测试函数上进行仿真对比试验,结果表明广义鸽群优化算法提高了鸽群优化算法的搜索效率,改进了算法的搜索结果.     

基于伪杂交混合遗传算法的机构运动链同构识别

机构运动链同构识别是NP难问题,本文将运动链等价转换为拓扑图,运用图的同构识别原理判断运动链同构。本文高效结合遗传算法和局部搜索算法,并提出伪杂交算子,预杂交的两个体相互根据对方的元素排列信息重新对自身的元素进行排列,而不是实际的交叉,这一算子不但避免了个体中重复元素的出现,而且能够拓展搜索空间,加快收敛;用本算法与一种神经网络算法进行比较,结果证明了本算法的高效性和优越性。     

基于人工免疫响应的线性系统逼近

提出一种基于人工免疫响应的线性系统逼近算法．给出了人工免疫响应的四元组模型，为免疫响应过程建立了一个可用于工程计算的数学模型；设计了克隆选择、免疫记忆和免疫调节等具体操作，模拟了抗体克隆选择、免疫记忆、基因免疫、免疫耐受等现象，实现了人工免疫响应的记忆学习，基于抗体群的随机状态转移过程，证明了新算法具有全局收敛性．基于两个典型的稳定或非稳定线性系统逼近问题的数值试验表明，无论在固定的区间内搜索还是在动态扩展的区间内搜索，人工免疫响应算法都能得到线性系统的最优逼近模型，算法是有效的。