基于贝叶斯方法的多Agent强化学习

在多agentss强化学习(MARL)的研究中,很多都是强调MARL算法收敛于期望平衡解.然而,对于标准的强化学习,该过程需要对策略空间的充分探测,而且探测还经常受到惩罚或错失了良机.在多agents系统中,由于agents之间的协作使该问题更加复杂.为此,提出了在MARL用贝叶斯模型来进行最优探测,该模型与标准的RL模型不同,它将对agent的动作是如何影响其它agents的行为进行推理.同时,还给出了如何对最优贝叶斯探测进行处理以获得理想的结果,并通过与其它算法的比较来说明用贝叶斯方法的可行性.     

基于多步回溯Q(λ)学习算法的多目标最优潮流计算

为了克服传统的最优化算法面对复杂、非线性描述的多目标最优潮流时无法满足电力系统实时调度运行的这一缺点,提出了一种基于半马尔可夫决策过程的多步Q(λ)学习算法,该算法不依赖于对象模型,将最优潮流问题中的约束、动作和目标转换成算法中的状态、动作与奖励,通过不断的试错、回溯、迭代来动态寻找最优的动作.将该算法在多个IEEE标准算例中与其他算法进行比较,取得了良好的效果,验证了多步Q(λ)学习算法在处理多目标最优潮流问题时的可行性和有效性.     

K2与模拟退火相结合的贝叶斯网络结构学习

针对基于模拟退火的贝叶斯网络结构学习算法由于模型扰动方式遍历模型空间的能力不足,往往不能获得全局最优网络结构的问题,将K2算法与模拟退火算法相结合,提出了一种改进的贝叶斯网络结构学习算法.算法通过随机交换当前节点序中2个节点的位置以产生新的节点序,再利用K2算法学习获得贝叶斯网络结构,作为模拟退火算法中的新状态,以达到提高模型全局扰动能力的目的.算法记录了在模拟退火过程中遇到过的最优网络结构,并在模拟退火过程结束后再利用爬山法对其作进一步优化.对Asia网的仿真学习结果表明:在样本量较为充足的情况下,所提算法能够获得近似全局最优的网络结构,具有较好的学习效果,但算法的效率略显不足.     

关系学习中贝叶斯分类算法的比较研究

数据分类是数据挖掘的主要内容之一,通过分析训练数据样本,产生关于类别的精确描述.贝叶斯分类是数据挖掘领域中一种常用的有效分类方法.在关系学习中,贝叶斯分类算法有很多种,对这些算法进行总结、比较,指出其优点与不足,对提高分类效率有很大帮助.本文对已有的关系学习中贝叶斯分类算法作了详细的比较,并进行归纳总结.在单关系学习中重点介绍了几种基于粗糙集的贝叶斯分类器和加权贝叶斯分类算法,并分析了各种方法的模型、权值确定方法、优缺点及进一步工作方向.在多关系学习中主要比较了几种基于语义关系图的贝叶斯分类算法,重点介绍了MI-MRNBC模型.最后对本文工作进行了总结与展望,提出进一步工作方向是研究基于粗糙集的多关系贝叶斯分类算法.     

基于改进块贝叶斯学习的多通道心电信号重构

为提高可穿戴心电监护系统的重构精度，本文提出了一种结合多测向量模型的块稀疏贝叶斯学习心电信号重构算法，并在算法的求解过程中使用快速边缘似然最大化算法。对MIT-BIH心律失常数据库、MIT-BIH噪声测试数据库和PTB诊断数据库中心电信号的实验表明，相比于其它传统的压缩感知重构算法，该算法具有重构精度高、运行时间短的优势；相比于基于单测向量模型的块稀疏贝叶斯算法，该算法的重构精度提高了35%，重构速度提高至原来的8倍；在重构含噪声心电信号的情况下，该算法获得比其他重构算法更好的重构效果。因此，本算法在可穿戴心电监护系统中具有良好的应用前景。     

学习贝叶斯网络结构的混合粒子群算法

 针对直接使用粒子群算法进行结构学习效率较低的缺陷,基于无约束优化,提出一种贝叶斯网络结构学习的混合粒子群算法。该算法首先构造并求解一无约束优化问题,其最优解对应的无向图中的边可为结构学习提供一搜索范围,缩小粒子群算法的搜索空间,然后在缩小的空间中完成对贝叶斯网络的结构学习,从而提高了粒子群算法的学习效率。仿真试验结果表明,该混合粒子群算法可以快速、准确地学习到最优贝叶斯网络结构。     

基于贝叶斯-遗传算法的多值无环CP-nets学习

条件偏好网(Conditional Preference networks,CP-nets)是描述属性间条件偏好的图模型,多值无环CP-nets学习是重要的研究方向之一.区别于传统的CP-nets学习方法,提出基于贝叶斯方法和遗传算法的多值无环CP-nets学习.在偏好处理上以多值属性的完整偏序关系作为条件偏好,进行相关性关系判定.随后,基于贝叶斯方法,以单一父属性推出多父属性下的相关性关系,进行CP-nets结构学习.采用遗传算法在CP-nets结构搜索空间中进行搜索,求解最优结构.通过Delink算法进行去环,完成无环CP-nets学习.在寿司数据集上验证算法的有效性,实验结果表明,基于贝叶斯-遗传算法的CP-nets学习算法能够在有限时间内学习得到局部最优无环CP-nets.     

基于Dignet无监督学习聚类算法的智能火灾探测

介绍了一种基于Dignet ANN无监督学习聚类算法和自适应模糊控制算法的智能火灾探测算法模型.详细阐述了算法模型的思想和实现,给出了环境模式阈值自适应的方法和简单的多类型火灾探测器探测数据融合的方法,较好地解决了环境阈值的自适应问题.在实验室条件下利用欧洲标准火对算法进行了检测,结果表明该智能算法可以有效地对火灾进行探测.     

基于多传感器信息融合理论的交互式多模型算法

在经典的交互式多模型算法中,对似然函数的高斯近似以及概率密度函数与概率质量函数的混合计算使得所求得的模型概率仅为贝叶斯意义下的次优值.为解决此问题,基于各滤波器估计误差的相关性和多传感器最优信息融合准则,提出了一种重新加权的交互式多模型算法.该算法通过计算估计误差的互协方差阵对模型概率进行更新,在此基础上利用最优信息融合理论对各滤波器的滤波结果进行融合.理论分析及仿真结果表明:经过重新加权的交互式多模型算法较原始算法以及其他忽略误差相关性的交互式多模型的改进算法在估计精度上均有显著的提高.     

基于贝叶斯网络的列控车载设备故障诊断

针对目前高速铁路列控车载设备故障诊断过度依赖于专家经验且诊断正确率不高等问题,提出了以专家知识为基础,以贝叶斯网络为核心的故障诊断方法.首先,以CTCS3-300T型列车运行控制系统的车载设备为研究对象,建立基于专家知识的贝叶斯网络.其次,根据故障记录数据集使用K2算法进行结构学习并对学习后的贝叶斯网络结构做适当简约处理.利用极大似然估计算法进行参数学习,得到故障诊断的最优贝叶斯网络.最后,通过诊断推理,得到该故障诊断模型的诊断正确率为88.20％,验证了该贝叶斯网络模型的可行性和有效性.     

一般和对策中基于协商的多代理强化学习

一般和对策中,只考虑个体理性的多代理协作是一种无全局目标的协作.代理学习基于对手策略假设,不能保证假设的正确性.为此通过定义代理协作的集体目标,提出了一种基于多代理协商的代理强化学习算法.代理选择协商策略,并惩罚偏离该策略的代理来保证协商策略的执行.文中给出了学习收敛的条件及证明,并以实例加以分析.     

对称和非对称的启发式多Agent再励学习方法

针对解决对传统的多A gen t再励学习算法中,A gen t只能独立学习、不能合作学习的问题和启发式算法中只考虑了单个A gen t而没有推广到多A gen t的情况,给出了对称和非对称环境下的基于启发式的多A gen t再励学习算法。该算法基于A gen t之间的通信来获取其它A gen t的历史信息,以及动作选择策略,结合启发式算法思想,达到A gen t在学习过程中的合作的目的,最终提高学习的效率。以2个A gen t的2个状态3个动作选择为例,表明该算法的收敛速度高于传统分布式再励学习算法的收敛速度。     

认知无线网络中基于随机博弈框架的频率分配

为了解决认知无线网络中分布式的动态频率分配问题,采用随机博弈的框架,将认知链路建模成自私理性的智能体,并提出了一种以最大化平均Q函数为目标的多智能体学习算法—MAQ。通过MAQ学习,分布式的智能体可以实现间接的协商而不需要交互Q函数和回报值,因为智能体的决策过程需要考虑其他用户的决策。理论证明了MAQ学习算法的收敛性。仿真结果表明,MAQ算法的吞吐量性能接近中心式的学习算法,但是MAQ只需要较少的信息交互。     

基于Markov对策和强化学习的多智能体协作研究

MAS的协作机制研究,当前比较适用的研究框架是非零和Markov对策及基于Q－算法的强化学习。但实际上在这种框架下的Agent强调独立学习而不考虑其他Agent的行为,故MAS缺乏协作机制。并且,Q－算法要求Agent与环境的交互时具有完备的观察信息,这种情况过于理想化。文中针对以上两个不足,提出了在联合行动和不完备信息下的协调学习。理论分析和仿真实验表明,协调学习算法具有收敛性。     

分布式开放环境中的多agent合作模型

分析了动态性和不可预测性给分布式开放环境中多ａｇｅｎｔ合作带来的问题，提出了解决这些问题的一个通用多ａｇｅｎｔ合作模型。该模型说明了如何运用联合意向概念将多个ａｇｅｎｔ的个体行为统一为一集体行为，论述了如何将该合作模型映射到计算实现上－包括ａｇｅｎｔ的体系结构、多ａｇｅｎｔ合作过程以及意外事件处理过程。     

基于社会利益划分的多智能体系统模型

基于社会利益的差异将社会划分为阶层、利益集团和个人,利用这种划分建立了基于多智能体的知识获取与发现的SEBI模型,提出了在SEBI系统中智能体喜好信息表与喜好地址表相关联算法,通过地址表进行通信和信息交互以及根据反馈信息修改自己思维状态的思想。这些算法保证了SEBI系统具有搜索信息范围小、效率高和自动改善性能等特点。     

论贝叶斯学习机的学习过程

贝叶斯学习是机器学习研究的一个重要方向,它是以贝叶斯定理为基础,基于已知的概率分布和观察到的数据,并结合先验知识进行推理,作出最优决策的一种概率手段. 本文首先针对参数和变量的不同类型分别给出四种情形的贝叶斯公式,然后结合一个指数分布的特例,研究了贝叶斯学习过程中有关信息的转换过程,指出了如何合理正确地利用先验信息、模型信息和样本信息.     

基于贝叶斯网络的分类器研究

研究了贝叶斯分类器家族中具有代表性的分类器，即朴素(naIve)贝叶斯分类器、贝叶斯网络分类器和TAN(tree augmented Bayesian)分类器；发现属性变量之间的依赖相对于属性变量与类变量之间的依赖是可以忽略的，因此在所有树形分类器中TAN分类器是最优的．     

贝叶斯网络结构学习的双重K2算法

贝叶斯网络源于人们对人工智能领域不确定性问题的研究,是进行不确定问题推理和数据分析的重要工具。结构学习是贝叶斯网络研究的核心内容,K2算法是结构学习的经典算法之一。为解决K2算法学习效果强烈依赖于节点序的问题,本文提出一种新的混合结构学习算法：双重K2算法。该算法首先将节点信息作为初始节点序,通过K2算法的搜索策略得到初始网络结构;然后在初始网络结构上利用拓扑排序得到修正后的节点序;最后K2算法通过修正后的节点序学习得到最优的网络结构。通过实验验证,在精度和效率上,双重K2算法效果优于其它经典算法。     

基于混合差分进化算法的试井分析最优化方法

摘要：试井参数优化是对通过测试得到的油气井井底流压及产量数据得到的油气藏模型参数进行优化处理,得到最符合油气藏实际情况的参数。试井存在多解性,以往使用的最优化方法要求目标函数连续可微,受初值影响较大,是属于寻找局部最优解的办法。为此,提出了一种混合差分进化算法的试井分析最优化方法。将标准差分进化算法加以改进,与模拟退火算法和小生境思想结合在一起,构成一种混合差分进化算法,该算法在保证算法全局搜索能力的同时,能更快地收敛到非线性问题的最优解。进一步将该算法应用到试井分析中,构建了基于混合差分算法的试井分析方法,不需要估计井筒和油藏参数的初值,也不要求目标函数连续可微,优于标准差分进化算法。通过实测试井资料分析,与 L–M 方法相比,效果良好。