农田灌溉的马尔可夫决策规划模型

本文应用离散时间的马尔可夫决策规划(MDP)的原理和方法,建立了农田灌溉的MDP模型。同时,给出了求解(择优)的算法,并对一个简化的例子进行了实际求解。最后,讨论了模型的进一步发展。     

基于POMDP的可伸缩视频流优化决策调度

针对可伸缩视频流在无线通信中的数据包调度问题,提出了一种基于部分可观测马尔可夫决策过程（POMDP）的决策调度策略,在用户状态不确定或部分可观测条件下,采用POMDP建立了完整的最优化调度模型,以实现视频接收质量的最佳化.仿真实验结果表明,与传统的调度算法相比,该方法有效提高了视频流的平均峰值信噪比(PSNR).随着调度规模的扩大,其性能能够逐渐逼近用户状态完全确定的理想马尔可夫决策过程（MDP）模型.     

马尔可夫决策规划与采掘计划优化

应用马尔可夫决策规划（MDP）模型对采掘计划进行了费用优化。     

舰船冷却水系统多智能体自治状态重构方法

针对现代舰船运行环境的不确定性和动力平台集成管理智能化的需求,以舰船冷却水系统为研究对象,研究了其在不确定性条件下基于多智能体（Agent）自治决策模型的状态重构方法.通过将该系统的状态重构问题看作松耦合的马尔可夫决策过程（MDP）,建立了其基于MDP的多Agent自治决策模型.使用遗传算法对决策空间进行全面搜索得到最优策略,并通过数值计算验证了其性能.在获得的最优策略的指导下,实现了冷却水系统的自动状态重构.该方法能够提高冷却水系统的自主决策水平和任务效率.     

多Agent系统中任务分配问题的分析与建模

针对多Agent系统(MAS)内外环境变化所产生的不确定性和任务分配序列决策的要求,利用马尔科夫决策过程(MDP)模型对MAS中的动态任务分配问题进行了分析和建模.其中,状态空间由各Agent的当前负载和待分配的任务组成,每一状态下有多种任务分配方案,利用迭代方法可以获得最佳的任务分配方案以实现系统长期收益最大化的目标.仿真实验表明,MDP模型可以合理地模拟MAS中任务分配的运作过程,并在小规模环境下方便地获取最优任务分配策略.     

模拟人类发散思维的测度值马尔可夫理论模型

本文提出测度值马尔可夫决策过程新模型.在此模型下,agent对环境的把握用测度概念来表示,于是agent则根据测度来决定自己的最优行动以得到最优策略,因此本文也提供了测度值马尔可夫决策过程的最优策略算法.该模型是部分可观察马尔可夫决策过程的推广,它反映人类思维的一个重要特征,人们在把握全部状态可能性(即对状态空间进行权衡度量)的态势下,思考问题并选择自己的最优行动.部分可观察马尔可夫决策过程只是它的一种特例.     

基于隐偏向信息学习的强化学习算法

传统的强化学习算法应用到大状态、动作空间和任务复杂的马尔可夫决策过程问题时,存在收敛速度慢,训练时间长等问题.有效地学习和利用问题中包含的偏向信息可以加快学习速度,提高学习效率.在分析了偏向机制特点的基础上引入了隐偏向信息的概念,建立了一种基于偏向信息学习的强化学习模型,并提出了一种基于特征的改进SARSA(λ)算法.针对于推箱任务的实验表明,改进的算法明显提高了学习效率.     

马氏决策向量过程模型初步研究

在传统马氏单元决策过程(MDP)模型中引入多元行动来确定系统的状态转移概率,通过运用传统MDP的基本理论以及结合多元行动集、决策向量、相合度等新定义,提出了马氏向量决策过程模型.     

异构网络中基于最小二乘权值法的MDP垂直切换算法研究

文中将多属性QoS考虑在内,针对业务特点,提出一种基于最小二乘(LS,Least Square)权值法的MDP(Markov decision processes,马尔可夫决策过程)(LS_MDP)垂直切换算法.为了评估性能,考虑3GPP定义的两类业务,根据业务特点,利用LS法获得决策者对指标的权重向量;接着利用MDP分析方法进行垂直切换判决.通过对算法的性能分析,可以看出LS_MDP算法能够根据各业务特点综合考虑各属性间关系,获得优良的系统性能.     

基于马尔可夫决策过程的社团演化干预

社团的演化往往是复杂多变的，如何对这些嵌入在网络中的社团进行个性化干预，使得不同的社团朝着不同的既定方向演化的研究逐渐成为社交网络领域的一个重要问题.在社团演化的干预框架下，基于状态转移视角，提出了基于马尔可夫决策过程的社团演化干预模型.该模型通过对社团状态维度分数与干预目标的综合考虑，确立社团演化过程与马尔可夫决策过程的对应关系，对社团演化中的状态、动作、回报进行精细建模，同时将社团演化期望回报与研究者的奖励相对应，对马尔可夫决策过程求解，实现对社团演化的干预.在不同社团数据集上的实验结果表明，基于马尔可夫决策过程的干预模型能够对社团的演化进行有效的干预.