模拟人类发散思维的测度值马尔可夫理论模型

本文提出测度值马尔可夫决策过程新模型.在此模型下,agent对环境的把握用测度概念来表示,于是agent则根据测度来决定自己的最优行动以得到最优策略,因此本文也提供了测度值马尔可夫决策过程的最优策略算法.该模型是部分可观察马尔可夫决策过程的推广,它反映人类思维的一个重要特征,人们在把握全部状态可能性(即对状态空间进行权衡度量)的态势下,思考问题并选择自己的最优行动.部分可观察马尔可夫决策过程只是它的一种特例.     

基于SMDP模型的Web服务组合优化方法

针对Internet环境的动态性和Web服务的不确定性,文章使用有限状态连续时间半马尔可夫决策过程(Semi-Markov Decision Process,简称SMDP)对服务组合进行建模,并给出了服务组合的Q学习优化算法,以获得最优的服务组合策略.通过仿真实验验证了该算法的有效性,仿真结果表明,使用动态的控制方法具...     

嵌入式通信系统中基于动态多因素的马尔可夫决策路由

为了适应嵌入式通信系统的资源匮乏性、多因素、异构性和对等性等特点,提出了动态多因素马尔可夫决策路由(DMMDR)算法,分析了算法的时间和空间复杂度,并设计了路由的建立过程和链路状态的更新策略.研究结果表明,该算法能综合考虑各种因素,均衡和减少计算量和存储需求,并避免环路的产生.     

基于改进马尔可夫决策过程模型的多机协同航路规划研究

该文针对多无人机在复杂环境下执行作战任务易受环境威胁影响的问题,提出一种基于改进马尔可夫决策过程模型的多无人机航路规划算法.利用离散化雷达威胁信息,设计多无人机作战环境与状态空间数目;将目标点方位空间离散化,进而合理分配状态转移概率;将雷达威胁与马尔可夫决策过程模型相结合,在无模型均匀结构的报酬函数基础上引入非均匀结构...     

求解有限马氏决策问题的神经网络方法

在有限马尔可夫决策过程的线性规划求解方法以及神经网络算法的基础上提出了运用神经网络求解有限马尔可夫决策问题的方法．并通过算例验证了该方法的有效性．     

考虑不确定因素的多模式城市交通网络路径决策

由于时间的波动性与突发事件的影响,多模式城市交通网络的运行时常伴随着各种不确定性情况的发生。通过考虑多模式交通网络的出行特点与交通网络不同的运行状态,建立了基于马尔可夫决策过程的多模式交通网络的路线决策模型与算法,所提方法应用到北京市多模式城市交通网络。结果显示,不同出发时间需要不同的路径决策以达到最小出行时间。基于马尔可夫决策过程的路径决策方法的有效性得到验证,它可以为出行者路线选择提供更合理的指示。     

基于隐偏向信息学习的强化学习算法

传统的强化学习算法应用到大状态、动作空间和任务复杂的马尔可夫决策过程问题时,存在收敛速度慢,训练时间长等问题.有效地学习和利用问题中包含的偏向信息可以加快学习速度,提高学习效率.在分析了偏向机制特点的基础上引入了隐偏向信息的概念,建立了一种基于偏向信息学习的强化学习模型,并提出了一种基于特征的改进SARSA(λ)算法.针对于推箱任务的实验表明,改进的算法明显提高了学习效率.     

基于策略迭代和遗传算法的 SMDP鲁棒控制策略求解

半马尔可夫决策过程(SMDP)描述的一类受控半Markov系统,其模型参数在实际中常常不确定或不可知,可能导致随机过程的性能函数和系统参数(即嵌入链转移概率和状态逗留时间分布)皆不确定。该文针对参数不相关的情况,给出求解鲁棒控制策略的迭代算法,并在迭代过程中引入遗传算法,以提高全局优化能力。数值例子表明,基于遗传算法的策略迭代应用于鲁棒决策问题中具有较好的优化效果。     

基于马尔可夫决策过程的社团演化干预

社团的演化往往是复杂多变的，如何对这些嵌入在网络中的社团进行个性化干预，使得不同的社团朝着不同的既定方向演化的研究逐渐成为社交网络领域的一个重要问题.在社团演化的干预框架下，基于状态转移视角，提出了基于马尔可夫决策过程的社团演化干预模型.该模型通过对社团状态维度分数与干预目标的综合考虑，确立社团演化过程与马尔可夫决策过程的对应关系，对社团演化中的状态、动作、回报进行精细建模，同时将社团演化期望回报与研究者的奖励相对应，对马尔可夫决策过程求解，实现对社团演化的干预.在不同社团数据集上的实验结果表明，基于马尔可夫决策过程的干预模型能够对社团的演化进行有效的干预.     

基于POMDP的可伸缩视频流优化决策调度

针对可伸缩视频流在无线通信中的数据包调度问题,提出了一种基于部分可观测马尔可夫决策过程（POMDP）的决策调度策略,在用户状态不确定或部分可观测条件下,采用POMDP建立了完整的最优化调度模型,以实现视频接收质量的最佳化.仿真实验结果表明,与传统的调度算法相比,该方法有效提高了视频流的平均峰值信噪比(PSNR).随着调度规模的扩大,其性能能够逐渐逼近用户状态完全确定的理想马尔可夫决策过程（MDP）模型.