具有平均准则的离散马氏规划——最优平稳策略存在的较弱条件

本文讨论了离散参数马氏规划(简记为DTMDP)的最优策略存在问题,对状态空间和行动集均为可列集的模型,给出了保证平稳最优策略存在的条件。     

非时齐折扣马氏决策规划（二）：矩最优准则

本文讨论一类非时齐折扣马氏决策规划的总折扣报酬的k（≥1）矩和矩最优问题,得到k矩和矩最优策略存在的一个充要条件;并将k矩最优问题化为同类型的一个马氏决策规划的一阶矩最优问题,从而也解决了这类模型的k矩最优策略的结构问题.     

无界报酬向量值折扣马氏决策规划

本文建立了一类无界向量值报酬折扣马氏决策规划,在一组无关向量生成的凸锥确定的序关系下,讨论了模型最优策略的存在性;给出强最优策略存在的必要充分条件;指出最优策略的自组合、凸组合策咯仍是最优策略;还证明了平稳策略在一般策略类中的优势。     

具有多项式报酬率的连续时间平均马氏决策规划

本文讨论了状态空间可列、行动集为一般点集且具有多项式无界报酬率的连续时间平均马氏决策问题。在对折扣最优报酬函数的适当假设下,证明了平稳最优策略的存在性,所用的条件比以往的工作弱得多。     

无界报酬折扣半马氏决策模型矩最优策略的结构

本文研究具有可数状态空间和任意行动空间的Lippman型无界报酬折扣半马氏决策模型(DSMDM)矩最优策略的结构.证明了:若策略π,σ是(K)矩最优的.则π~nσ及π的任一自组合策略也是(K)矩最优的,且存在与π等价的(K)矩最优策略π~(?),使~nπ~(*hn)为(K)矩最优的;存在(K)矩最优策略的充要条件是(K)矩最优行动集A_K(i)非空;策略π为(K)矩最优当且仅当π_n(A_K(i)|H_n,i)=1,α.e.P_(πn);π为(K)矩最优策略的又一充要条件是它可分解为若干个确定性(K)矩最优策略的一个凸组合.这样,该模型矩最优策略的结构就得到了较完满的解决.     

无界报酬折扣半马氏决策模型矩最优策略的存在性

本文在矩最优准则下讨论具有可数状态空间和任意行动空间的Lippman型无界报酬折扣半马氏决策模型。对任意ε>0,证明了k阶矩ε-最优平稳策略的存在性,从而一般策略类中的矩最优性等价于平稳策略类中的矩最优性。(k-1)矩最优策略π为(k)矩最优的充要条件是(-1)~(k 1)V_k(π)满足最优方程,这里V_k(π)为使用π时的总折扣报酬的k阶矩。对平稳策略,给出了折扣报酬的各阶矩的递推公式,如果每个状态可用的行动集为有限集,证明了矩最优平稳策略的存在性,并建立了构造所有矩最优平稳策略的迭代算法。     

一般状态空间无界报酬折扣半马氏决策规划

本文讨论在一般状态和行动空间下,Lippman[1]的无界报酬折扣半马氏决策规划的ε(≥0)最优平稳策略的存在性问题,最优策略的性质及这类模型的不变问题,最后给出在有限行动空间下不变问题最优策略的一种算法。     

周期马氏决策规划及其线性规划算法

讨论了折扣周期马氏决策模型的最优策略的结构,并给出了其线性规划算法.     

向量值有限平均MDP

讨论了向量值离散时间平均准则下的有限马氏决策模型；在采取确定性平稳策略时所得马氏决策过程为遍历的假设下，证明了存在一个至多在Ｋ－１个状态是随机的平稳最优策略，并给出了其线性规划算法。同时证明了存在强最优策略的充要条件是其存在强确定性平稳最优策略。     

半马氏MDP平均模型

研究了半马氏ＭＤＰ平均模型，提出了新的较弱的假设条件，证明了半马氏ＭＤＰ平均模型最优方程解的存在性，然后从最优方程出发，证明了存在ε（≥０）－最优平稳策略。