具有多个向量约束的折扣马氏决策规划

文献[1]讨论了具有一个向量约束的折扣马氏决策规划,该文将约束最优问题化为一个Lagrange规划问题.但该文没有解决约束最优策略的存在性问题,也没有给出有效的算法.胡光华文中讨论了具有一个实数值约束的折扣半马氏决策规划.在适当的条件下,该文证明了存在混合平稳策略是约束最优策略,并给出了算法.文献[2]给出了在马氏策略类及平稳策略类中求约束最优策略的算法.     

具有递归报酬函数的马氏决策规划

本文所研究的马氏决策规划:{S,A,q_n,g},其中状态空间S、行动集A均为可列集,转移律q_n是非时齐的。报酬函数为     

平均模型的Bellman最优原理

本文讨论的平均模型为{S,(A(i),i∈S),q,r,(?)/(?)},其中状态空间S与每个行动集A(i)均为非空可数集;q为平稳的状态一步转移概率簇;r为报酬函数,一致有界。设Π、Π_s~d分别表示一般策略类和平稳策略类。