Markov控制过程基于神经元动态规划的优化算法

论文在Markov性能势理论基础上,研究了Markov控制过程在神经元网络等逼近结构表示的随机平稳策略作用下的仿真优化算法,分析了它们在一个无限长的样本轨道上概率1的收敛性,并给出了一个三－状态受控Markov过程的数值实例。     

隐马氏模型中的标量估计

通过测度变换的方法构造一个概率空间,利用观测变量在该构造空间中独立的性质,研究了一类在实际中应用广泛的隐马尔可夫模型———零延迟隐马尔可夫模型;然后通过测度的逆变换,将构造空间中得到的结果返回到实际的空间中来,克服了通过半鞅的方法得到标量估计的困难。最后给出了零延迟隐马尔可夫模型中标量估计的一般公式,并且应用该公式给出了状态、跳跃次数、状态到达次数等标量估计,以阐明该方法的应用。     

一类连续时间Markov链的灵敏度分析和性能优化

从连续时间Markov链(CTMC)性能势的角度,借助于定义的折扣Poisson方程,给出了CTMC基于性能势的灵敏度公式及折扣代价准则(简称折扣准则)下的最优性方程.此外,建立了在折扣准则与无穷时间平均代价准则(简称平均准则)下灵敏度公式及最优性方程之间的联系.     

一类非线性Markov跳跃系统的自适应跟踪

研究一类非线性Markov跳跃系统的自适应跟踪问题．首先给出了定性描述该系统跟踪控制器的充分条件，然后给出了在系统不确定情况下的自适应跟踪控制律．最后通过一个数值算例说明了所设计的自适应跟踪控制律的性能．     

带有状态噪声的连续时间的Kalman—Bucy滤波器(英文)

本文应用由T.Kailath在[1]中介绍的新息法导出了比[2]、[3]更具有一般性的,带有状态噪声的连续时间的Kalman-Bucy滤波器。     

M/G/1排队系统的性能灵敏度估计与仿真

对具有一般分布的排队系统-M／G／l排队系统给出了一种通过其嵌入Markov链来计算系统势能及性能导数的仿真算法。由于该算法基于分析系统的一条单一样本轨道，故可直接用于系统的控制与优化。最后提供一个数值例子来表明该算法的应用。     

在生物资源开发和利用中的最优化问题

一、几个最基本关系在生物资源的开发和利用中,常考虑由如下常微分方程描述的模型: x(t)=F(x)-h(t)。 (1)其中t是时间;x是t时刻某种生物资源的存在量;F(x)表示当存在量是x时,某种生物资源的自然增长函数;h(t)是t时刻对这种资源的收获量或捕获量。     

一类不确定混合线性时滞系统鲁棒控制问题研究

讨论了一类不确定混合线性时滞系统在其Markov跳跃参数所处模态非精确可测得情况下的鲁棒控制问题。给出了非匹配条件下系统不确定部分范数上界已知时,使系统呈均方意义下指数稳定的保代价控制充分条件。并根据混合系统模式下的LaSalle稳定性定理,对匹配条件下系统不确定部分的未知范数上界给出了一种参数自适应估计方法,设计了相应的鲁棒自适应控制律以实现混合线性时滞系统以概率1渐近稳定。鲁棒自适应控制律的设计仅依赖于跳跃参数的非精确测量值。     

串联易故障制造系统的最优控制规划

讨论了双机串联易故障制造系统的最优控制问题，在系统中机器以一定的概率损坏或得到修复．在固定的期望产出率条件下，所选取的优化目标是缓存器存储量的函数并以折扣代价形式给出．给出了使目标函数最优的控制策略，并给出了可用于策略选取判定的门限值的解析解描述．