基于Q学习的有限时间随机线性二次最优控制

针对系统状态和控制均依赖于噪声的随机线性离散时间系统,采用基于值迭代的Q学习迭代算法求解模型参数部分未知的有限时间随机线性二次(SLQ)最优控制问题。首先给出SLQ最优控制问题可达性条件和适应性条件,并通过矩阵拉格朗日乘子算法得到最优控制增益矩阵序列以及相应的随机代数Riccati方程(SARE)。其次,以值迭代算法为基础定义Q函数,利用Q学习迭代算法获得每个最优控制增益矩阵所对应的迭代控制增益矩阵序列和H矩阵序列。该算法依赖于系统状态信息,摆脱了系统模型参数部分未知的限制,并证明控制增益矩阵序列收敛到各自的最优控制增益矩阵,H矩阵序列收敛到各自的最优H矩阵。最后通过一个仿真实例说明了Q学习迭代算法的有效性。     

线性随机系统的最优反馈控制及拟Riccati方程的解

主要研究了多维线性随机系统在非二次的目标泛函下的最优控制问题,给出了最优闭环控制以及系统对应的拟Riccati方程的表达式,讨论了特殊情况下的拟Riccati方程的经典解的存在惟一性,最后还求出了一类拟Riccati方程的经典解并通过求解拟Riccati方程得到了最优投资组合的解.     

奇异LQ最优控制的线性迭代计算方法

利用经典线性二次最优控制的Riccati方程的线性迭代法研究一类奇异线性二次最优控制问题.对于线性迭代序列的收敛性进行了分析并且给出了算法.该算法通过3个例子得到验证.     

多输入随机系统的线性二次微分对策

对多输入随机系统的线性二次控制问题进行了研究.针对性能指标是状态及控制向量的二次泛函的情况,给出了二人非零和微分对策问题的解.为了得到Nash均衡策略,需要求解两个耦合的Riccati方程,利用Newton算法得到了方程的迭代解.另外,讨论了随机系统的二人零和微分对策问题并给出了相应的结论.     

布朗运动驱动的奇异型随机Riccati方程

主要研究在随机LQ问题里所得到的如下n×n矩阵取值随机Riccati微分方程,其中n>1:■.这个方程在非退化的条件:N≥εI之下的可解性已经得到了证明.文章将会证明在适当的条件下,上述方程在奇异情形N=0之下仍存在惟一适应解.最后讨论了上述方程在L=0时Bellman拟线性化迭代序列的收敛速度.     

摄动连续Riccati矩阵方程解矩阵界的估计

 Riccati矩阵方程在控制理论和状态估计问题的研究中具有重要的理论和实用价值。针对摄动参数为带有范数有界不确定性的摄动连续Riccati矩阵方程解矩阵界估计问题,通过构造两个半正定矩阵,利用矩阵不等式和特征值的性质得到带有范数有界不确定性的摄动连续Riccati矩阵方程解矩阵新的上下界,利用特征值满足的不等式给出解矩阵特征值新的上下界。这些上下界的计算只涉及矩阵特征值的计算和线性矩阵不等式的求解,上下界的估计均由矩阵不等式给出,避免了高阶代数方程的求解。数值算例验证表明,研究结果是可行的。     

非对称代数Riccati方程的一种快速Newton型算法

对于运输理论中所产生的一类非对称代数Riccati方程,给出了一种新的快速迭代算法,该算法是基于一种具有三阶收敛性的两步Newton法而得到,并证明了该算法所产生的向量序列的单调收敛性.数值实验显示该算法具有比另外两种Newton型法更好的收敛行为.     

非对称代数Riccati方程的一类不精确迭代解法

研究了非对称代数Riccati方程的数值解法.不动点迭代法是求解非对称代数Riccati方程的一类经典算法,然而不动点迭代法在每步迭代中都需要求解一个Sylvester方程,因此运算量比较大.本文对一类不动点迭代法进行了改进,提出了不精确迭代法以求解方程,该方法在外层迭代中使用不动点迭代法,而在内层迭代求解Sylvester方程时使用了Smith算法,进而减少了运算量.理论分析和数值实验表明,本文所提的方法是可行的,而且与基本的不动点迭代法相比,也是较为有效的.     

结合粒子群算法的隐式Euler—Taylor方法

针对隐式Euler—Taylor方法在求解Ito型随机微分方程时得到的迭代格式往往是一个高度非线性的代数方程（组）的问题，应用粒子群算法实现该迭代格式，给出了结合粒子群算法的隐式Euler—Taylor方法．     

一类奇次周期Riccati型方程的周期解

根据m（m为大于1的奇数）次代数方程的性质，得到了一类奇次周期Riccati型方程3个周期解的存在性和稳定性判别准则，推广了周尚仁等关于阿贝尔方程周期解的一些结果，且给出了定理实现的例子。     

线性代数方程组的通用性迭代解法的程序实现

给出利用线性代数方程组的通用性迭代解法求线性代数方程组的一个特解的算法描述及Ｃ语言实现     

C_g空间中无限时滞随机泛函微分方程解的存在唯一性

选取空间Cg为相空间,考察具有无限时滞随机泛函微分方程解的存在唯一性,利用Picard迭代序列、伊藤公式以及Doob鞅不等式,得到了无限时滞随机泛函微分方程的解在区间[t0,∞)上的存在性与唯一性,进而得到了近似解与精确解之间的误差估计,其中t0为正常数.     

C_h空间中无穷时滞随机泛函微分方程解的存在唯一性

以无穷时滞随机泛函微分方程为研究对象,通过选取由王克和黄启昌建立的空间Ch为方程的解所在的相空间,解决了时滞项总是贯穿于整个历史阶段的主要困难.在适当的条件下,得到了随机泛函微分方程的解的先验估计;再结合一致Lipschitz条件,通过构造Picard迭代序列,利用Doob鞅不等式、Gronwall不等式、Borel-Cantelli引理及一些基本不等式,得到该方程的解在区间[t0,∞)上是存在且唯一的.进一步,得到近似解与精确解之间的误差估计,其中t0为正常数.     

用主导极点定域设计法对二次型最优调节器进行设计

基于主导极点定域设计法的基本原理,通过限制闭环主导极点在复平面左半面的双曲线域内,来选择二次型指标中的加权阵Q,并给出了ρ→∞时闭环系统极点与控制加权阵R选择的无关性。根据这一特点,给出了确定Riccati方程迭代法起始矩阵的方法,并以此为基础给出了二次型最优调节器的设计算法和计算机辅助设计的程序框图,为二次型最优调节器的设计提供了理论基础和算法依据。     

用主导极点定域设计法对二次型最优调节器讲行设计

基于主导极点定域设计法的基本原理，通过限制闭环主导极点在复平面左半面的双曲线域内，来选择二次型指标中的加权阵Q，并给出了ρ→∞时闭环系统极点与控制加权阵R选择的无关性。根据这一特点，给出了确定Riccati方程迭代法起始矩阵的方法，并以此为基础给出了二次型最优调节器的设计算法和计算机辅助设计的程序框图，为二次型最优调节器的设计提供了理论基础和算法依据。     

终端时间可为无限的BSDE解的递归迭代序列的收敛性及解的存在唯一性

 在某个新的空间上利用压缩映像原理证明了终端时间可为无限的一类多维倒向随机微分方程在该空间上解的存在唯一性,作为推论得到了该类倒向随机微分方程解的递归迭代序列的收敛性.     

线性方程组正交化行处理法并行算法

利用正交化行处理法和分治策略给出一个求解任意线性代数方程组的基于分布式存储MIMD二叉树树机模型的并行迭代算法,证明该算法对任意的相容性线性代数方程组收敛并分析算法的计算复杂度、数值稳定性和应用前景.     

一类随机Riccati方程解的存在性

考虑一类随机Riccati方程解的存在性条件.首先,基于随机Riccati方程自身结构的特点,利用It8公式,构造一个不带限制条件的倒向随机微分方程;其次,在倒向随机微分方程的构造中先使其解满足随机Riccati方程中相应的代数限制条件,再利用二者间的关系给出随机Riccati方程解的存在性条件.     

幂平均在非线性代数方程组上的应用

在求解二维非线性代数方程组的根中,通过引入幂平均的概念来对已知的牛顿迭代法进行修正和讨论,从而可以得到一类幂平均迭代算法。然后,把算法推广到n维非线性代数方程组上。最后通过实例说明所得到的算法的迭代次数更少,结果更有效。     

一类高阶代数微分方程代数体解的值分布

利用亚纯函数或代数体函数的Nevanlinna值分布理论,研究了一类高阶代数微分方程的代数体解的值分布问题.证明了一类复高阶代数微分方程在存在代数体允许解并满足一适当条件的情况下,该方程的亏量问题.