一个既约差商算法及其整体收敛性

利用差商代替难以计算的精确导数，结合既约梯度法的思想建立新的算法；在目标函数一致凸的条件下证明了既约差商法的整体收敛性．     

非线性规划的一个既约梯度法

对线性或非线性约束的非线性规划问题给出了一个简便的既约梯度法，并在一定的条件下，证明了此算法的全局收敛性。     

既约拟牛顿法

本文研究与上文同样的非线性规划问题 (P) 。既约梯度法的收敛速度是比较慢的,但是无约束问题中拟牛顿法的收敛速度是超线性的。因而可以把既约梯度法的思想与拟牛顿法的思想结合起来,得到了“既约拟牛顿”的算法,并且得到了如下的结果。 (1) 设约束集R非退化,函数f是连续可微的,水平集{x|f(x)≤f(xˊ),x∈R}有界,     

一个改进的既约梯度法某些收敛性的推广

设非线性规划问题(P): min{f(x)|x≥0,Ax=b}其中A是m×n阶矩阵,其秩为m,x∈R~n,b∈R~m。令R={x|x≥0,Ax=b}。对问题(P)作如下的假定:(A)f(x)∈C~1;(B)R非退化。对于问题(P),1963年Wolfe提出了“既约梯度”的算法,其基本思想是通过计算既约梯度,将高维空间的问题化为低维空间的问题进行解决。然而关于方法的收敛性问题却并未得到证明。文献[1]首次解决了既约梯度法的收敛性,并且得出了某些良好的收敛性质。最近文献[2]通过多年的实践指出既约梯度法的效果要比其他方法显著的好。鉴于此,本文继续作者在[3]中所得结果的讨论,针对[3]中改进的既约梯度法,得到了较为一般性的条件,在这些条件下得出的收敛性定理包括了[3]中诸结果。     

一类既约梯度算法

既约梯度法是求解非线性规划问题的一类方法,它们尤其适用于带线性约束的非线性规划的求解。Wolfe的既约梯度法和Zangwill的凸单纯形法 是较熟悉的两种方法。本文给出了包含这两种方法的一类既约梯度算法以及此算法类的收敛性定理。 一、假设条件及记号 考虑如下非线性规划: (P) min｛f(x)｜Ax=b,x≥0｝,其中x∈Rn,A为m×n矩阵。令S为全体可行点的集合,且S非空。与一样,我们假定:(H1)f∈C1;(H2)A中的任意m个列向量线性无关;(H3)多面体S的每个极点非退化。 我们以A1表示A的一个子矩阵,它的行号与A相同,列的标号属于Ⅰ,其中Ⅰ　｛1,2,…     

共轭梯度法和最速下降法的混合算法

将共轭梯度法与最速下降法有机地结合起来,构造了一种共轭梯度法和最速下降法的混合算法,并证明了该算法的全局收敛．混合算法既提高了共轭梯度算法的收敛速度,又解决了目标函数“性态不优”时,最速下降法难以求解的问题．同时也可以看到共轭梯度法与最速下降法仅仅是混合算法的特例．     

最速下降法和共轭梯度的混合算法及全局收敛

将最速下降法与共轭梯度法有机结合起来,构造出一种混合优化算法,并证明其全局收敛性.这种混合优化算法结合了共轭梯度法和最速下降法产生搜索方向,既提高了共轭梯度算法的收敛速度,又解决了目标函数的等值线是扁长椭球时,最速下降法下降缓慢的问题,具有收敛速度快、收敛范围大、适应面广等特点.文中的算法实例表明,混合算法与单纯的共轭梯度法相比,效果更优.     

非线性等式约束问题的既约Hessian校正算法

考虑非线性等式约束优化问题,提出一种既约Hessian阵校正算法,此算法分别对Lagrange函数的单边既约Hessian阵的近似阵和双边既约Hessian阵的近似阵进行校正.我们证明了若每次迭代至少有一者被校正时,算法具有1—步Q—超线性收敛速度.     

最速下降和共轭梯度混合算法在波束形成中的应用

介绍了一种最速下降法和共轭梯度法的混合算法,并将这种混合算法应用到自适应波束形成中。该方法根据最小均方（LMS）准则推导出代价函数,结合共轭梯度法和最速下降法产生搜索方向,既提高了共轭梯度算法的收敛速度,又解决了最速下降法下降缓慢的问题。计算机仿真表明,混合算法所需迭代次数少于最速下降法,且显著减少计算量,缩短运行时间。     

基于共轭梯度法和最速下降法的非线性测量数据处理

将共轭梯度法与最速下降法有机结合起来，构造出一种解决非线性测量数据处理问题的新方法——混合算法。这种方法充分利用了共轭梯度法和最速下降法良好的收敛优点，既提高了共轭梯度算法的收敛速度，又解决了目标函数“性态不优”时，最速下降法难以解决的问题。文中的算例结果表明，混合算法与单纯的共轭梯度法或最速下降法相比，具有收敛速度快、收敛范围大、适应面宽等特点。     

发散步长准则下的增量聚合梯度算法

针对目标函数是若干光滑函数之和的优化问题,提出采用发散步长准则的增量聚合梯度算法。与增量梯度算法一样,增量聚合梯度算法的每次迭代也只需要计算其中一个函数的梯度。目前关于增量聚合梯度算法的研究主要是采用常值步长的增量聚合梯度算法,这一算法要求目标函数二阶连续可微且强凸,且常值步长的选取依赖最优点的二阶导数;而发散步长准则不依赖目标函数。在目标函数的梯度有界且李普希兹连续假设条件下,证明了采用发散步长的增量聚合梯度算法的收敛性;最后,通过数值例子验证了算法的收敛性,并与采用相同步长准则的增量梯度算法进行比较;数值结果表明对于某些优化问题,增量聚合梯度算法比采用相同步长的增量梯度算法更有效。     

水箱液位多变量系统辨识方法的比较

针对流程工业中广泛使用的多反应塔液位控制系统,以三水箱液位系统为例,利用伯努利流体力学原理,推导了液位系统的多变量非线性数学模型.采用线性化和离散化方法,获得系统的状态空间模型和传递矩阵模型,分析辨识该多输入多输出模型的遗忘梯度算法、子系统遗忘梯度算法和递阶遗忘梯度算法,并对这3种算法进行仿真比较.结果表明,递介遗忘梯度算法计算量最小,计算效率最高,但参数估计性能介于遗忘梯度算法和子系统遗忘梯度算法之间.     

基于免疫克隆算法的一阶磁梯度张量定位方法

针对梯度张量法在磁定位系统中存在进场误差大的不足,提出了基于免疫克隆算法的一阶磁梯度张量定位方法。首先,利用十字形传感器模型,推导了一阶磁梯度张量定位原理。然后,根据磁场衰减规律,提出了误差梯度矩阵的计算方法并利用免疫克隆算法进行优化处理。为了验证新算法的有效性,在Matlab中采用了3条不同的路线分别进行一阶梯度张量定位和优化算法定位计算并通过实际定位〖JP3〗实验对新定位算法进行验证。研究发现：基于免疫克隆算法的一阶磁梯度张量定位方法在距离较近时,能够有效提高磁定位系统的精度。     

基于弹性接触的共轭梯度算法

为了解决有约束的基于共轭梯度二次规划算法的多次迭代问题,结合共轭梯度算法和有效集策略,提出了一个新的算法模型,通过对变量的截取(使用Polak-Bibiere公式)来避免重新开始共轭梯度算法,在大规模的弹性接触问题中,大量的结果表明了这个算法的有效性。     

一种全局优化的两阶段算法

为了提高算法的有效性,利用梯度算法和粒子群算法独立的运行机制,采用驱赶技术和重新初始化部分群体的技术,提出了一种基于梯度下降法和粒子群算法的两阶段优化算法,并对新算法进行了理论分析和数值仿真.数值结果显示新算法比单纯梯度算法有更好的全局优化能力,比单纯粒子群算法有更快的收敛速度和更高的精度.新算法求解质量更高,运行更稳定.     

基于共轭梯度迭代算法受控AR模型的参数辨识

推导了单输入单输出系统的辅助模型,它有助于减少计算量和提高共轭梯度迭代算法（新算法）的收敛速度.相比于受控移动平均模型中所提出的交互式随机梯度算法,新算法用更少的迭代步骤就可求出模型的参数估计.另外,新算法能避免出现矩阵的逆矩阵形式.对新算法与双共轭梯度算法进行比较,并给出数值实例检验新算法的有效性.     

规范化自然梯度ICA算法

对基于李群不变性的自然梯度ICA算法进行了改进,提出了一种规范化自然梯度ICA算法.该算法通过引入规范化因子,保证参数矩阵的行列式的绝对值在学习过程中恒为1,避免了参数矩阵剧烈变化,使得学习过程更稳定更快速,这种改进还起到简化目标函数的作用,使得规范化自然梯度ICA算法更加简单便利.在BSS模拟实验中,把常规梯度的ICA算法、自然梯度ICA算法与规范化自然梯度ICA算法进行比较,结果表明新算法的信号恢复精度更高,收敛速度更快.     

基于梯度的扰动时变系统辨识算法及其收敛性

根据工程背景,提炼出了一类时变系统(亦称为广义时变系统或扰动时变系统)的数学描述模型．扰动时变系统是指参数随系统可测扰动量变化的一类时变系统．利用梯度搜索原理,提出了这类时变系统的投影算法、随机梯度和遗忘梯度辨识方法,并应用鞅超收敛定理分析了算法的收敛性．由于提出的随机梯度算法同时还利用了系统扰动量所含的信息,因而可以给出时变参数的一致估计．数字仿真验证了提出方法的有效性．     

一种结合混沌映射与梯度法的优化算法

将梯度法与混沌映射相结合,提出了一种混沌梯度算法(CGA),该算法具有搜索全局最优解的能力。     

基于梯度倒数的无人机遥感图像融合滤波方法

为了实现对无人机遥感图像去噪处理时兼顾滤波和边缘保持效果,提出了一种基于梯度倒数的无人机遥感图像融合滤波方法——梯度倒数自适应开关均中值滤波。首先计算出模板内中心像素点与邻近像素点的梯度导数;然后选取局部梯度变化阈值,并定义标志数组来标记各像素点是否超过梯度变换阈值。最后,如果当前滤波像素点超过梯度阈值,则采用提出的自适应开关均中值滤波;否则采用梯度倒数加权平滑方法处理。该方法结合了图像的梯度信息,利用图像的连通性和相关性原理以及自适应开关均中值滤波算法去噪的优点,在去除高斯噪声和脉冲噪声同时可以很好地保持图像的边缘和细节信息。实验结果表明:与传统梯度倒数加权平滑方法相比,算法滤波后图像的平均梯度提升3. 16%,MSE下降了约5%,可以有效提升滤波后无人机遥感图像质量,应用价值明显。