在Wolfe步长搜索下的一类新的共轭梯度算法

研究利用共轭梯度法求解无约束最优化问题.为了保证共轭梯度方向是目标函数的充分下降方向,对共轭梯度算法中的共轭梯度方向参数确定了一个取值范围并与Wolfe步长搜索相结合,提出了新的共轭梯度算法,使算法具有更好的收敛速度,特别是在求解大规模无约束最优化问题时,此算法只需要较小的存储.     

基于神经网络控制的共轭梯度法

共轭梯度法中搜索步长是通过某种搜索策略得到,许多情况下的收敛速度较慢.为了加快其收敛速度,提出了通过引入具有“先验知识“的神经网络对共轭梯度算法中的搜索步长进行控制.实验结果表明,该模型实现的共轭梯度法对于加快收敛速度有效.     

Armijo线搜索下一个杂交共轭梯度法及其强收敛性

@@@@讨论无约束优化问题,提出了一个新的杂交共轭梯度法公式。基于新公式,采用Armijo型线搜索条件确定步长,建立了一个杂交共轭梯度算法,在常规假设条件下证明了新算法的下降性和强收敛。     

共轭下降法的一个全局收敛性结果

共轭梯度法是求解无约束最优化问题的一个著名方法，共轭下降法是其中的一种，它最早由Fletcher提出，在对共轭下降法进行研究并确定了步长λk时，使用了一种新的Armijo类型的搜索，证明了新算法的可行性及佤中收敛性，提出的搜索简单易行，丰富了共轭梯度法的内容。     

求解凸集约束优化问题的共轭梯度的GLP投影算法

利用GLP投影技术 ,对凸约束的非线性规划问题构造了一个共轭梯度的GLP投影算法 ,在一维精确步长搜索下 ,给出了算法较强的全局收敛性结果 ,由于算法需要较小的存储量 ,特别适合于计算大规模的约束优化问题。该算法提高了梯度投影法的收敛速度。     

求解凸集约束优化问题的共轭梯度的GLP投影算法

利用GLP投影技术，对凸约束的非线性规划问题构造了一个共轭梯度的GLP投影算法，在一维精确步长搜索下，给出了算法较强的全局收敛性结果，由于算法需要较小的存储量，特别适合于计算大规模的约束优化问题。该算法提高了梯度投影法的收敛速度。     

非线性参数拟合问题的改进阻尼最小二乘方法和共轭梯度方法

本文首先给出了一个改进的阻尼最小二乘方法,并把它用于非线性曲线拟合问题。由于A~TA为对称正定的就有理由一开始把法方程组做乔累斯基分解,并使法方程的条件数有所改善,为此目的而引入了一个非负的阻尼因子。 对于共轭梯度方法,由于非线性函数在极小点附近表现为二次函数的特性,所以在非线性拟合问题中引入了共轭关系P_j~TAP_j=0共轭梯度方法的优点是收敛速度较快,当它用于二次函数极小化问题时总是在有限步内收敛。     

Wolfe线搜索下两种修正DY共轭梯度法的全局收敛性

提出了两个修正的DY(Dai-Yuan)共轭梯度法(ZDY1算法和ZDY2算法),并证明这两个修正的共轭梯度法公式β(1)k和β(2)k在Wolfe下都是全局收敛的,其中一个在Wolfe线搜索下是下降的,另一个在不依赖于任何线搜索下充分下降。在求解大规模的非线性优化问题的过程中,这些结果对加快算法的收敛速度和增强算法的收敛性提供了理论依据。
     

基于共轭梯度法和最速下降法的非线性测量数据处理

将共轭梯度法与最速下降法有机结合起来，构造出一种解决非线性测量数据处理问题的新方法——混合算法。这种方法充分利用了共轭梯度法和最速下降法良好的收敛优点，既提高了共轭梯度算法的收敛速度，又解决了目标函数“性态不优”时，最速下降法难以解决的问题。文中的算例结果表明，混合算法与单纯的共轭梯度法或最速下降法相比，具有收敛速度快、收敛范围大、适应面宽等特点。     

LS-共轭梯度算法的收敛性

对无约束规划 (P) :minx∈Rnf(x) ,其中 f(x)是Rn→R1上的二阶连续可微函数 ,通过引入强迫函数和逆连续模函数 ,证明了一类采用Curry Altman步长规则的LS 共轭梯度算法的全局收敛性质 ,利用比较原理进一步讨论了LS 共轭梯度算法在采用另外三种步长规则下的全局收敛性     

利用记忆梯度法改进的变步长恒模盲均衡算法研究

针对传统恒模盲均衡算法收敛速度慢、固定步长条件下收敛速度和收敛精度之间存在矛盾的缺陷,提出了一种利用记忆梯度法改进的变步长恒模盲均衡算法。用记忆梯度算法替代最速梯度下降算法实现对恒模盲均衡中均衡器权值的调整,充分利用当前和前面迭代点的梯度信息,同时利用梯度信息变化率作为学习步长调整因子。新算法有效地提高了算法收敛速度,与共轭梯度法和拟牛顿法等改进算法比较,具有较低的计算复杂度和更好的均衡性能。计算机仿真证明了这一算法的有效性。     

LP鞍点共轭梯度法的研究与实现

在线性规划问题中,为了提高算法的求解速度,快速得到最优解。对鞍点算法,共轭梯度法进行了深入研究与分析。针对鞍点算法在逼近鞍点时收敛速度变慢的缺陷,将计算比较简单且有限步迭代即可收敛的共轭梯度法成功的应用于鞍点算法中形成了一种新的算法—鞍点共轭梯度算法。以c 为开发工具,在计算机上实现了该算法,并编成一个解题系统能够快速求解线性规划问题。实验结果表明相对于鞍点算法,用鞍点共轭梯度算法计算,解题时间效率明显提高。     

WEI—YAO-LIU共轭梯度法在常数步长因子下的全局收敛性

在文献[1]中,Z．Wei等提出了一些新的共轭梯度法,这些方法不仅有良好的数据结果,而且具有较好的收敛性质。文章证明了WEI—YAO-LIU共轭梯度法在常数步长因子下的全局收敛性。     

Wolfe线搜索下两种修正DY共轭梯度法的全局收敛性

提出了两个修正的DY(Dai-Yuan)共轭梯度法(ZDY1算法和ZDY2算法),并证明这两个修正的共轭梯度法公式β_k~((1))和β_k~((2))在Wolfe下都是全局收敛的,其中一个在Wolfe线搜索下是下降的,另一个在不依赖于任何线搜索下充分下降。在求解大规模的非线性优化问题的过程中,这些结果对加快算法的收敛速度和增强算法的收敛性提供了理论依据。     

一种混合的共轭梯度法

共轭梯度法是求解大规模无约束问题的一种有效方法.针对算法的优劣主要依赖于步长因子和搜索方向的特点,结合共轭梯度法的共轭性质,提出一种改进的可以控制步长因子的混合的HS-DY共轭梯度法.数值试验表明算法具有良好的收敛性和有效性.     

结合Armijo步长搜索的一类新记忆梯度算法及其收敛特征

对于求解无约束规划的共轭梯度算法中的共轭梯度方向参数 ,给定一个假设条件 ,确定它的一个取值范围 ,以保证搜索方向是目标函数的充分下降方向 ,由此提出了一类新的记忆梯度算法。在去掉迭代点列有界和Armijo步长搜索下 ,讨论了算法的全局收敛性 ,同时给出了结合FR、PR、HS共轭梯度算法的修正形式。数值实验表明 ,新算法比Armijo步长搜索下的FR、PR、HS共轭梯度法更稳定、更有效。     

LS—共轭梯度算法的收敛性

对无约束规划（P）：minx∈R^nf(x)。其中f(x)是Rn→R^1上的二阶连续可微函数，通过引入强迫函数和逆连续模函数，证明了一类采用Curry-Altman步长规则的LS-共轭梯度算法的全局收敛性质，利用比较原理进一步讨论了LS-共轭梯度算法在采用另外三种步长规则下的全局收敛性。     

一种新的无优化约束问题的混合FR和PRP共轭梯度算法

共轭梯度法仅需利用一阶导数信息就可克服最速下降法收敛慢的缺点,又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点。它把共轭性与最速下降法相结合,利用已知点处的梯度构造一组共轭方向,并沿这组方向进行搜素,求出目标函数的极小点。它是解决大规模无约束优化问题最有用的一个方法,但是其最大局限性在于依赖初始值,不能确保收敛到全局最小值。因此,提出了一种新的混合共轭梯度法,它满足线性搜索的独立性下降条件,这种新方法是β_k~(FR)(Fletcher-Reeves)和β_k~(PRP)(Polak-Ribiere-Polyak)2种方法的混合。做了新方法的收敛性分析,数值结果表明这种新算法效率比较好,竞争力强,所需存储量小,具有步收敛性,稳定性高,而且不需要任何外来参数的优势。     

基于步长优化和共轭梯度法的改进BP算法

本文针对传统ＢＰ算法存在的两个常见问题进行了讨论，提出了基于步长优化和共轭梯度法的改进ＢＰ算法。新的算法避免了目前由人为经验确定迭代步长的缺陷，并能有效克服局部极小值。这样可使网络加快收敛，稳定性变好。     

一种充分下降的共轭梯度法

在Dai-Liao共轭梯度法的基础上,提出了一种修正的共轭梯度法,该算法在强Wolfe线性搜索和精确线性搜索下具有充分下降性.同时,在确定步长的过程中,如果出现某个步长很小,则该算法的搜索方向会自动的接近当前迭代点的负梯度方向.