一个新的解无约束优化问题的信赖域算法

为了减少求解信赖域子问题的次数,通过对当前目标函数下降量与成功迭代的目标函数下降量最小值的比较,提出一个新的解无约束优化问题的信赖域算法,证明了该算法的全局收敛性,并用数值实验说明新算法是有效的.     

一类求解无约束优化的自适应拟牛顿型信赖域算法

提出一类求解无约束优化的自适应拟牛顿型信赖域算法,信赖域半径更新准则采用由L-函数给出的一类自适应更新准则,当前迭代点处的目标函数的二阶海森矩阵用某种拟牛顿型公式近似.在一定假设的条件下,算法具有传统信赖域算法的全局收敛性质.数值实验表明,对于求解无约束优化问题算法是有效的.     

求解约束优化问题的改进教-学优化算法

提出了一种非线性约束优化问题改进的教-学优化算法,该算法首先提出了自适应的教学因子,对学习阶段的迭代方程进行改进,引入了差分变异策略;其次利用约束违反度函数将约束优化问题转化为无约束双目标优化问题,在每次迭代中按照约束违反度的大小保留部分性能较优不可行个体,有效地维持了种群的多样性;最后数值实验表明,该算法具有较快的收敛速度和较好的全局寻优能力.     

基于自适应调节极大熵的孪生支持向量回归机

孪生支持向量回归机(Twin Support Vector Regression,TSVR)的数学模型是求解一对约束优化问题,如何将约束优化问题转化为无约束优化问题进行求解是一个难题.在TSVR约束优化模型的基础上,依据最优化理论提出TSVR的无约束优化问题.然而,无约束优化问题的目标函数有可能不可微,为解决这个问题,引入极大熵函数,确保优化问题都是可微的.标准的极大熵函数法有可能发生数值溢出,所以对极大熵函数法进行了改进,提出自适应调节极大熵函数法来逼近TSVR的不可微项,并提出基于自适应调节极大熵函数法的TSVR学习算法.实验结果表明,和其他回归方法相比,所提算法不仅能够提高回归精度,而且效率得到了较大的提高.     

一种自适应拟牛顿广义特征分解算法

通过构造一种新的无约束损失函数,广义特征分解问题可以转化为无约束优化问题.此损失函数具有良好的特性,即具有全局极小点、无局部极值点,从而保证了迭代算法的全局收敛性.利用近似Hessian矩阵,提出了一种新的自适应拟牛顿广义特征分解算法.然后,采用随机逼近理论,严格分析了算法的收敛性.仿真结果表明,算法具有快速收敛和动态跟踪能力.     

一类新的非单调线性搜索BFGS算法

研究了一类非单调线搜索在解无约束优化问题BFGS算法中的应用.该类非单调线搜索属于Armijo型线搜索,并且在每次迭代计算步长时,初始测试步长可根据目标函数的特征进行调整.证明了本算法全局收敛性,通过对公共优化测试函数的实验,表明了算法的稳健性和有效性.     

一类最大特征值函数优化问题的UV-分解方法

研究一类最大特征值函数与一个仿射映射复合后的函数与一个二次连续可微的凸函数的和的无约束优化问题,许多的实际应用问题的约束优化问题可以转化为这种形式的无约束问题来求解。将处理非光滑问题的UV-分解方法应用于这一类无约束优化问题,先给出目标函数在某一点处的3种形式的UV-空间分解,证明了3种空间分解形式是等价的。其次,给出目标函数的U-Lagrange函数及它的一阶和二阶展开式。最后,基于UV-空间分解理论给出解决这样一类无约束优化问题的UV-分解算法,并证明此算法是超线性收敛的。文章结论为解决最大特征值函数的联合函数的优化问题提供了一种新的途径。     

基于修正的拟牛顿法的基追踪去噪研究

为提高一维信号去除噪声的稀疏分解基追踪算法的效率,提出了采用修正的拟牛顿法来解决基追踪去噪过程中的无约束优化问题。该算法在传统拟牛顿法的基础上,对BFGS(Broyden-Fletcher-Goldfarb-Shanno)公式进行修正,有效地减少了最优化过程中所需的迭代次数。实验结果表明,修正的拟牛顿法与传统算法相比,能够明显提高目标函数的收敛速率。     

基于修正的拟牛顿法的基追踪去噪研究

为提高一维信号去除噪声的稀疏分解基追踪算法的效率,提出了采用修正的拟牛顿法来解决基追踪去噪过程中的无约束优化问题。该算法在传统拟牛顿法的基础上,对BFGS(Broyden-Fletcher-Goldfarb-Shanno)公式进行修正,有效地减少了最优化过程中所需的迭代次数。实验结果表明,修正的拟牛顿法与传统算法相比,能够明显提高目标函数的收敛速率。     

求解一类非凸非光滑约束优化问题的邻近滤子束算法

针对一类特殊的非凸非光滑约束优化问题提出了邻近滤子束算法.该问题的目标函数为lower-c2而约束函数为凸的.具体地,首先对目标函数采用凸化技术得到修正的问题,接着利用改进函数将修正后的约束问题转变为无约束问题,设计邻近束算法来求解这个无约束问题并在邻近束算法中引入滤子策略来确定下降步.数值结果表明了该算法的有效性和可...     

求解无约束极大极小问题的光滑化不精确牛顿算法

提出了求解无约束极大极小问题的光滑化不精确牛顿算法.该算法利用光滑凝聚函数近似不可微的极大值函数,从而得到目标函数的光滑近似,进而再利用不精确牛顿法求解光滑化后的可微的无约束优化问题.在一定的假设条件下,算法具有全局收敛性,初步的数值实验表明,算法是有效的.     

一个改进的BFGS算法

提出了求解无约束优化问题的一个改进的BFGS算法,并结合Goldstein线搜索证明了算法对一般非凸目标函数极小化问题的全局收敛性.     

一种特殊的下降算法——分裂梯度法

求解无约束优化问题,常用的方法有下降算法,牛顿法,共轭梯度法等。当目标函数为几个光滑函数的和时,一些学者提出并研究了增量梯度算法。其基本思想是循环选取单个函数的负梯度作为迭代方向。增量梯度算法的迭代方向不一定是下降方向,所以不能用下降算法的一维搜索确定步长,因为受限于步长的选择,收敛效率不高。本文结合了下降算法和增量梯度算法的思想,提出了分裂梯度法。简单的说,分裂梯度法循环考虑单个函数的负梯度方向,如果这一方向是下降方向,则选择这一方向为迭代方向;否则选取函数的负梯度方向为迭代方向。最后通过数值实验与最速下降算法、随机下降算法以及增量梯度算法进行对比,结果表明对于某些优化问题,采用分裂梯度法更有效。     

无约束多目标优化的一种新的拟牛顿法

基于在新拟牛顿方程形式下无约束单目标优化问题改进的拟牛顿法,提出了无约束多目标优化问题的一种新的拟牛顿法,同时在一定的假设条件下,结合Wolfe线性搜索准则,证明了算法具有全局收敛性和超线性收敛性,并进行了数值试验,结果表明,所提的新算法是正确和有效的,并能够迭代得到可使多个目标更优的临界点.     

双线性过程的鲁棒数据协调

针对基于鲁棒目标函数的双线性数据协调问题,提出了一种新的算法.首先利用两步法将双线性数据协调问题转化为两个线性数据协调问题,然后利用罚函数法把约束优化问题转化为无约束优化问题,最后给出了Huber函数的等价权,以及利用等价权法求解双线性鲁棒数据协调问题的表达式.在迭代求解过程中考虑了变量的上下限约束.仿真结果表明该方法能有效地求解双线性鲁棒数据协调问题,降低显著误差的影响.     

曲线搜索下新的记忆拟牛顿算法

利用新的曲线搜索方法,提出一种解决无约束优化问题的记忆拟牛顿算法,给出该算法全局收敛的条件并进行数值实验.新算法由曲线搜索确定迭代步长,搜索方向用到当前迭代点信息的同时还用到上一次迭代点的信息,而且搜索方向与迭代步长同时确定,是一种有效的算法.     

基于精确目标罚参数的遗传算法

结合一种精确目标罚函数和遗传算法,提出新的算法;算法能将约束优化问题转化为无约束优化问题,同时具有遗传算法的全局搜索能力,避免陷入局部收敛;给出并讨论了精确罚定理,实验结果表明了算法的有效性.     

闭环系统的迭代相关校正控制设计

对于闭环控制系统中的参数化控制器的设计问题,基于系统辨识的模型检验过程,提出一种新的数据驱动法-迭代相关校正控制法。将参数化控制器的未知参数向量辨识转化为互相关函数的寻根过程,对于此寻根过程可采用随机逼近算法求解。在放松条件下,建立关于互相关函数的目标准则函数,进而利用梯度算法求解一个无约束的优化问题,且推导出终止梯度算法迭代循环的总次数。最后用仿真算例验证该方法的有效性。     

一种非单调自适应新锥模型信赖域算法

对无约束优化问题提出一种非单调自适应新锥模型信赖域算法。该算法在每次迭代过程中都能充分利用以前迭代点的二次信息和水平向量信息自动产生一个信赖域半径。证明了新算法的收敛性,并用数值实验证明新算法有望解决大规模优化问题。     

非单调固定步长的自适应信赖域算法

对无约束优化问题提出一种非单调固定步长的自适应信赖域算法.当试探步不被接受时,用固定公式给出 下一个迭代点,同时构造了一个R 函数调整信赖域半径.在适当条件下,证明了新算法的全局收敛性.最后给出 初步的数值实验结果.