信赖域方法的收敛性质及其在非线性最小二乘问题中的应用

本文在Fletcher和Shultz,Schnabel & Byrd等工作的基础上,考察一类信赖域方法的收敛性质,并将其应用于分析处理零残量非线性最小二乘问题算法的全局收敛性.1 算法描述及其对稳定点的收敛性考虑求解无约束优化问题minf(x),x∈R~n的信赖域算法;其第k次迭代为(a) 确定f(x)在其极小点x~*的估计x_k的近似qk(x)=f(x_k)+ψ_k(s),ψ_k(s)=g_k~Ts+ 1/2s~TB_ks.其中gk满足lim‖gk-?f(x_k)‖=0;     

二次规划的理论与算法(Ⅳ)

五、无约束二次规划问题的算法在这一章我们将介绍求解二次函数f(x)=p'x+1/2x'Cx在R~n中的最优点的几种算法。研究这个问题除了它本身的需要外,还对于研究一般的无约束非线性规划问题的算法有重要意义。因为无约束的非线性规划问题的不少算法是由二次规划的算法推广而成的。下面介绍的算法都能保证从任意初始点出发,经过有限次迭代运算后到达二次目标函数的最优点,或者能够判断出二次函数无最优点。因此在实用上,这几种算法的效果是很好的。 5.1.转轴方法根据本文定理2.2(见本刊1985年第一期),二次函数f(x)如有极小解,则矩阵C必为半正定矩阵;反之,二次函数f(x)如有极大解,则C必为半负定矩阵。定理2.2还指出,二     

无约束最优化问题的一族秩1算法及其性质

本文所讨论的无约束最优化问题是minf(x)。如果目标函数f(x)有一阶偏导数, x∈R~n那么记f(x)在点x处的梯度为g(x)。如果已得到序列{x_k},那么用g_k表示g(x_k)。设H_k为Hessian阵G(x)的第k次近似。本文所给出的秩1校正公式为:     

关于Loffe问题的一个反例

对于凸函数有如下性质:如果f、g均为R~1上的凸函数,并且对任意的x∈R~n,(?)f(x)==g(x),其中f(x)与g(x)分别表示f和g的次微分,则f(x)-g(x)=const。关于近似次微分,1984年,Loffe在文中提出了如下问题:设f、g是R上Lipschitz函数,并且(?)_nf(x)=(?)_ag(z),是否有f(z)-g(z)=const? 可以证明当f(x)为局部Lipschitz函数,且几乎处处满足正则条件时,可以得到肯定的结论。但从下面提出的例子可看出,对于一般情形,即,对一般的Lipschitz函数来说结论     

全局优化问题的若干新进展

§1 引言全局优化问题是寻求实值目标函数 f:R~n→R 的全局极值点(例如全局极小点)X_*,即求一点X_*∈R~n 使得f(x_*)≤f(x) _x∈R~n……(1)除非特别声明,我们假定 f 二次连续可微。从计算的角度出发,通常假定集合 S R~n 是紧凸集,并包含全局极小点为其内点。求极小值的问题y_*= ……(2)     

欧氏空间中求近似逆Hesse阵的变尺度变分法

考虑下列变分问题min E∈V(E,E) (1)这里V={A:A~T=A,Ar_K=ρδ_K-H_Kγ_K (2) γ_K=g_(K+1)-g_K,δ_K=x_(K+1)-x_K (3) S={A:A~T=A} (4)其中δ_K~Tγ_K(?)0,g_K=(?)f(x_K),f(x)为欧氏空间R~n上的无约束极小化目标函数,x_K为f(x)之极小点的第K次近似(K=1,2,…),H_K为f(x)在x_K的近似逆Hesse阵,ρ为任意参数,(*,*)为欧氏空间S上的内积函数。若E_K为(1)式的解,则有变尺度矩阵递推公式:     

求解无约束全局优化问题的一种方法

提出一种新的求解无约束全局优化问题的方法,该方法把修正的BFGS方法与填充函数方法相结合,使得目标函数f(x)的当前局部极小点x*1可以移到目标函数的另一个局部极小点-x,且f(x*1)≥f(-x),同时-x也是填充函数的极小值点;然后再以为初始点求f(x)的局部最优解.反复以上过程,最终可以找到f(x)的全局最优解.     

算子分裂法求解一类变分不等式问题的收敛率分析

考虑一类变分不等式问题:寻找x~*∈Ω,满足F(x~*)~T(x-x~*)≥0,?x∈Ω,其中Ω是R~n上的闭凸子集,F=f+g是R~n到R~n的连续算子,f和g单调但f的表达式未知.针对此类应用较广的问题,本文研究了一种新的算子分裂法.根据已有的收敛性结果,进一步分析了该方法在非遍历意义下O(1/k)和o(1/k)的次线性收敛率,其中k表示迭代步数.最后,通过数值实验展示了算法的有效性.     

R~n上超线性椭圆型方程组整体极小解的存在性

本文考虑下列超线性椭圆型方程组-△u_i=f_i(x)g_i(u_1,u_2…,u_n)x∈R~n i=1,2,…,n 的整体极小解的存在性。所谓极小极是指 u=(u_1,u_2,…,u_n),u_i∈C_(loc)~(2+α)(R~n),sup(1+|x|)~(n-2)|u_i∞|<+∞且满足对任何φ∈C_0~∞(R~n),∫R~n▽u_i▽φdx=integral from x∈R~n R_nf_i(x)g_i(u_1,u_2,…u_n)φdx。本文用拓扑度方法证明了,在 f_i(x)、g_i(u)满足一定条件下,方程组存在正的整体极小解。     

用极限精确定义证明极限的思想和方法

1 函数极限证明的基本思想 要证明x→x_0(或x→∞)时函数f(x)的极限是A,当ε>0后,如果我们能找到以x_0为中心的δ邻域(x_0-δ,x_0+δ)(或N>0),当x取这邻域中异于x_0的一切值(或|x|>N)时,不等式 | f(x)-A|<ε 恒能得到满足,则就证明了x→x_0(或x→∞)时,f(x)的极限是A。 问题在于怎样找到上述要求的点x_0的δ邻域(和N)? 从函数极限的精确定义中,我们知道,如果x→x_0时,f(x)的极限是A,则点x_0的δ邻域     

拉格朗日变形函数的梯度法

我们考虑在 R~n 中具拉格朗日函数 L 的鞍形点的非空集 Z~*=X~*×Y~*的凸规划问题(0,1)max{f(x)|g_i(x)≥0,i=1,2,…,m}假设凹函数 f,g,…,g_m 可微,且其导数在任一紧集上满足李卜希兹条件.有人建议采用求集 Z~*点的梯度方法,这一方法通常称为拉格朗日因子方法.这个方法,一般说来,甚至在满足严格正则性条件的集合中二阶最大充分条件时,也不向集 Z~*收敛.只是在函数 L 的谱补充条件下才会产生收敛性.当然假设这一方法的步长充分小.在有按 x 的鞍形点的集合稳定性条件下,这一方法向集 Z~*的ε一邻域收敛(当任给ε>0时),     

一种改进的填充函数法

提出一种新的求解无约束全局优化问题的方法,此方法把修正的 Broyden-Davidon-Fletcher-Powell (BFGS)方法与填充函数方法相结合,可以从目标函数f(x)的当前极小点x*1出发找到另一个局部极小点x*2,且f(x*1)≥f(x*2),然后再以x*2为初始点用同样的方法来求f(x)的更小的局部极小点,反复以上过程,最终可以找到f(x)的全局最小点x*g.经过数值检验,表明方法是可行有效的.     

乘子的基本解

<正> 设P(D)是常系数线性偏微分算子,我们已经知道它存在基本解,即存在广义函数f 满足方程P(D)f=δ.现在,我们将考虑一类更广的算子,并将证明这类算子也存在基本解.按照广义函数论通常采用的记号,我们记C_C~∞(R~n)是R~n内所有具有紧支集的无限可微复值函数所组成的线性拓扑空间,记D′(R~n)是C_C~∞(R~n)的对偶空间,D′(R~n)中的元素即广义函数。我们首先给出D′(R~n)上乘子的定义,设算子T:     

Hesse矩阵在平稳点处的意义和作用

我们可以把无约束问题的目标函数在稳定点处附近的值用它的二阶Taylor展开式近似表示,并利用稳定点的性质,使其函数增量由目标函数F(x)的Hesse矩阵G(x)来表示,从而导致可以利用G(x)的特征值的性质来判断该稳定点是极小点、极大点、还是鞍点     

关于函数连续点集的一些性质

本文主要是讨论有关函数连续点集势的某些性质。我们首先讨论:假若一个函数在一个点集上处处有极限,那末它的连续点有多少呢?下面的定理1就是对这一问题的一个回答。定理1 设E是n维欧氏空间R~n中的一个点集,f(x)是定义在E上的取值为有限实值或无穷的函数,满足如下条件     

广义数函数的连续性(Ⅱ)

此文中我们研究广义数域E上的连续函数。如果y=f(x)是一广义数函数,在点x~0s∈E处具有(m、n)-导数,则d_ny/d_mx(x~0)=(…,0,(?)y_n(x~0)/(?)再x_m,0,…)。如果y=f(x)在开集G(?)E上的每点具存(m,n)一导数,I=[a,b](?)G,[f(a)]_n=[t(b)]_n,并且当i相似文献   

下降法的步长分析

在优化技术中,下降法是一类应用广泛的方法,设目标函数为f:R~n→R~1,下降法要求每一次迭迭代满足f(x~(K 1))相似文献   

广义拟牛顿算法对一般目标函数的收敛性

对于无约束最优化问题minf(x),x∈Rn,提出了一种广义拟牛顿算法,并且讨论了广义拟牛顿算法对一般目标函数的全局收敛性,以及当f(x)满足Lipschitz连续的条件下,证明了相应的超线性收敛定理。     

常微分方程分支解的一种数值计算方法

其中[a,b]×R~n×R(?)(t,x,λ)(?)f(t,x;λ)∈R~n 和 R~n×R~n×R(?)(ξ,(?),λ)(?)(?)(ξ,η;λ)∈R~n 是 p(≥2)次连续可微的,λ为参数。当(p)在解(x(t),λ)处的线性化问题有非零解时,(p)的解在该处可能发生分支。已有不少文章对这种分支问题进行了讨论,但这些讨论都需要线性化的共轭问题的特征函数的信息。当线性化问题不是自共轭时,这将是不方便的。利用打靶法,可以把(p)化为一个有限维方程组,对有限维分支问题来讲已有相当深入的讨论,本文     

微分方程零解的全局稳定和全局渐近稳定的充要条件

<正> 本文讨论扰动矢量方程 dx/dt=f(t,x) (1) 其中:x=(x_1,x_2,……,x_n)~T是R~n空间的矢量,f(t,x)是定义在I×R~n空间 0≤t<+∞, ‖x‖<+∞ (2)上的n维连续矢量函数,f(t,0)=0,满足解的存在及唯一性条件,并且假定解可以开拓到t=+∞。