最小一乘回归的新算法

利用加权最小二乘法，提出最小一乘的一种迭代算法，这种方法使最小一乘法在计算上变得简单、直观     

最小二乘与最小一乘

最小二乘与最小一乘是回归分析中两个重要的估计方法,在这篇文章中,我们将通过线性回归给出它们的定义,并给出它们的优缺点,希望能为使用者提供方便。     

曲线拟合的最小一乘法

最小一乘法的解,由于存在着绝对值方程而不便于计算,成为困扰数理界200多年悬而未决的难题.基于对最小一乘准则下各种数学模型的大量计算和长期研究后发现,若存在最小一乘最佳参数a=a*∈Rn使绝对偏差值和为极小的最小一乘准则im=∑1 yi-f(xi,a*)=min成立,则拟合函数f(x,a*)的表征为:至少存在n个点x1,x2,…,xn,使yi-f(xi,a*)=0,i=1,2,…,n(n≤m)成立,从而最小一乘解可以实现.     

关于多元加权全最小一乘法的最优解

对给定n+1维欧氏空间R~(n+1)中的m个点x_1=(x_(11),x_(12),…,x_(1n+1)), x_2=(x_(21),x_(22),…,x_(2,n+1)),…,x_m=(x_(m1),x_(m2),…,x_(mn+1)),证明了存在最优超平面β_0+β_1x_1+…+β_(n+1)x_(n+1)=0,使这组点到此超平面的加权垂直距离和Q(β)=(∑~(n+1)_(j=1)β~2_j)~(-1/2)∑~m_(i=1)w_i|β_0+∑~(n+1)_(j=1)β_jx_(ij)|=min (w_i>0,i=1,2,…,m);提出并证明了最优超平面β_0+β_1x_1+…+β_(n+1)x_(n+1)=0应满足的3个必要条件,从而给出了求最优超平面的方法.     

基于遗传算法的最小一乘回归新算法

最小一乘在稳健性上比最小二乘好,使得最小一乘在工程中得到广泛的应用,但求解最小一乘的算法并不理想;本文根据最小一乘的性质,把最小一乘问题变为组合优化问题.将遗传算法用在最小一乘模型的求解上,在后面的仿真实验中得到了较好的效果.     

AHP中关于对数最小一乘排序算法的探讨

在层次分析中提出了一种对数最小一乘排序方法,并给出了一个迭代算法,该方法具有较好的稳定性．     

基于最小一乘估计的农村居民收入与消费分析

通过城乡居民收入与消费支出关系分析得出,我国农民的收入与消费支出水平呈高度正相关关系,收入是影响农民消费最直接、最具决定性的因素.采用较为稳健的＂最小一乘＂准则,建立农村居民消费与收入的回归模型.     

最小一乘估计性质的讨论

解决某些问题时,最小一乘准则在很大程度上优于最小二乘准则.通过对最小一乘准则与最小二乘准则的比较分析,给出了最小一乘估计的一些优良性质,如无偏性、渐近正态性、有效性等,并做了相应的理论证明.     

半参数线性回归模型的最小一乘核估计

提出半参数线性回归模型的最小一乘核估计,通过模拟计算表明该方法是有效的,在与最小二乘核估计的比较中更突出了该方法的稳健性.     

解最小一乘问题的递归神经网络

应用鞍点理论和投影算子的性质,给出了一种递归神经网络求解具有线性约束的最小一乘问题,证明了此神经网络全局收敛于一个最优解.数值实验表明,用本文的方法求解最小一乘问题是切实可行的.     

基于相对误差的曲线最小二乘拟合

分析了最小二乘法的研究历史与现状,给出了高斯最小二乘法的几种研究思路,但是这些研究方法都没有考虑到高斯最小二乘法本身的缺陷。将通过一个实际的算例来分析高斯最小二乘法的缺陷基于绝对误差大体相同的前提之下,否则会产生很大的误差。在绝对误差相差不多的情况下,较小的数据的有可能产生较大的相对误差,这显然与实际情况不符。但通常情况下,观测数据往往按被观测量的相对误差进行评价,也就是说,被观测量越大,允许的实际观测量的误差也越大。从这个角度出发,将给出改进的最小二乘法。同时,从理论上证明其对应的法方程组的解是存在且唯一。最后给出相应的仿真算例,与高斯最小二乘法作比较,得到较好的结论。     

复共线性下的主成分全最小二乘估计

针对最小二乘法在参数估计中的局限性,在多维解释变量存在复共线性时,提出主成分全最小二乘估计,避免奇异矩阵求逆的问题.经多组大量测试,计算得到的回归系数的平均绝对偏差均较小,且表现稳定,其效果明显地优于最小二乘估计和全最小二乘估计.     

伽辽金最小二乘无网格法在几何非线性问题中的应用

目的在不需要划分单元的情况下求解几何非线性问题。方法伽辽金最小二乘无网格法(MGLS)采用移动最小二乘近似函数作为试函数,并用罚函数法施加本质边界条件,内部区域用最小二乘域,边界区域用伽辽金域,是一种与单元划分无关的无网格方法。在求解几何非线性问题时,采用了增量和修正的Newton-Raphson迭代分析的方法,并在整个分析过程中所有变量的表达格式都采用更新的拉格朗日格式。结果通过对受均布载荷作用的悬臂梁用MGLS法进行内力分析,由于考虑大变形的影响,结构呈现出比线性分析结果刚硬的性质,结果与解析解符合的很好。结论算例表明:MGLS法在求解几何非线性问题时具有可行性,而且计算精度也较好。     

解决非线性最小二乘问题的两种方法

给出非线性最小二乘问题的两种计算方法，利用非线性最小二乘法处理化学过程产量问题，得到非线性估计参数。结果表明：非线性最小二乘法收敛性较好，残差平方和较小。     

加权最小二乘支持向量机与最小二乘问题的关系

研究了加权最小二乘支持向量机与最小二乘法的关系．证明了用加权最小二乘支持向量机作函数估计与在特征空间中用最小二乘法得到的解是一致的．加权最小二乘支持向量机选择核相当于最小二乘法选择基函数组．由此提出了采用加权最小二乘支持向量机解决最小二乘法问题的思想,保证解具有良好的推广性、鲁棒性与稀疏性．     

基于最小二乘法的递推回归

推导出基于最小二乘法的回归系数、总离差平方和、残差平方和、回归平方和的递推计算公式,在此基础上可计算决定系数和复相关系数,并进行回归方程的显著性检验和回归系数的显著性检验.在整个递推计算过程中,只有在第一步计算回归系数时需要求逆矩阵,其余步骤均不需要求逆矩阵,可大大减少计算量.