浅析多元线性回归中多重共线性问题的三种解决方法

为了解决变量之间的多重共线性问题,本文提出了三种方法：岭回归、主成分回归和偏最小二乘回归首先介绍了其基本思想和主要处理步骤,并通过具体实例验证出利用三种回归方法,可以消除多重共线性所带来的影响最后,通过对结果的分析总结出三种方法的优劣。     

岭回归在修正多重共线性中的应用

以2000-2010年四川省CPI的数据及部分影响因素为基础,运用SPSS17.0对CPI数据建立多元线性回归模型,并基于岭回归对模型中的多重共线性进行修正,得到了修正后的模型,说明此方法具有一定的实用性。     

克服复共线性的一种新方法

本文提出一种新的有偏估计_w=(X′X+I)~(-1)(X′Y+w_(LS)),其中0相似文献   

基于岭回归对新疆农业经济的分析

基于使用最小二乘回归对数做统计回归时,常出现自变量之间因为多重共线性,导致模型预测失去效果的现象,其中和岭回归法是常见的用以处理多重共线性问题的方法。现以新疆农业经济数据为例,运用统计软件对数据进行实证分析,证实了这种方法消除农业经济中多重共线性的可行性,与偏最小二乘回归方法作比较,说明其实现过程和优缺点,有利于提高回归预测模型的精确性和在现实问题中更广泛的应用。     

GM(1,N)模型的多重共线性的产生及岭估计改进法

将累加处理表示成矩阵的形式，并再此基础上证明了某特殊情况下，累加处理将产生多重共线性，并且用岭估计法改进了灰色系统模型。     

回归分析中复共线性的处理

近年来,对于回归分析中复共线性问题的研究。一直占有相当重要的地位。许多统计工作者在这一领域内进行了深入的研究。并取得了非常丰富的成果。本文在他们研究的基础上,系统地阐述了复共线性产生的原因及消除这种复共线性所采取的种种方法,并且富有成效地引入了线性模型中回归系数估计的一种估计类,使得一些非常重要的估计,如最小二乘估计、岭估计、Stein估计等都在这一估计类中得到了统一的描述。最后,本文还通过理论分析丛实例演示论证了在这个估计类中,各种回归系数估计有着和其他工作者所得到的相容的结论。     

岭回归中K值的探讨

以多元线性回归模型的典则形式为研究对象,从减小均方误差的角度出发,在一定的范围内分析了岭参数K的存在性.岭参数K的确定依赖于未知参数,但是若只凭样本推断,就会使大量的经验和信息作用无从发挥.岭迹法确定K值存在着一定的人为主观因素,这种主观性正好能使定性分析和定量分析结合起来,并改进Hoerl和Kennard的方法.本文通过分析均方误差函数的单调性,将K的范围缩小到一个相对较小的区间.关于K值的逼近,怎样才能达到极值点,尚需进一步研究.     

复共线性下的主成分全最小二乘估计

针对最小二乘法在参数估计中的局限性,在多维解释变量存在复共线性时,提出主成分全最小二乘估计,避免奇异矩阵求逆的问题.经多组大量测试,计算得到的回归系数的平均绝对偏差均较小,且表现稳定,其效果明显地优于最小二乘估计和全最小二乘估计.     

线性回归模型回归系数的条件岭型估计

研究了线性等式约束的线性回归模型回归系数的一种有偏估计--条件岭型估计,给出了在均方误差意义下条件岭型估计优于回归系数的约束最小二乘估计的条件.     

混合系数线性模型参数的岭估计

在连续测量数据情况下,针对模型的复共线性,给出了混合系数线性模型参数的两种岭估计,讨论了岭估计的相关性质,并证明了在均方误差意义下,通过选取适当参数,岭估计可优于最小二乘估计,最后讨论了岭估计的可容许性并给出了岭参数的选取方法。最终得到了岭参数的最优估计。     

回归系数LS估计的改进

论述了复共线性对LS估计的影响,复共线性存在时主成分估计比LS估计有较小均方误差.通过实例说明利用主成分估计对LS估计改进的方法与步骤.     

复共线性条件下广义岭估计的改进

对于复共线性条件下线性回归模型的广义岭估计进行了进一步的研究。针对线性回归模型病态的根本原因,提出了一类新的估计——0-K型广义岭估计。研究这一估计的性质,证明利用0-K型广义岭估计技术可以改进广义岭估计(在均方残差意义下)。文中的方法为病态线性回归模型系数的有偏估计提供了改进的技术途径。     

Generalized ridge estimation of a semiparametric regression model

We considered the following semiparametric regres-sion model yi = X iT β+ s ( t i ) + ei (i =1,2,,n). First,the general-ized ridge estimators of both parameters and non-parameters are given without a restrained design matrix. Second,the generalized ridge estimator will be compared with the penalized least squares estimator under a mean squares error,and some conditions in which the former excels the latter are given. Finally,the validity and feasibility of the method is illustrated by a simulation example.     

增长曲线模型回归系数的压缩最小二乘估计

本文采用压缩最小二乘估计Ｂ∧（ｍ）来估计设计阵呈病态时的增长曲线模型回归系数阵Ｂ．通过ｍ值的选取，可使β＾（ｍ）＝Ｖｅｃ（Ｂ∧（ｍ））的均方误差小于β＝Ｖｅｃ（Ｂ）的ＬＳＥβ∧的均方误差．证明了β∧（ｍ）具有可容许性、抗干扰性和有效性，并给出了实际应用中选取ｍ值的方法．     

回归系数的一种有偏估计

在线性回归模型Y=Xβ＋ε；E（ε）=0；Cov（ε）=σ^2V，V〉0下，给出了一种新的有偏估计β^-（F（K））=（X′V^-1X＋TF（K）T′）^-1X′V^-1Y，讨论了这种有偏估计的优良性，推广了已有的相关结果．     

特殊数据的广义岭估计的迭代算法及其实现

提出了对自变量个数大于样本容量的特殊数据的广义岭估计的迭代算法,设计了2种Monte Carlo搜索岭脊方法;通过模拟研究说明了该算法简单、速度快,直观,适用于加权情况,同时第2种搜索岭脊法在估计系数、RSS和PRESS方面具有良好的表现。     

一种精确计算动态系统模型参数的新方法

很多线型或非线型动态系统模型满足如下关系式：ｂ（ｔ＋１）＝Ｈ（ｂ（ｔ），ｃ（ｔ））ｘ＋ｚ（ｔ），其中ｃ（ｔ）为输入数据向量，ｂ（ｔ）为输出数据向量，Ｈ（ｂ（ｔ），ｃ（ｔ））为输入－输出数据矩阵，ｚ（ｔ）为噪音向量，ｘ为待定的参数向量。作者对于秩亏最小二乘和秩亏总体最小二乘问题的研究结果可用于计算参数向量ｘ，其算法简单，精度很高。     

设计阵列亏秩时几种估计性能的比较

在给定的线性模型下，讨论了在设计阵列亏秩时，最小二乘估计、最优加权最小二乘估计和线性无偏最小方差估计的性能比较。得出了在一定条件下，最优加权最小二乘估计等价于线性无偏最小方差估计。在噪声方差矩阵可逆、未知参数方差矩阵可逆条件下，可算出最优加权最小二乘估计与线性无偏最小方差估计方差的差表达式，并在一定条件下，两者趋于一致。     

非齐次等式约束下奇异型线性回归模型的广义条件岭估计

文章对线性回归模型参数有偏估计做进一步研究,提出了在非齐次等式约束下奇异型线性回归模型参数的广义条件岭估计,并给出它的一些性质,而且证明了在一定条件下,在均方误差阵和广义均方误差意义下,广义条件岭估计都优于约束最小二乘估计.最后,通过实际数据进行实证分析,得到了取不同岭参数矩阵时对应的广义条件岭估计及其MSE,验证了广义条件岭估计优于约束最小二乘估计的充分条件的正确性.