关于最小二乘估计的改进

近来,有幸拜读了R·R·Hocking为纪念统计学杂志《Technometrics》发行25周年而写的文章《线性回归方法的进展》.由于自己水平有限,所以对文中讲到的大量技巧、技术以及二十五年来回归分析的飞速发展,只是略知一、二罢了.对于《Technometrics》刊出的浩如烟海的资料,几乎从来没接触过!尽管如此,由于我国统计学家的翻译和引进,诸如线性回归、参数估计、变量选择、模型诊断也毕竟使我学到了一点有用的东西!本文限于篇幅和能力,不可能对当代最新水平作深入地探讨;而只准备就最小二乘估计的改进谈一些个人的体会!     

广义最小二乘估计的稳健性

讨论了协方差阵未知的椭球等高线性模型中的稳健性问题. 证明当协方差阵在一定范围内变动时, 广义最小二乘估计在一大类损失函数下都是风险最小的估计; 广义最小二乘估计关于协方差阵和损失函数 同时具有稳健性.     

复参数最小二乘估计方法

提出了基于复数U-D分解的复参数最小二乘估计方法。在传统的加权遗忘因子法的递推算法中,方差矩阵P(k)由于衰减很快而极易失去正定性.为了保证参数估计的收敛性,利用复数U-D分解,将方差矩阵P(k)进行U-D分解,将P(k)矩阵的递推计算已转化为U(k)和D(k)的递推计算问题,保证了数值计算的稳定性.     

约束型矩阵最小二乘估计预测

本文提出了约束型矩阵模型的最小二乘估计预测量,矩阵型MSE准则,矩阵型RT(·)准则,矩阵型MDE-准则.进一步,给出了约束型矩阵模型最小二乘估计预测关于MSE准则、RT(·)准则优于它的最佳线性无约束矩阵型最小二乘估计预测的充要条件.探究RT(·)准则与MDE-准则的相互转化关系,给出了约束型矩阵模型最小二乘估计预测优于无约束矩阵型最小二乘估计预测的充要条件.     

多元广义压缩最小二乘估计

引进了多元线性模型中回归系数β＝Ｖｅｃ（Ｂ）的广义压缩最小二乘估计β（Ａ），讨论了它的均方误差与均方残差的性质，指出了根据均方误差准则选取Ａ值的主要缺陷，采用了一种选取Ａ值的新准则Ｑ（Ｃ），它包含均方程差准则和最小二乘准则作为特例，并从理论上证明了Ｑ（Ｃ）准则的优良性。     

回归系数混合估计与最小二乘估计的相对效率

研究了线性回归模型中,当设计矩阵列降秩时可估函数的混合估计与最小二乘估计的相对效率,利用矩阵的相关性质及运算,导出了相对效率的界.     

随机场回归系数的最小二乘估计

论述了随机场回归系数的最小二乘估计，其中包括格子点随机场回归数的最小二乘估计，连续参数平稳过程回归系数的最小二乘估计、连续参数向量随机场回归系数的最小二乘估计。     

带约束最小二乘估计的分布

给定正态最小二乘线性模型Y=Xβ+ε,E(ε)=0,E(εε′)=σ~2V,V满秩,在线性不等约束条件下,本文证明了带不等约束最小二乘估计服从正态分布。     

加权最小二乘估计的误差分析

本文是参考文献[1]的一注记。它从理论上进一步证明了文[1]中所采用的加权最小二乘估计方法,确实可以提高估计的精度。     

污染模型下的最小二乘估计

研究了污染模型下观测值的分布结构及方差，并以此为基础导出了污染模型下的最小二乘估计．结果表明，在测量平差中常用的随机误差模型下，该估计就是李德仁教授提出的验后方差估计；而在均值移动模型下，该估计是均方误差最小的稳健估计．     

广义压缩最小二乘估计的优良性

本文讨论了广义压缩最小二乘估计均方误差、均方残差的一些性质，另外还分别在Ｑ（ｃ）准则及Ｐｉｔｍａｎ准则下讨论了广义压缩最小二乘估计的优良性。     

加权最小二乘估计的影响探测

本文对加权最小二乘估计的影响分析进行了研究,得到了一组数据对加权最小二乘估计的影响的度量准则,简便计算公式及其统计解释。     

回归系数的混合估计与最小二乘估计的相对效率

本讨论线性回归模型中,回归系数的混合估计与最小二乘估计的相对效率问题,研究了两种不同相对效率的上、下界。     

回归系数的混合估计和最小二乘估计的相对效率

本文讨论了在具有附加信息的线性回归模型中,回归系数的混合估计和最小二乘估计的相对效率问题,在误差矩阵为正定的数量矩阵时,定义了一种新的相对效率.     

最小二乘估计和最佳线性无偏估计的关系

本文讨论广义线性模型的均值向量的最小二乘估计和最佳线性无偏估计的关系,得到了它们相等的充要条件以及它们的偏差关系和偏差范数估计;并在欧氏范数下,进一步讨论了这种偏差估计。     

最小二乘估计强一致性的充分必要条件

本文针对离散时间和连续时间多维动态线性系统,获得了最小二乘估计强一致性的充分必要条件     

奇异线性模型最小二乘估计的相对效率

对于奇异线性模型，引入了参数β的最小二乘估计相对于最佳线性无偏估计的一种新的相对效率，给出了与其他两种相对效率的关系，导出了该效率的上下界．     

自回归模型参数的最小二乘估计

利用约束规划及计算数学理论 ,讨论自回归模型参数的精确估计方法 ,给出求解参数的方法 ,计算量约为 O(N)个运算量 .此估计与原来的损失样本信息条件下的最小二乘估计法求解的工作量 O(N)基本等价 ,因此是一个可行的精确估计方法 .     

奇异线性模型最小二乘估计的相对效率

在奇异线性模型下讨论相对效率ei(β）,1≤i≤2的下界及其与广义相关系数和联系,随后简单地讨论了这两种相对效率的关系和比较。     

一类约束最小二乘估计的神经网络算法

提出一种求解最小二乘问题的新算法,该算法通过特定函数的饱和工作方式,保证最小二乘问题对约束条件的满足,同时实现方差最小化,克服罚函数法难以得到精确解的缺陷。给出了双边约束最小二乘问题存在最优解的充分必要条件,同时证明最优解的唯一性。该算法容易用连续型神经网络实现,网络中神经元状态轨迹收敛到最小二乘问题最优解相对应的平衡点。该算法具有指数收敛速率。