GL算法在线性回归模型的权值计算中的应用

传统的最小二乘估计在处理含有异常值的线性回归模型的估计问题时拟合得往往不好,根据GL算法给出稳定加权最小二乘优化的参数的估计法．并结合实例进行回归分析,验证该方法的高精度和高效率．     

线性回归模型的广义刀切最小二乘估计

在误差为相依的情况下,讨论了线性回归模型的刀切最小二乘估计与广义刀切最小二乘估计。在均方误差意义上,广义刀切最小二乘估计优于刀切最小二乘估计,并利用算例进行了验证。     

基于成分数据的异方差模型

经典线性回归模型中,常用最小二乘法对模型中的参数进行估计,进而对模型进行预测。当模型具有异方差时,经常使用广义最小二乘法估计参数。若线性模型中的解释变量为成分数据,在异方差下,虽然可以使用广义最小二乘对参数进行估计,但是由于成分数据的定和限制及其特殊的协方差结构,会导致矩阵不可逆,从而无法估计参数。针对成分数据中的这种情况,文章借助于岭回归分析法的思想给出了一种解决方法。实例分析表明,此方法是可行的。     

一种改进的线性回归预测模

用最小二乘法求解线性回归预测方程的回归系数时,计算量比较大,针对这个问题,提出一种改进的线性回归预测模型,该模型和其它预测算法配合,能够对若干种药品的销售额进行预测,挑选的药品种类越多,效率越高。最后通过具体实例验证了该模型是可行、有效的。     

顾及自变量与因变量误差及相关性的线性回归

提出一种顾及自变量和因变量观测误差及误差相关性的线性回归新方法,并导出了求解线性回归系数的迭代公式.以一元线性回归为例,导出了与最小二乘回归系数表达形式类似的解析解,并揭示了新方法与最小二乘方法的本质区别.此外,对于含有多个自变量的多元线性回归,给出了相应的同时考虑自变量和因变量观测误差及误差相关性的回归系数求解方法.试验表明,当自变量是非随机变量时,新方法与最小二乘方法的回归效果相同;当因变量和自变量都是随机变量(自变量与因变量的观测误差相关或不相关)时,新方法的回归系数比最小二乘方法的回归系数更加接近实际值.     

广义线性模型拟合方法的相容性

广义线性模型包括了回归、自回归及其混台型的线性模型,是一种比较广泛的统计模型.对它的拟合,主要包括了对参数的最小二乘估计,以及对自变元的选择估计.本文的目的在于,综述近十余年在此领域中的重要研究成果,其中也包括介绍某些主要结论的证明方法.     

差分侧信道密码分析中泄露模型的线性回归分析

从统计学线性回归模型的角度研究密码设备差分侧信道分析攻击中泄露模型的建模及估计,在不需对设备信息泄露有提前了解的情况下,得出线性回归泄露模型,克服了传统泄露模型的局限性.首先,分析能耗泄露的随机模型从而构建线性回归模型,然后用最小二乘估计和最小一乘估计两种方法求解线性回归模型的系数,最后基于八位控制器PayTV-AES智能卡平台实现能耗泄露的建模及系数估计.通过对两种求解方法结果的比较,提出最小二乘估计比最小一乘估计更适合用于泄露模型的线性回归分析;通过对被估模型系数曲线的分析,提出线性回归分析可以用于测量数据的预处理,以提高泄露模型建模效率.     

一类变系数分组Cox回归模型及其估计

讨论了一类变系数分组Cox回归模型.该模型提高了线性分组Cox回归模型的灵活性和适应性.基于局部加权极大似然估计方法,讨论了该模型的参数估计问题,利用迭代加权最小二乘法给出了局部似然方程的迭代算法.     

多元回归模型及其在销售中的应用

多元统计分析是统计学的一个重要分支,是应用数理统计学来研究多变量问题的理论和方法,是一元统计学的推广和发展．文章主要就多元统计分析中的线性回归模型进行深入的研究和分析,首先对多元线性回归模型的建立和最小二乘解的算法进行了推理,然后分析了其在销售中的应用．     

基于部分线性回归的红外光谱多元校正方法

对于红外光谱数据而言,光谱-浓度关系常表现为一种复杂的混合线性关系.本文中提出一种部分线性回归算法,将复杂的光谱-浓度目标回归函数分解为线性和非线性决策函数之和.具体地,采用一序列的线性和非线性核函数来构建回归模型,分别用于逼近目标函数中的线性和非线性成分.本文中所提出的的方法与偏最小二乘回归算法和正则化最小二乘回归算法在3个实例数据集上进行实验对比.实验结果表明,本文中提出的算法具有更高的预测精度.     

基于Gibbs-DA算法的贝叶斯分位回归模型研究

针对分位回归模型参数的不确定性风险问题,构建了基于Gibbs-DA抽样算法的贝叶斯线性分位回归分析模型.根据非对称Laplace分布的正态-指数分布的混合表示性质,利用数据扩展方法构建了潜变量,给出分位回归模型的似然函数,推断了多元正态先验分布条件下分位回归模型参数的后验分布,证明了潜变量的完全条件分布为广义逆高斯分布;结合Gibbs抽样和数据扩展方法,设计Gibbs-DA的仿真分析方案,并将其应用于我国能源消耗问题分析.研究结果表明:贝叶斯方法可以有效地应用于分位回归的建模以及我国能源消费弹性的分位问题研究.     

聚集数据线性模型参数聚集Liu估计的相对效率

 当线性模型中的变量间存在复共线性时,常用有偏估计代替无偏估计。其中广义岭估计是研究较多的一种有偏估计。很多实际问题只能观测到聚集数据。本文给出了聚集数据线性模型聚集Liu估计的定义,提出了聚集Liu估计相对于最小二乘估计的两种相对效率,并得到这两种相对效率的上界;给出了聚集Liu估计相对于Peter-Karsten估计的2种相对效率及其上界。本文提出的聚集Liu估计,既能保证估计参数的稳定性,又能保证估计参数的近似无偏性,从这个意义上说,该估计在某种程度上优于聚集广义岭估计。     

结构型E-V线性模型中参数估计的若干结果

由于E-V线性模型的复杂性,通常的最小二乘估计等在这种模型中一般不是相合的。本文在结构型简单线性模型中,利用矩方法与秩方法建立了若干估计量,并且论证了这些估计量的相合性与渐近正态性,报告了主要结果。     

混合效应模型的双MCP惩罚分位回归研究

针对混合效应模型,在已有的双Lasso正则化分位回归(DLQR)的基础上,结合MCP惩罚,提出了双MCP正则化分位回归(DMQR).通过对惩罚方法的改进,使得模型的拟合效果大大提高.在求解参数时使用交替迭代算法使得每次只用求解单个MCP惩罚的分位回归,并结合针对非凸惩罚的迭代坐标下降法(QICD)使得计算的速度大大提高.在稀疏模型的模拟研究中发现,无论在何种误差条件下,DMQR都能很好的排除冗余变量,效果相对于DLQR有了较大的提升.且在模型的稀疏程度不同时,都能得到很好的模拟结果.     

稀疏多元逻辑回归问题优化算法研究

稀疏多元逻辑回归(sparse multinomial logistic regression, SMLR)因为具有在分类的同时嵌入特征选择的作用而被广泛应用于生物信息学、高光谱图像分类、图像中的多类物体识别等领域。SMLR问题最早采用迭代重加权最小二乘法(iterative reweighted least squares, IRLS)的方式进行求解。但IRLS算法在处理高维数据集或者类别数较多的数据集时具有较高的计算复杂度。为了提高SMLR的可用性,提出采用一些高级优化算法如快速迭代收缩阈值法(fast iterative shrinkage threshold method, FISTA)、快速自适应收缩阈值法(fast adaptive shrinkage threshold method, FASTA)、交替方向乘子法(alternating direction multiplier method, ADMM)等来对SMLR问题进行求解。此外,为提高SMLR的适用性,还考虑了SMLR问题的分布式优化求解。对提出的几种SMLR优化求解算法的性能在不同数据集下进行了综合比较。实验结果表明,提出的算法在求解速度和准确率指标上都优于目前最先进的基于IRLS的SMLR优化算法。     

无线传感器网络中传感器节点定位的递归加权最小二乘优化方法

采用最小二乘优化算法,研究了基于接收信号强度测量的信号源定位问题.首先,建立了路径损耗的线性化模型;然后,介绍了加权最小二乘法,并提出了无线传感器网络中传感器节点定位的递归加权最小二乘优化方法.最后将本文提出的迭代加权最小二乘法与基于接收信号强度（RSS）的2种算法进行比较,仿真结果表明提出的算法在定位精度方面有更好的表现.      

广义线性模型拟合方法的相容性(Ⅲ)

广义性模型包括了回归、自回归及其混合型的线性模型,是一种比较广泛的统计模型.对它的拟合,主要包括了对参数的最小二乘估计,以及对自变元的选择估计.本文的目的在于,综述近十余年在此领域中的重要研究成果,其中也包括介绍某些主要结论的证明方法.     

线性回归模型的抗差泛最小二乘估计

首次用抗差泛最小二乘法考虑线性回归模型，得到了抗差泛最小二乘估计；然后，研究了该估计的影响函数和渐近方差-协方差矩阵；最后，用算例说明了抗差泛最小二乘估计具有抗差性，优于传统的最小二乘估计及作提出的泛最小二乘估计。     

距离回归模型的理论研究

给出了距离回归的理论模型及回归系数参数估计的泛函形式，比较了经典线性回归模型与距离回归模型基于最小二乘方法所得参数估计的关系，并从理论上论证说明了其对应回归直线的位置关系．