浅析多元线性回归中多重共线性问题的三种解决方法

为了解决变量之间的多重共线性问题,本文提出了三种方法：岭回归、主成分回归和偏最小二乘回归首先介绍了其基本思想和主要处理步骤,并通过具体实例验证出利用三种回归方法,可以消除多重共线性所带来的影响最后,通过对结果的分析总结出三种方法的优劣。     

多元回归分析中多重共线性的探讨与实证

多元共线性问题中多重共线性是回归模型研究经济与管理时,最经常遇见的问题,回归分析是研究其随即变量之间的相关关系的一种统计方法。其主要目的是研究一个解释变量与一个或多个解释变量之间的统计关系。它会使经济模型中的参数估计不合理,从而得出错误的结论。本文以判断、验证、解决多重共线性为出发点,来进行分析,并以我国改革开放以来(1979—1997)年钢材供应量历史资料,建立一个单一的模型进行实例分析。     

基于岭回归和Lasso回归的螺纹钢期货价格实证分析

期货是金融市场的重要组成部分,期货的交割通常是在一段时间后进行,因此对于期货价格预测显得尤为重要,其中螺纹钢期货价格预测成为提高我国钢铁产业竞争力的重要举措.通过对螺纹钢期货结算价及其影响因素的数据进行分析,分别利用岭回归和Lasso回归两种方法消除共线性的影响,得到两种修正多元回归模型,应用两种修正多元回归模型分别对螺纹钢未来一周的期货价格进行预测,并与真实价格进行比较,最终发现基于两种方法得到的模型预测准确率均高于95%以上,且基于Lasso回归方法的拟合效果更好,证明构建的两种回归模型对螺纹钢价格的走势与预测均有重要的参考价值.     

基于岭回归对新疆农业经济的分析

基于使用最小二乘回归对数做统计回归时,常出现自变量之间因为多重共线性,导致模型预测失去效果的现象,其中和岭回归法是常见的用以处理多重共线性问题的方法。现以新疆农业经济数据为例,运用统计软件对数据进行实证分析,证实了这种方法消除农业经济中多重共线性的可行性,与偏最小二乘回归方法作比较,说明其实现过程和优缺点,有利于提高回归预测模型的精确性和在现实问题中更广泛的应用。     

GDP预测模型中的多重共线性问题

采用Frisch综合分析法,运用SAS软件包作辅助工具,解决多重共线性问题.即从最初的自变量中按照一定的准则,挑选了若干多重共线性不十分严重的自变量,进行多元线性回归拟和,建立线性回归模型,得到一个预测GDP的方程.     

基于二次Lasso回归的纵向驾驶员模型研究

为了更好地模拟实际驾驶员行为，提出基于二次回归和 Lasso回归方法的纵向驾 驶员回归模型. 通过采集纵向驾驶行为数据，提取可能影响驾驶行为的状态参数，进而建立二 次回归驾驶员模型；面向多参数回归模型中的多重共线问题，采用Lasso回归方法进行状态参 数筛选；结合筛选数据建立二次回归驾驶员模型. 为了验证模型的有效性，与PI驾驶员模型和 一次 Lasso回归驾驶员模型进行仿真对比 . 仿真结果表明，相较于其他两种模型，所建立的驾 驶员模型具备良好的工况跟随效果，同时能较好地反映实际驾驶行为特征.     

PLS回归应用实例

在研究因变量y与p个自变量的线性回归关系时 ,常遇到自变量间存在多重共线性的问题。文献 [3]介绍了用PLS回归来消除多重共线性的方法。本文通过两个例子的计算建立PLS回归 ,并发现了PLS回归实施过程中的若干问题 ,提出了一些自己的看法     

多重共线性问题的神经网络实例分析

通过对多重共线性问题的回归分析，引出了在MATLAB中能快速设计的神经网络－推广的回归神经网络（GRNN），并用具体实例说明了实现GRNN的方法。     

基于岭回归和LASSO回归的安徽省财政收入影响因素分析

基于1988—2019年安徽省财政收入及相关经济指标数据,运用岭回归和LASSO回归方法,探究安徽省财政收入的影响因素.考虑到较多的自变量会造成严重的多重共线性,首先应用岭回归及LASSO回归模型降低变量间共线性的影响,然后再进行变量选择,最后对两模型进行比较分析.结果显示:相较于岭回归模型,LASSO回归模型更优.第...     

主成分回归分析在经济学中的应用

本文针对销售数据实例,采用多元回归分析,得到回归预测模型,但由于多元统计回归不能处理多重共线性,将产生较大误差。为了避免这种共线性,本文采用主成分回归模型来预测销售利润,得出优于多元线性回归的预测模型。这种回归不但可以在多元的情况下起到降雏的作用,还可以排除多元线性回归不能解决的多重共线性,使误差减小,得到更实用的预测模型。     

基于预测变量图结构的高维逻辑回归模型

针对高维数据集,提出一种利用预测变量之间的图结构信息来改进稀疏逻辑回归模型的方法。该方法通过利用高维图结构数据或者重叠组结构来进行逻辑回归建模,即使预测变量的图结构未知,该方法仍适用,当图结构为某些特殊形式时,目前流行的方法,如Adaptive Lasso,(Overlapping) Group Lasso和岭回归都可以看作是该模型方法的特例。数值模拟和实例分析应用表明:该方法能有效地利用预测变量图结构信息,提高模型在估计、预测以及变量选择等方面的表现,并且该模型在有限样本情形下是有效的;该模型方法克服了数据集的维数问题,利用高维数据的图结构提高了稀疏逻辑回归模型的性能,可广泛应用于高通量基因数据集的疾病分类研究中。     

基于BLS-Lasso组合模型的火电厂蒸汽量预测

在火力发电过程中,蒸汽量的准确测量,对于汽轮机机组的经济稳定运行具有重要的意义。针对传统蒸汽量测量方法精度低的问题,提出了一种基于宽度学习系统(broad learning system, BLS)和Lasso (least absolute shrinkage and selection operator)回归模型的组合预测模型。首先利用One-class SVM (one-class support vector machines)算法对样本进行异常值检测,将检测得到的异常值剔除。然后,采用最大信息系数(maximal informationcoefficient, MIC)对特征变量和蒸汽量进行非线性关联性分析,确定宽度学习系统和Lasso回归模型的输入变量,通过训练得出各自的预测结果。最后,通过最优加权组合法确定两单一模型的权重系数,将它们所得的预测结果线性组合,得到最终的预测结果。实例表明,所建立的组合模型有效地缓解了单一模型在变化剧烈的峰值和谷值预测偏差大的问题,能够准确地预测蒸汽量。     

基于样本扩充和改进Lasso回归的视线估计

为了利用眼部特征进行准确的视线估计,提出了一种基于样本扩充和改进Lasso回归的方法,建立眼部特征与视线之间的映射关系.通过对小样本评分得到优质样本,进而完成样本扩充,利用改进的Lasso回归得到准确的视线估计模型.该方法对标定过程中的眨眼等干扰具有鲁棒性,受干扰后仍可保持相对较高的视线估计准确度.实验结果表明:标定过程无干扰,该方法视线估计准确度比传统方法提高11.25%;标定数据加入6.67%异常数据,该方法视线估计准确度比传统方法提高22.62%.      

基于灰色关联分析的lasso法在区域用水经济效益系数中的应用

水资源优化配置是解决区域水资源短缺问题的一个有效途径,而进行水资源优化配置的基础是确定区域用水经济效益系数。运用灰色系统理论中的关联分析方法,分析区域历史用水状况,对影响用水经济效益的各因素进行分析,初步区分出主要影响因子。结合Lasso套索回归,挖掘各影响因子与经济总产值之间的关系,利用该方法重点探讨了周口市工业用水和农业用水经济效益系数的求解。结果表明,该方法能较为准确的求出研究区域的用水经济效益系数,为水资源优化配置中经济效益系数的确定提供了一种更加精确和量化的方法。     

混合效应模型的双MCP惩罚分位回归研究

针对混合效应模型,在已有的双Lasso正则化分位回归(DLQR)的基础上,结合MCP惩罚,提出了双MCP正则化分位回归(DMQR).通过对惩罚方法的改进,使得模型的拟合效果大大提高.在求解参数时使用交替迭代算法使得每次只用求解单个MCP惩罚的分位回归,并结合针对非凸惩罚的迭代坐标下降法(QICD)使得计算的速度大大提高.在稀疏模型的模拟研究中发现,无论在何种误差条件下,DMQR都能很好的排除冗余变量,效果相对于DLQR有了较大的提升.且在模型的稀疏程度不同时,都能得到很好的模拟结果.     

考虑竞争的电影首映日票房集成预测模型研究

电影首映日票房预测对该日排片、后续放映日票房及总票房有显著影响。在构建考虑竞争的电影首映日票房预测变量集的基础上,建立首映日票房集成预测模型。首先使用多元线性回归(multiple linear regression, MLR)、支持向量回归(support vector regression, SVR)、套索回归（Least absolute shrinkage and selection operator, Lasso）和极端梯度提升（Extreme Gradient Boosting, XGBoost）等算法建立基学习器,随后使用XGBoost算法作为原学习器构建堆栈集成预测模型,最后利用收集到的数据进行对比实验。实验证明,加入竞争变量的电影首映日票房预测变量集适用于首映日票房预测;相比单一模型,提出的集成预测模型的准确性、泛化性能和稳定性均有提升,相比较传统预测方法对首映日票房预测更准确。提出的集成预测模型有助于提升首映日票房排片的有效性。     

基于概率图模型的图像纹理模型

 纹理作为一种视觉特征,它广泛应用于图像分析。概率图模型由于其自身特点可以很好地描述纹理。高斯图模型结构可根据局部马尔科夫性和高斯变量的条件回归之间的关系来学习。高斯图模型可用一个邻域系统、一个参数集和一个噪声序列表示。利用惩罚正则化方法,可以选择高斯图模型的邻域并估计参数,然后提取纹理特征进行纹理合成和分类。实验结果显示基于高斯图模型的纹理特征更加有效。     

统计回归模型及其优化算法综述

在大数据时代,正则化(惩罚)回归模型成为高维数据分析的一种有效分析工具.文中从统计模型理论和优化算法两个角度对正则化回归模型进行简要的概述,主要介绍线性回归模型、广义线性模型和分位数回归模型三种经典且重要的回归模型以及相应的正则项.对于线性回归模型,介绍最小二乘回归和l_1-正则最小二乘回归问题的优化算法;对广义线性模型和分位数回归模型,介绍逻辑回归模型和求解l_1-正则逻辑回归问题的优化算法,并展示分位数回归模型和求解相应的正则化分位数回归模型的优化算法.最后,对正则化回归模型未来的研究方向进行展望.     

基于变量选择-神经网络模型的复杂路网短时交通流预测

摘要： 针对传统交通流预测模型正在由单断面历史数据处理向多断面、多时刻历史数据处理转变,但在考虑各断面间的影响时,多变的交通状况往往会使预测模型复杂化的问题,引入一种多元线性回归最小绝对收缩和选择算子方法(Lasso),并利用其优秀的变量选择能力,在复杂路网多断面中选出相关性较高的断面；结合神经网络(NN)的非线性特性,提出了Lasso NN组合模型.结果表明：Lasso NN模型在路网交叉口对未来15 min交通流数据预测的误差率低于9.2%；在非交叉口的误差率低于6.7%,总体优于各自单独使用得出的结果.