分位数回归模型中的两步变量选择

对于高维分位数回归模型提出了一种两步变量选择方法,这里协变量的维数pn远远大于样本量n.在第一步中,使用e1惩罚,并且证明第一步由LASSO惩罚所得到的惩罚估计量能够把模型从超高维降到同真实模型同阶的维数,并且所选模型能够覆盖真实模型.第二步对第一步所得模型使用自适应的LASSO惩罚来剔除冗余变量.在一些正则性条件下,证明了此方法具有变量选择的相合性.还进行了数值模拟和实际数据分析,用来表明此方法在有限样本下的表现.     

部分线性模型的LASSO估计及其渐近性

结合截面最小二乘估计思想,构造了LASSO惩罚截面最小二乘估计,并研究了惩罚参数和窗宽的选择问题。由于部分线性模型LASSO解仍为线性优化问题,因此容易实现。在一定条件下,本文还研究了参数估计量的相合性和渐近正态性。最后通过蒙特卡洛模拟研究了变量选择方法的小样本性质。     

基于众数回归的变系数模型统一变量选择

研究了众数回归下变系数模型的统一变量选择问题.利用B样条基函数近似非参数部分,在众数回归下建立SCAD惩罚函数同时选择变系数模型中的重要变量并且识别具有常数效应的协变量,在一定条件下, 证明惩罚估计量相合性和稀疏性,通过数值模拟评估所提出的变量选择方法的有效性.     

高维AFT模型的正则化变量选择

针对生存分析中建立生存模型时,如何处理生存数据中特有的数据类型——删失数据,降低高维协变量的维数,更好地识别出真正具有预测性的因子,建立准确的生存模型的问题,提出用STUTE’s加权最小二乘法和删失限制以及LASSO正则化相结合的方法来对AFT模型进行估计。首先,提出STUTE’s加权最小二乘法和删失限制相结合的方法对生存数据中的删失数据进行处理;其次,提出了LASSO的一个新的实现算法进行模型的变量选择,降低模型中协变量的维数,精简模型;最后,通过仿真分析得到提出的新估计方法较已有的LASSO旧算法以及其他的变量选择方法,VSURF算法更能找出"真"因子,建立准确的生存模型。     

组合惩罚下联合均值与方差模型的变量选择

在生产实践和计量经济领域中,控制产品质量的方差就能保证产品的合格品数相对稳定,所以当前学者对联合均值与方差模型的研究倍感兴趣.基于解释变量经常是具有相关关系的实际情况,提出了一种由SCAD惩罚和岭回归混合在一起的组合惩罚,该惩罚充分利用了岭回归能克服解释变量相关性过高对估计效果的影响,同时也证明了这样的惩罚具有相合性和Oracle性质.使用该组合惩罚对联合均值与方差模型进行了变量选择.最后的随机模拟结果表明该模型和方法是有效的.     

带有缺失数据线性回归模型的变量选择

通过惩罚估计方程,对响应变量随机缺失下的线性回归模型,给出了一个变量选择方法,并结合局部二次逼近,得到了一个迭代算法,证明了此变量选择方法是相合的并且所得估计达到最优的参数收敛速度,最后通过数据模拟研究了此方法的有限样本性质．     

Cox比例风险模型的桥估计

在经济领域和生物科学领域的研究中,经常会遇到包括有变量指标多、样本量大的数据集.一般来说,在一个复杂模型中如果包括有很多微不足道的变量,统计结果往往很难解释.因此,为了减少这种误差,在没有先验的专业知识情况下,研究变量的选择方法非常重要.Cox比例风险模型是生存分析中重要的模型之一.本文将桥估计的变量选择方法应用于Cox比例风险模型中,该方法使用的惩罚函数是p∑j=1｜βj｜γ.用桥估计方法估计未知参数和变量选择,在一定条件下,讨论了基于惩罚部分似然的桥估计方法在Cox比例风险模型中的Oracle性质,即：相合性和渐近正态性.     

线性EIV模型参数的LASSO估计方法

基于结构风险最小化原则,提出了可以实现高维数据降维的线性EIV模型参数的LASSO估计(LE)方法,并给出了其数值解的迭代算法.为说明LE方法的有效性,通过实证与WTLS、LS两种方法进行了对比分析.结果表明,LE方法能够明显提高预测精度,具有更强的泛化能力,同时可以实现变量选择,达到高维数据降维的目的.     

带L1规划的广义线性模型中的一种系数估计法

介绍了L1规划广义线性模型(GLM)的一种系数估计法,估计系数的同时进行变量选择,从而确立模型.事实上,此算法用来选择变量更有用.L1规划法按照对系数一范数的惩罚来选择变量,是向前选择变量法的一种改进,运用凸优化的预测—修正法,GLM系数估计法可有效地算出系数,其中规划参数的步长对控制系数精确性至关重要,本文对三种步长选择法作了相应的比较和分析,接着给出算法的推广,最后总结算法并且对这种估计法的应用范围进行了展望.     

基于最小距离法的稳健群组变量选择

在研究存在异常值的logistic回归模型时,发现如果使用极大似然估计(MLE)方法进行参数估计,那么异常值引起的偏差不是造成参数估计过大而是导致参数向量内爆即参数向量收缩为零向量,此时如果进行群组变量选择很可能会忽略一些重要变量.因此针对具有组结构的logistic回归模型,为处理解释变量存在异常值时的群组变量选择问题,将基于最小距离法的稳健估计(L₂E)方法与已有的3种群组变量选择方法和3种双层变量选择方法结合,在此基础上利用Majorization-Minimization(MM)算法对目标函数进行求解.通过数值模拟比较了基于L₂E方法和MLE方法在模型具有组稀疏和双层稀疏的情况下,6种变量选择方法在不同维数下的有限样本表现,结果不仅验证了L₂E方法在存在异常值的logistic回归模型参数估计中的稳健性,而且指出了在这6种变量选择方法中使用Group Bridge方法进行变量选择的准确度更高.     

基于弹性网惩罚的复合分位数回归估计

针对高维数据的建模分析问题,提出一种基于弹性网络法和复合分位数回归相结合的稳健估计方法。 在该 估计方法中,所提出的模型能够有效进行变量选择与系数压缩,并处理数据间的多重共线性与群组效应问题,在大 数据时代下具有较广的适应性。 同时,与已有的惩罚最小二乘估计和惩罚分位数回归估计相比,该估计方法不仅 放宽了对模型误差项的分布要求,而且综合考虑了多个分位点的损失,在面对离群值或呈现尖峰、厚尾分布数据时 能够保持更强的稳健性和抗干扰性。 在一定条件下,对所构建模型估计的相合性与稀疏性进行了理论分析,结果 表明:所提出的模型能够将不相关的变量完全压缩至零,且估计量和真实系数以趋于 1 的概率相同。 此外,在数值 模拟方面,设置了 5 种误差项分布条件,根据设定的 4 项指标,通过与其他惩罚函数模型以及损失函数模型进行比 较,结果表明新提出的方法具备更好的稳健性与有效性。     

岭回归、LASSO回归和Adaptive-LASSO回归下的财政收入因素分析

选取了18个影响吉林省财政收入的因素,运用SAS软件建立了吉林省财政收入的多元回归模型.由于自变量过多并且存在严重的多重共线性,因此需要进行变量选择,本文运用岭回归模型、LASSO回归模型及Adaptive-LASSO回归模型进行变量选择,最后对这三个模型进行了比较分析,得出Adaptive-LASSO回归模型相对较优的结论.     

基于岭回归和LASSO回归的安徽省财政收入影响因素分析

基于1988—2019年安徽省财政收入及相关经济指标数据,运用岭回归和LASSO回归方法,探究安徽省财政收入的影响因素.考虑到较多的自变量会造成严重的多重共线性,首先应用岭回归及LASSO回归模型降低变量间共线性的影响,然后再进行变量选择,最后对两模型进行比较分析.结果显示:相较于岭回归模型,LASSO回归模型更优.第...     

决定系数与相关系数辅助的LASSO回归

现有LASSO回归方法尚未解决回归关系式中冗余特征和无关特征的去除问题,提出一个决定系数与相关系数辅助的LASSO回归方法。设给定响应变量Y和备选解释变量集X,首先设计结合决定系数的LASSO回归正则化路径求解方法,找出X中的主解释变量;然后,设计结合决定系数、相关系数和正则化路径的方法,在固定主解释变量条件下求解LASSO回归的正则化路径过程中,去除X中的无关变量和冗余变量。模拟数据集和真实数据集的实验结果表明,新方法解决了LASSO回归中冗余特征和无关特征的去除问题,在冗余变量和无关变量的去除效果上胜过对比方法。     

带有时间序列的变系数 EV 模型的变量选择

在模型误差是时间序列时,利用B样条逼近和SCAD惩罚函数对变系数EV模型进行变量选择。选择合适的调整参数,偏差修正的变量选择能够同时选择有效的变量和估计非零的光滑系数函数。最后证明了变量选择的相合性,同时它也满足变量选择的Oracle性质---稀疏性。     

基于Horseshoe+先验的惩罚置信区域变量选择方法

针对高维稀疏线性回归问题,相关变量的数量远远少于不相关变量.相关变量的变量选择问题对于传统的频率论正则化方法是一大挑战.现有的贝叶斯惩罚置信区域法通过将模型拟合与变量选择分离,在联合后验置信区域内搜索最稀疏解,从而得到稀疏模型解.且该方法在高维变量选择效果上优于常用的变量选择方法.在此基础上,针对高维稀疏模型,将原方法中依赖的共轭正态先验替换成针对"稀疏信号勘测问题"提出的Horseshoe+先验,利用Horseshoe+先验对小系数"重"压缩与大系数几乎零压缩的理论特性,实现对稀疏回归系数的稳健估计.通过数据仿真模拟不同稀疏程度下的高维稀疏线性回归,并将基于Horseshoe+先验的惩罚置信区域法分别与基于正态先验以及Laplace先验的该方法进行比较,结果表明基于Horseshoe+先验的惩罚置信区域法在高维稀疏线性回归问题具有更好的变量选择效果与预测效果.     

响应变量缺失时偏线性测量误差模型的变量选择

考虑当响应变量缺失且协变量包含测量误差时偏线性模型的变量选择问题,提出了基于SCAD(smoothly clipped absolute deviation)惩罚最小二乘和STEE(smooth-threshold estimating equations)的两种变量选择方法.利用半参数回归替代估计来处理缺失的响应变量.通过选择合适的调整参数,且在一定的正则条件下,可以证明这两种变量选择方法具有渐进正态性和先知性.数值模拟研究进一步给出了估计的有限样本性质.     

函数系数部分线性回归模型的变量选择方法

函数系数部分线性回归模型是变系数模型中的一种特殊情形,文章对这种新的变系数模型的变量选择问题进行了主要研究．首先,运用局部多项式方法得到非参数项的估计,并且使用B样条逼近函数系数,选取SCAD惩罚作为变量选择方法．其次,得到了估计的渐近性质．最后,模拟说明了该估计方法较好地达到了变量选择的目的．     

基于联合熵的多变量混沌时间序列相空间重构

提出了一种多变量混沌时间序列的联合熵扩维法(JEED),为多变量时间序列的预测构造了有效的模型输入向量.首先使用互信息法求混沌系统各观测变量的延迟时间;然后使用联合熵确定各分量的嵌入维数,并按最大熵选择重构分量,不断扩张相空间维数,最终使得重构向量空间包含系统的最大信息量.仿真实验表明因为JEED确定的相空间能提供丰富的信息,在其上进行的神经网络预测取得了比单变量预测方法更好的预测效果.     

基于调整秩回归的组变量选择

EXP惩罚是一种指数形式的惩罚函数,它近似于L₀惩罚. EXP惩罚最小二乘估计具有模型选择的相合性和渐近正态性.但是,惩罚最小二乘方法对重尾分布和含有异常值的混合分布的效果并不理想.该文考虑回归模型中的变量是以组结构形式存在的,研究基于调整秩回归的EXP型组变量选择,给出了调整秩回归估计的理论性质,并通过数据模拟和实例分析,检验调整秩回归的EXP惩罚的效果,结果表明这种方法具有较好的表现.