统计回归模型及其优化算法综述

在大数据时代,正则化(惩罚)回归模型成为高维数据分析的一种有效分析工具.文中从统计模型理论和优化算法两个角度对正则化回归模型进行简要的概述,主要介绍线性回归模型、广义线性模型和分位数回归模型三种经典且重要的回归模型以及相应的正则项.对于线性回归模型,介绍最小二乘回归和l_1-正则最小二乘回归问题的优化算法;对广义线性模型和分位数回归模型,介绍逻辑回归模型和求解l_1-正则逻辑回归问题的优化算法,并展示分位数回归模型和求解相应的正则化分位数回归模型的优化算法.最后,对正则化回归模型未来的研究方向进行展望.     

高维惩罚分位数回归及优化算法

针对具有异常值或离群点的高维数据线性回归模型，提出了一种基于误差函数正则化的惩罚分位数回归的新方法，与经典的L₁惩罚方法相比，新方法具有更好的稳健性以及更小的估计偏差和预测误差；为解决分位数损失函数非光滑性与误差函数非凸性所带来的计算挑战，结合迭代再加权L₁算法以及ADMM算法，提出了一种有效的IRWADMM算法，并对回归系数进行了求解.模拟结果表明，与已有的惩罚分位数回归方法相比，新方法在参数估计和变量选择等方面均具有更好的表现.将新方法应用于核黄素基因数据分析，以证实其有效性和可行性.     

边界约束正则化下的双网格迭代方法

由不适定问题离散化得到的大规模不适定线性方程组的正则化过程可通过对解加一个上界约束转化为有约束条件的最小值问题.为有效求解此类问题,考虑用双网格迭代方法求解转化得到的对称正定线性方程组.试验问题的数值结果表明,双网格迭代方法求解正则化后的对称正定线性方程组效果很好.     

基于Horseshoe+先验的惩罚置信区域变量选择方法

针对高维稀疏线性回归问题,相关变量的数量远远少于不相关变量.相关变量的变量选择问题对于传统的频率论正则化方法是一大挑战.现有的贝叶斯惩罚置信区域法通过将模型拟合与变量选择分离,在联合后验置信区域内搜索最稀疏解,从而得到稀疏模型解.且该方法在高维变量选择效果上优于常用的变量选择方法.在此基础上,针对高维稀疏模型,将原方法中依赖的共轭正态先验替换成针对"稀疏信号勘测问题"提出的Horseshoe+先验,利用Horseshoe+先验对小系数"重"压缩与大系数几乎零压缩的理论特性,实现对稀疏回归系数的稳健估计.通过数据仿真模拟不同稀疏程度下的高维稀疏线性回归,并将基于Horseshoe+先验的惩罚置信区域法分别与基于正态先验以及Laplace先验的该方法进行比较,结果表明基于Horseshoe+先验的惩罚置信区域法在高维稀疏线性回归问题具有更好的变量选择效果与预测效果.     

一种求解非对称线性方程组的JBICR算法

针对求解大型稀疏非对称线性方程组,研究了大规模稀疏线性方程组的预条件迭代求解算法.结合Krylov子空间方法和Jacobi迭代,给出了一个新的求解算法,即预处理雅可比-双共轭残量法(简称JBICR),同时给出了算法的收敛性分析.数值实验显示了算法的快速收敛性.     

边界约束正则化下的双网格迭代方法

由不适定问题离散化得到的大规模不适定线性方程组的正则化过程可通过对解加一个上界约束转化为有约束条件的最小值问题。为有效求解此类问题，考虑用双网格迭代方法求解转化得到的对称正定线性方程组。试验问题的数值结果表明，双网格迭代方法求解正则化后的对称正定线性方程组效果很好。     

校正双重介质模拟模型中迭代解的新方法

由于用双重介质模型对裂缝水窜等强非线性渗流问题进行数值模拟时 ,迭代求解往往难以收敛 ,这种不收敛性使得物质平衡误差偏大 ,有时甚至会使模拟失败 .针对这种模拟求解过程中物质平衡误差偏大问题 ,提出了迭代解的物质平衡校正方法 .实际应用表明 ,此方法可以大大降低双重介质模拟模型的物质平衡误差 ,同时还能提高油藏模拟过程中迭代求解的收敛速度     

基于简单L_(1/2)稀疏正则化的高光谱混合像元分解

高光谱图像解混方法中基于稀疏性的混合像元分解方法成为近来研究的热点,其中稀疏正则化高光谱混合像元分解方法(SUnSAL)得到了较好的解混效果。尽管如此,但正则化解的稀疏性和稳健性并不好。基于正则子比正则子更易于求解,同时比正则子具有更好的稀疏性和稳健性,本文引入用正则子来代替正则子。同时,采用了一种简单有效的稀疏正则化的求解方法,将正则化非凸优化问题转化为一系列迭代重复加权正则化问题,并利用变量分裂和增广拉格朗日算法(ADMM)对加权正则化问题进行求解。实验数据表明,此方法不但实现简单,而且可以获得更好的混合像元分解精度。     

稀疏正则化及其在医学图像复原中的应用

论文旨在对受模糊和噪声影响的医学图像进行恢复.极小化由保真项构成的能量泛函是图像恢复普遍采用的方法,然而由于该极小化模型的不适定性,对其添加适当的正则化项是必要的.利用医学图像梯度稀疏这一先验条件,对极小化模型添加l_q正则化项.l_q正则化项的添加保证了图像梯度的稀疏性,也使我们不得不求解一个非凸优化问题.利用交替迭代的半二次分裂算法实现对该非凸问题的求解,并给出了该算法的收敛性分析. Shepp-Logan影像模型和MRI图像的数值仿真实验验证了本文的相关理论.基于研究结果,l_(1/2)正则化方法对梯度分布稀疏的医学图像具有良好的降噪与去模糊效果.     

一种改进的稀疏表示超分辨率重建算法

针对稀疏表示超分辨率重建算法中稀疏表示系数正则化效果不明显、字典完备性弱以及重建图像存在虚边缘等问题,提出了一种改进的稀疏表示超分辨率重建算法.首先对正则化正交匹配追踪(regularized orthogonal matching pursuit,ROMP)稀疏表示系数求解算法进行了改进,通过引入局部约束加权来提高稀疏表示系数的精度、增强图像的纹理特性;然后,将Huber影响函数用于提取图像的先验特征信息,以增强图像特征、提升高分辨率字典的表示能力;最后,提出了基于学习的迭代反投影方法,提高了图像后处理阶段预测误差的准确性,进一步改善了高分辨率重建图像效果.实验结果表明,该方法在峰值信噪比和视觉效果上都有所提高,重建图像的纹理特性和质量得到了有效增强.     

基于M-H抽样算法的贝叶斯Probit分位回归模型研究

针对Probit分位回归在参数随机化条件下的建模问题,提出基于Metropolis-Hastings算法的贝叶斯Probit分位回归模型.通过分析Probit分位回归模型结构,选择模型的先验分布,运用M-H算法进行参数估计.利用Monte Carlo仿真技术,得到不同分位点模型参数后验分布,同时用贝叶斯probit分位回归与分位回归方法和光滑分位回归方法对模型参数估计进行比较分析.研究结果表明:贝叶斯Probit分位回归模型可以更全面描述离散选择变量的影响,能够得到更加准确有效的参数估计.     

基于弹性网惩罚的复合分位数回归估计

针对高维数据的建模分析问题,提出一种基于弹性网络法和复合分位数回归相结合的稳健估计方法。 在该 估计方法中,所提出的模型能够有效进行变量选择与系数压缩,并处理数据间的多重共线性与群组效应问题,在大 数据时代下具有较广的适应性。 同时,与已有的惩罚最小二乘估计和惩罚分位数回归估计相比,该估计方法不仅 放宽了对模型误差项的分布要求,而且综合考虑了多个分位点的损失,在面对离群值或呈现尖峰、厚尾分布数据时 能够保持更强的稳健性和抗干扰性。 在一定条件下,对所构建模型估计的相合性与稀疏性进行了理论分析,结果 表明:所提出的模型能够将不相关的变量完全压缩至零,且估计量和真实系数以趋于 1 的概率相同。 此外,在数值 模拟方面,设置了 5 种误差项分布条件,根据设定的 4 项指标,通过与其他惩罚函数模型以及损失函数模型进行比 较,结果表明新提出的方法具备更好的稳健性与有效性。     

基于Gibbs-DA算法的贝叶斯分位回归模型研究

针对分位回归模型参数的不确定性风险问题,构建了基于Gibbs-DA抽样算法的贝叶斯线性分位回归分析模型.根据非对称Laplace分布的正态-指数分布的混合表示性质,利用数据扩展方法构建了潜变量,给出分位回归模型的似然函数,推断了多元正态先验分布条件下分位回归模型参数的后验分布,证明了潜变量的完全条件分布为广义逆高斯分布;结合Gibbs抽样和数据扩展方法,设计Gibbs-DA的仿真分析方案,并将其应用于我国能源消耗问题分析.研究结果表明:贝叶斯方法可以有效地应用于分位回归的建模以及我国能源消费弹性的分位问题研究.     

不同矫正位置对落叶松分位数削度方程预测精度的影响

【目的】基于非线性分位数回归方法构建大兴安岭落叶松(Larix gmelinii)树干削度方程,并分析比较基本模型与不同分位数(τ=0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9)模型,利用树干不同高度的上部直径进行矫正分位数组合模型预测精度,为落叶松天然林干形的精准预测提供理论依据。【方法】以大兴安岭壮志林场212株落叶松树干干形数据为研究对象,基于非线性分位数回归方法和Max and Burkhart分段削度方程,利用SAS软件中NLP过程拟合各分位数分段削度方程,把树干相对高20%、30%、40%、50%、60%、70%处的直径以及胸径到树尖的中间位置(50%^*)的树干上部直径引入到分段削度方程中进行矫正,并以平均误差(MAB)和相对误差(MPB)为评价指标对削度方程进行对比分析。【结果】Max-Burkhart分段削度方程在9个不同的分位点都可以得到参数估计值,因此分位数回归削度模型可以评价在不同分位数的预测能力。未矫正的分位数(τ=0.5、0.6)模型的预测精度略优于基本模型。准确地选择矫正位置至关重要,与未矫正的基本模型相比,利用树干相对高20%和70%处的直径进行矫正不能提高各分位数组合模型的预测精度,利用树干相对高30%、40%、50%、60%处的直径以及胸径到树尖中间位置的树干上部直径进行矫正的大多数分位数组合(3、5、7、9个分位数组合)模型的预测精度都能得到提高,总体使用矫正位置分位数组合模型的预测精度顺序为40%>50%^*>50%> 60%>30%>20%>70%。最佳的矫正位置为树干相对高40%处,并以3个分位数的组合(τ=0.3、0.5、0.7)模型预测精度最高,与未矫正的基本模型相比,MAB和MPB均下降13.5%。【结论】在削度方程中引入一个合理的矫正位置可以提高模型的预测精度,其中,最佳矫正位置为树干相对高40%处,最优模型为3个分位数组合(τ=0.3、0.5、0.7)模型。在实际应用中,如果不考虑矫正时,建议采用分位数τ=0.5削度方程的参数估计值。     

基于空域正则化的模糊图像复原方法

以解决病态问题的正则化技术为基础,针对模糊图像的复原问题提出了一种新的空间域复原方法。在空间迭代运算中引入自适应的正则化参数,使其自动修正到最优,通过锐化图像进行后续处理,由此增强了原图像中重要的信息及边缘纹理部分。计算机仿真结果表明,与传统的迭代正则化方法相比,该方法的复原图像在改进信噪比数值(ISNR)和主观视觉效果上都有明显提高。     

基于MM-算法的局部常数核加权分位数回归估计及应用

提出了一种新的基于MM-算法的局部常数核加权计算法,使用该方法得到的分位数回归估计曲线在比较弱的条件下是连续光滑的．讨论了核方法中协调参数的选取问题．最后,数值模拟和实证研究的结果表明,利用所提出的计算方法所得到的非参数曲线估计在重尾误差的情况下具有一定的稳健性．     

基于非对称拉普拉斯分布的混合分位数回归参数估计

利用非对称拉普拉斯分布提出一种新的混合分位数回归模型. 传统模型仅考虑位置参数, 而所提出模型同时考虑了位置参数和尺度参数, 并利用期望最大化(expectation maximization, EM)算法对模型参数进行估计. 数值分析结果表明, 参数估计的精度在各个 分位 数上均较为理想, 并且估计精度随着样本量的增加而提高. 最后运用所提出模 型及其算法对城市房价数据进行分析.     

一种基于加权多准则的火炮爆炸场中高温火球三维温度场的迭代重建算法

针对爆炸场温度高、温度动态范围大、不可直接测量、温度场重建难以取得较高精度等问题,改进了一种在图像重建中广泛应用的联合代数重建（simultaneous algebraic reconstruction technique,SART）算法,以实现爆炸场中温度场的重建。该改进方法将原算法迭代固定步长改为自适应步长,通过判断相邻像素间是否产生畸变来决定迭代步长的大小,无畸变时迭代步长较大,有畸变时则加入惩罚使迭代步长变小;并在SART算法满足的最小二乘准则中加入均匀性准则,提高重建质量。通过仿真实验讨论了惩罚区域和惩罚系数对重建图像质量的影响,并对比了传统SART算法和在校正项中加入惩罚的SART算法。实验结果表明,由于改进方法在迭代系数中加入了惩罚项,得到的重建图像质量更高。     

基于光滑化方法的分段线性删失分位数回归模型估计

针对在分段线性删失分位数回归模型中的变点问题,该文通过引入光滑化方法得到了变点位置及模型系数的估计,推导了参数估计的大样本性质.光滑化方法解决了在变点估计方法中常用的格点搜索法存在计算烦琐、解释意义不强的问题,弥补了线性化技术无法证明渐近性的不足,提高了估计的有效性和稳健性.蒙特卡罗模拟结果验证了在同方差和异方差、固定和随机删失下在不同分位点时的估计效果都具有有效性和稳健性.药物滥用数据的实证分析表明:复发时间间隔与治疗时间存在正向影响,且复发时间在0.498处存在变点(0.5分位数),治疗时间在0.498之前的复发时间间隔比在0.498之后的更长,即大约前一半时间的治疗更加有效.