高维惩罚分位数回归及优化算法

针对具有异常值或离群点的高维数据线性回归模型，提出了一种基于误差函数正则化的惩罚分位数回归的新方法，与经典的L₁惩罚方法相比，新方法具有更好的稳健性以及更小的估计偏差和预测误差；为解决分位数损失函数非光滑性与误差函数非凸性所带来的计算挑战，结合迭代再加权L₁算法以及ADMM算法，提出了一种有效的IRWADMM算法，并对回归系数进行了求解.模拟结果表明，与已有的惩罚分位数回归方法相比，新方法在参数估计和变量选择等方面均具有更好的表现.将新方法应用于核黄素基因数据分析，以证实其有效性和可行性.     

基于调整秩回归的组变量选择

EXP惩罚是一种指数形式的惩罚函数,它近似于L₀惩罚. EXP惩罚最小二乘估计具有模型选择的相合性和渐近正态性.但是,惩罚最小二乘方法对重尾分布和含有异常值的混合分布的效果并不理想.该文考虑回归模型中的变量是以组结构形式存在的,研究基于调整秩回归的EXP型组变量选择,给出了调整秩回归估计的理论性质,并通过数据模拟和实例分析,检验调整秩回归的EXP惩罚的效果,结果表明这种方法具有较好的表现.     

基于Bayesian方法的参数估计和异常值检测

异常值检测是当前数据分析研究中的一个重要研究领域。模型中的异常值会直接影响建模、参数的估计、预测等问题。基于模型的异常值检测,传统的做法是先对模型参数进行估计,再进行异常值检测。而异常值的存在会影响参数估计,从而导致下一步异常值检测的不可靠;反之异常值检测也会影响参数估计。针对这些不足之处,提出了基于 Bayesian 方法的参数估计和异常值检测,此方法可以将参数估计和异常值检测同时实现,具体做法是在线性回归模型中引入识别变量,基于 Gibbs 抽样算法,给出识别变量后验概率的计算方法,通过比较这些识别变量的后验概率进行异常值定位,同时给出参数的估算方法。通过大量的模拟实验,结果表明,与传统方法相比,提出的方法对异常值更灵敏。     

利用虚拟变量对季节指数的估计

利用季节虚拟变量建立回归模型,通过季节虚拟变量的参数估计间接地估计季节指数,并且利用模型进行了一些传统的季节指数方法无法进行的推断统计,是一种分析季节指数和季节变动的新思路.但是,由于时间序列数据直接应用到回归模型会与古典假设不相符合,在参数估计以及推断检验中就需要采用一些新的方法,这也正是利用季节虚拟变量估计季节指数时存在的问题,这个问题还有待于以后解决.     

潜半参数回归模型的变量选择

作者提出了潜半参数回归模型及其估计方法.该方法应用双重判罚,使得在估计非参数的同时可以对参数部分进行参数估计和变量选择.在分析过程中作者还得到了潜变量的估计值.     

基于支持向量机的线性模型鲁棒参数估计

探讨了基于支持向量机的线性系统参数估计问题,利用最小二乘支持向量机来估计自回归滑动平均模型(ARMA)的参数,并在理论上证明了在高斯噪声下比最小二乘估计方法具有更小的均方差;随后利用标准支持向量机来估计ARMA的参数,并利用它的性质从理论上分析了其对大噪声和小噪声的鲁棒性.仿真结果表明支持向量机方法能有效克服样本中的异常点和噪声对参数估计的干扰,比最小二乘估计方法具有更好的鲁棒性.     

函数型变量选择法用于空气质量影响因素实证分析

以全国31个主要城市的空气污染数据作为研究对象,通过B-样条逼近离散数据,拟合日变动曲线作为函数型数据,采用基于Group LASSO的函数型变量选择方法对空气污染因素和气象因素进行变量选择,选取影响空气质量的主要因素,并建立函数型回归模型,同时与函数型主成分回归方法进行比较,发现Group LASSO函数型变量选择方法不仅对群组变量进行选择,而且对选择出的群组内变量还能做进一步的选择,可以获得较为稳健的估计结果和较好的选择效果。     

基于Horseshoe+先验的惩罚置信区域变量选择方法

针对高维稀疏线性回归问题,相关变量的数量远远少于不相关变量.相关变量的变量选择问题对于传统的频率论正则化方法是一大挑战.现有的贝叶斯惩罚置信区域法通过将模型拟合与变量选择分离,在联合后验置信区域内搜索最稀疏解,从而得到稀疏模型解.且该方法在高维变量选择效果上优于常用的变量选择方法.在此基础上,针对高维稀疏模型,将原方法中依赖的共轭正态先验替换成针对"稀疏信号勘测问题"提出的Horseshoe+先验,利用Horseshoe+先验对小系数"重"压缩与大系数几乎零压缩的理论特性,实现对稀疏回归系数的稳健估计.通过数据仿真模拟不同稀疏程度下的高维稀疏线性回归,并将基于Horseshoe+先验的惩罚置信区域法分别与基于正态先验以及Laplace先验的该方法进行比较,结果表明基于Horseshoe+先验的惩罚置信区域法在高维稀疏线性回归问题具有更好的变量选择效果与预测效果.     

高维Extremile回归中变量选择的类弹性网惩罚方法（英文）

近几年提出的Extremile回归不仅保留了分位数回归通过设定不同的分位点全面掌握数据信息的优点，而且与分位数回归中和Expectile回归相比也有其独特的优势，特别是在风险保护上的优秀表现。本文提出了一种带惩罚的线性Extremile回归模型用以解决高维数据下的变量选择问题，其中惩罚函数是由和惩罚函数组合得到的类弹性网(QEN)惩罚函数，同时给出了解决相关优化问题的EM算法，以及在较为宽松条件下即能成立相关理论性质。在数值模拟中，我们通过与L₀，L₁，L₂和弹性网惩罚函数的比较，展示了类弹性网惩罚函数。     

基于EM算法和Gibbs抽样的污染模型的参数估计

研究简单回归模型中响应变量受到另一随机变量序列污染时,模型参数和污染系数的估计,运用EM算法给出了两类污染数据回归模型的参数的极大似然估计(MLE),并用Gibbs抽样的方法给出了未知参数的Monte-Carlo估计.     

非线性回归模型线性化后的参数估计精度问题

根据LS估计理论,对非线性回归模型线性化后参数估计精度存在的问题进行了分析,通过变量变换对线性化模型随机误差的方差进行了修正,建立了新参数估计模型.新参数估计模型满足Gauss-Markov假定,保持了LS估计的优良性质.     

一种有效且稳健的变量选择方法

当数据中存在异常值时，一些基于最小二乘估计的统计模型会产生较大的偏差，最小一乘估计对异常值具有比较强的抵抗能力。考虑到数据中可能存在异常值的情况，用绝对值损失代替平方损失，针对同时具有变量稀疏性和相邻系数差分稀疏性这种结构的线性模型，提出了最小一乘融合熔断自适应岭估计模型（LAD-Fused-BAR）。该模型将上一步估计的回归系数倒数的平方作为下一步惩罚权重，自适应地给予不同变量不同的惩罚,通过不断迭代得到最终解。运用交替方向乘子法（ADMM）求解LAD-Fused-BAR模型，并证明了ADMM算法的收敛性。数值模拟和实证分析也验证了该模型的有效性和稳健性。     

基于弹性网惩罚的复合分位数回归估计

针对高维数据的建模分析问题,提出一种基于弹性网络法和复合分位数回归相结合的稳健估计方法。 在该 估计方法中,所提出的模型能够有效进行变量选择与系数压缩,并处理数据间的多重共线性与群组效应问题,在大 数据时代下具有较广的适应性。 同时,与已有的惩罚最小二乘估计和惩罚分位数回归估计相比,该估计方法不仅 放宽了对模型误差项的分布要求,而且综合考虑了多个分位点的损失,在面对离群值或呈现尖峰、厚尾分布数据时 能够保持更强的稳健性和抗干扰性。 在一定条件下,对所构建模型估计的相合性与稀疏性进行了理论分析,结果 表明:所提出的模型能够将不相关的变量完全压缩至零,且估计量和真实系数以趋于 1 的概率相同。 此外,在数值 模拟方面,设置了 5 种误差项分布条件,根据设定的 4 项指标,通过与其他惩罚函数模型以及损失函数模型进行比 较,结果表明新提出的方法具备更好的稳健性与有效性。     

左截断右删失数据下线性模型的加权复合分位数估计及变量选择

在可靠性及生存分析等领域中经常出现左截断右删失数据,即指在某种设定下,样本值不能被完全观测到的数据.左截断右删失数据下线性回归的参数估计方法一般选用加权分位数估计,然而加权分位数估计只考虑了单个分位点的损失,在估计效率方面存在缺陷.为克服这一缺点,针对左截断右删失数据下线性模型的参数估计问题,提出了加权复合分位数估计方法.此外,为识别模型中的非零参数并进行变量选择,建立了基于自适应Lasso的惩罚加权复合分位数估计,并在一定假设条件下,证明了所提估计具有渐近正态性和Oracle性质.数值模拟和实例分析结果表明,本文提出的惩罚加权复合分位数估计具有良好的变量选择性质,并且加权复合分位数估计与加权分位数估计相比,具有更高的估计效率.     

基于Jackknife互信息的高维非线性回归模型研究

确定独立筛选(SIS)方法在处理超高维稀疏线性回归模型的变量选择问题上已得到了广泛的应用,且已被推广到处理广义线性回归模型的变量选择问题.但SIS不能很好地解决非线性回归模型的变量选择问题,关于该问题的现有研究也较少,因此,如何有效地对超高维稀疏非线性回归模型进行变量选择是一个具有研究价值的问题.本文在经典的SIS方法...     

响应变量缺失下变系数模型的分位数回归

针对响应变量随机缺失情况下变系数分位数回归模型的非参数估计问题,提出了将B样条和逆概率加权相结合的估计方法。缺失数据在统计工作中难免会遇到,首先用logistic模型产生响应变量的缺失概率,然后对变系数模型的系数函数采用B样条逼近技术,利用缺失概率构建逆概率加权分位数回归的损失函数,得到模型的未知系数函数估计;在模拟研究中,将得到的估计与直接使用完全数据的估计方法进行对比,发现在响应变量随机缺失下,将B样条和逆概率加权相结合的变系数模型分位数回归在有限样本情况下表现良好,模拟研究结果表明该方法有效;最后将所研究的方法运用到挪威公共道路管理局收集的奥斯陆地区相关数据中,研究了空气中二氧化氮浓度与道路车流量和风速之间的关系,得出合理的结论,进一步证明了该方法的合理性。     

基于t函数的稳健变量选择方法

在已有研究的基础上,提出一种新的基于t函数的稳健变量选择方法.该方法通过惩罚估计方程中的惩罚函数达到变量选择的效果,方程中的权重矩阵和有界得分函数对自变量和因变量中的异常值有很好的限制作用,可同时达到稳健的变量选择和稳健估计.通过分析3种不同自由度的t函数性质,选取自由度为2的t函数,并与基于Huber函数的稳健变量选择方法进行比较.数值模拟结果表明,基于t函数的稳健变量选择方法在2种污染力度、3种污染方式的数据污染情况下,其稳健性均明显优于基于Huber函数的稳健变量选择方法.与参数估计效果相比,基于t函数的稳健变量选择方法优势更明显.     

叠加支持向量机及其在醋酸精馏软测量中的应用

针对在高维输入空间数据点的异常稀疏性(维数灾难)会导致支持向量机回归模型产生偏差的问题,提出了一种基于叠加模型的支持向量机回归方法———叠加支持向量机回归(AddS-VR)。AddSVR的实现是通过对每一维输入进行核化,然后将每一个核空间进行叠加得到,基于叠加模型可以克服维数灾难的问题,使得其在处理高维问题时估计偏差减小。为了更方便、迅速地实现AddSVR,还提出了对支持向量机的一种简化的二次规划描述。将AddSVR用于醋酸共沸精馏中塔底醋酸组分的预测,仿真实验结果表明,AddSVR模型与传统的SVR和最小二乘支持向量机回归(LS-SVM)模型相比有更好的预测效果。     

利用线性回归模型对季节指数的估计

利用季节虚拟变量建立回归模型,通过季节虚拟变量的参数估计间接地估计季节指数,并且利用模型进行了一些传统的季节指数方法无法进行的推断统计.这是一种分析季节指数和季节变动的新思路。     

双尾Tobit模型中LAD估计的渐近正态性

由于测量仪器或者测量方法精确度的影响,响应变量受到测量范围的限制,当大于最大测量值或者小于最小测量值时,其确切值不能观测到.当响应变量只受最小值或最大值限制时,有关回归模型(Tobit模型)中参数估计及其统计推断性质的研究已比较多.这里在响应变量同时受到最大值和最小值限制的情形下,讨论了回归模型(双尾Tobit模型)中参数LAD估计的构造,且在一定的条件下,证明了该LAD估计的弱相合性和渐近正态性.最后,利用数值模拟研究结果评估了所提方法的效果.