基于Gibbs-DA算法的贝叶斯分位回归模型研究

针对分位回归模型参数的不确定性风险问题,构建了基于Gibbs-DA抽样算法的贝叶斯线性分位回归分析模型.根据非对称Laplace分布的正态-指数分布的混合表示性质,利用数据扩展方法构建了潜变量,给出分位回归模型的似然函数,推断了多元正态先验分布条件下分位回归模型参数的后验分布,证明了潜变量的完全条件分布为广义逆高斯分布;结合Gibbs抽样和数据扩展方法,设计Gibbs-DA的仿真分析方案,并将其应用于我国能源消耗问题分析.研究结果表明:贝叶斯方法可以有效地应用于分位回归的建模以及我国能源消费弹性的分位问题研究.     

基于Jackknife互信息的高维非线性回归模型研究

确定独立筛选(SIS)方法在处理超高维稀疏线性回归模型的变量选择问题上已得到了广泛的应用,且已被推广到处理广义线性回归模型的变量选择问题.但SIS不能很好地解决非线性回归模型的变量选择问题,关于该问题的现有研究也较少,因此,如何有效地对超高维稀疏非线性回归模型进行变量选择是一个具有研究价值的问题.本文在经典的SIS方法...     

基于spike-and-slab先验分布的贝叶斯变量选择方法

针对超高维数据,提出一种基于spike-and-slab先验分布的超高维线性回归模型的贝叶斯变量选择方法。该方法继承了弹性网方法和EM算法的优点,以较快的收敛速度来获得稀疏的预测模型。特别地,针对系数的spike-and-slab先验分布设置上,该方法允许系数从不同坐标借力、自动适应已知数据的稀疏信息以及进行多重调整。通过与常用方法的比较,证明了该方法的准确性和有效性。     

基于众数回归的变系数模型统一变量选择

研究了众数回归下变系数模型的统一变量选择问题.利用B样条基函数近似非参数部分,在众数回归下建立SCAD惩罚函数同时选择变系数模型中的重要变量并且识别具有常数效应的协变量,在一定条件下, 证明惩罚估计量相合性和稀疏性,通过数值模拟评估所提出的变量选择方法的有效性.     

响应变量缺失时偏线性测量误差模型的变量选择

考虑当响应变量缺失且协变量包含测量误差时偏线性模型的变量选择问题,提出了基于SCAD(smoothly clipped absolute deviation)惩罚最小二乘和STEE(smooth-threshold estimating equations)的两种变量选择方法.利用半参数回归替代估计来处理缺失的响应变量.通过选择合适的调整参数,且在一定的正则条件下,可以证明这两种变量选择方法具有渐进正态性和先知性.数值模拟研究进一步给出了估计的有限样本性质.     

基于弹性网惩罚的复合分位数回归估计

针对高维数据的建模分析问题,提出一种基于弹性网络法和复合分位数回归相结合的稳健估计方法。 在该 估计方法中,所提出的模型能够有效进行变量选择与系数压缩,并处理数据间的多重共线性与群组效应问题,在大 数据时代下具有较广的适应性。 同时,与已有的惩罚最小二乘估计和惩罚分位数回归估计相比,该估计方法不仅 放宽了对模型误差项的分布要求,而且综合考虑了多个分位点的损失,在面对离群值或呈现尖峰、厚尾分布数据时 能够保持更强的稳健性和抗干扰性。 在一定条件下,对所构建模型估计的相合性与稀疏性进行了理论分析,结果 表明:所提出的模型能够将不相关的变量完全压缩至零,且估计量和真实系数以趋于 1 的概率相同。 此外,在数值 模拟方面,设置了 5 种误差项分布条件,根据设定的 4 项指标,通过与其他惩罚函数模型以及损失函数模型进行比 较,结果表明新提出的方法具备更好的稳健性与有效性。     

基于M-H抽样算法的贝叶斯Probit分位回归模型研究

针对Probit分位回归在参数随机化条件下的建模问题,提出基于Metropolis-Hastings算法的贝叶斯Probit分位回归模型.通过分析Probit分位回归模型结构,选择模型的先验分布,运用M-H算法进行参数估计.利用Monte Carlo仿真技术,得到不同分位点模型参数后验分布,同时用贝叶斯probit分位回归与分位回归方法和光滑分位回归方法对模型参数估计进行比较分析.研究结果表明:贝叶斯Probit分位回归模型可以更全面描述离散选择变量的影响,能够得到更加准确有效的参数估计.     

部分线性反映变量含误差模型的经验似然置信区域

目的研究部分线性反映变量含误差模型。方法发展了经验似然比方法,将其应用到部分线性反映变量含误差模型。结果得到了W ilks定理的非参数形式,定理用来构造参数向量的渐近置信区域。结论参数β的置信区域也可由其他方法来构建,但与正态逼近或自助法相比,经验似然方法在实践中更直接和简单。     

删失回归模型的分位数变量选择和压缩估计

删失回归模型是一种响应变量受限制的模型,广泛应用于计量经济学中.针对删失回归模型,借助于分位数估计方法和SCAD型惩罚函数,提出了一种变量选择和压缩估计方法.该方法可选出对模型有贡献的回归变量,即非0回归系数,同时给出非零参数的一个相合估计.另外,获得了变量选择方法的oracle性质.最后,利用数值模拟计算说明所提出方法的效果.     

高维数据挖掘中的正则化估计新方法

针对高维数据的特点并基于线性回归模型,利用变量选择降维技术,提出了一种新的、有效的变量选择（或称特征提取）的正则化估计方法．新的正则化估计方法主要考虑了数据的噪声（方差）对正则化估计的影响,在寻找估计的正则化路径时能对方差进行有效估计,且基于凸优化问题的KKT条件和坐标算法思想给出了正则化估计算法的实施细节．实验结果表明,该方法能够提高高维数据集进行估计和变量选择的准确性,是高维数据挖掘中新的、有效的特征提取方法．     

基于预测变量图结构的高维逻辑回归模型

针对高维数据集,提出一种利用预测变量之间的图结构信息来改进稀疏逻辑回归模型的方法。该方法通过利用高维图结构数据或者重叠组结构来进行逻辑回归建模,即使预测变量的图结构未知,该方法仍适用,当图结构为某些特殊形式时,目前流行的方法,如Adaptive Lasso,(Overlapping) Group Lasso和岭回归都可以看作是该模型方法的特例。数值模拟和实例分析应用表明:该方法能有效地利用预测变量图结构信息,提高模型在估计、预测以及变量选择等方面的表现,并且该模型在有限样本情形下是有效的;该模型方法克服了数据集的维数问题,利用高维数据的图结构提高了稀疏逻辑回归模型的性能,可广泛应用于高通量基因数据集的疾病分类研究中。     

Cox比例风险模型的桥估计

在经济领域和生物科学领域的研究中,经常会遇到包括有变量指标多、样本量大的数据集.一般来说,在一个复杂模型中如果包括有很多微不足道的变量,统计结果往往很难解释.因此,为了减少这种误差,在没有先验的专业知识情况下,研究变量的选择方法非常重要.Cox比例风险模型是生存分析中重要的模型之一.本文将桥估计的变量选择方法应用于Cox比例风险模型中,该方法使用的惩罚函数是p∑j=1｜βj｜γ.用桥估计方法估计未知参数和变量选择,在一定条件下,讨论了基于惩罚部分似然的桥估计方法在Cox比例风险模型中的Oracle性质,即：相合性和渐近正态性.     

基于LAZE先验的机器学习方法在癌症数据上的应用——以前列腺癌数据集为例

针对高维癌症数据的特征构建稀疏化模型,分析了已有的稀疏化方法能够取得稀疏化结果的原因,以此为基础改进了使用LAZE先验的贝叶斯方法,得到了2个适用于癌症数据的新稀疏化方法（使用半混合先验的贝叶斯方法和使用完整LAZE先验的贝叶斯方法）;并利用前列腺癌数据集对2个新稀疏化方法的可行性与有效性进行验证. 数值实验结果表明:与传统稀疏化方法相比较,新稀疏化方法不仅能够得到较好的稀疏效果,能够完全剔除与目标指标无关的临床指标,还能得到较低的误差.     

统计回归模型及其优化算法综述

在大数据时代,正则化(惩罚)回归模型成为高维数据分析的一种有效分析工具.文中从统计模型理论和优化算法两个角度对正则化回归模型进行简要的概述,主要介绍线性回归模型、广义线性模型和分位数回归模型三种经典且重要的回归模型以及相应的正则项.对于线性回归模型,介绍最小二乘回归和l_1-正则最小二乘回归问题的优化算法;对广义线性模型和分位数回归模型,介绍逻辑回归模型和求解l_1-正则逻辑回归问题的优化算法,并展示分位数回归模型和求解相应的正则化分位数回归模型的优化算法.最后,对正则化回归模型未来的研究方向进行展望.     

基于LASSO回归的R-vine copula模型构建及其在化工过程故障检测中的应用

Vine copula模型在描述高维数据间的非线性、非高斯特性相依关系问题上提供了一种新的思路，在化工过程建模领域受到越来越多关注。笔者将LASSO(least absolute shrinkage and selection operator)回归引入R-vine copula(LASSO-R-vine copula, LRVC),根据变量间联系的强弱程度确定变量在R-vine矩阵中的位置，利用回归分析正则化路径选择R-vine copula矩阵结构，遵循R-vine矩阵构建规则和回归过程确定R-vine结构矩阵模型，以获得一个与变量独立性有关的稀疏矩阵模型。该方法构建的矩阵结构独立于copula函数类型和参数，在处理高维度复杂工业过程数据时，利用稀疏模型和惩罚力度简化copula函数类型选择过程，缩短了建模时间，使统计建模具有更强的灵活性。该方法在TE(Tennessee Eastman)和醋酸脱水过程故障监测中表现出较好的预测效果，证明了提出的方法在非线性、非高斯过程的有效性。     

Bin-based model construction and analytical strategies for dissecting complex traits with chromosome segment substitution lines

Chromosome segment substitution lines have been created in several experimental models,including many plant and animal species,and are useful tools for the genetic analysis and mapping of complex traits.The traditional t-test is usually applied to identify a quantitative trait locus (QTL) that is contained within a chromosome segment to estimate the QTL’s effect.However,current methods cannot uncover the entire genetic structure of complex traits.For example,current methods cannot distinguish between main effects and epistatic effects.In this paper,a linear epistatic model was constructed to dissect complex traits.First,all the long substituted segments were divided into overlapping small bins,and each small bin was considered a unique independent variable.The genetic model for complex traits was then constructed.When considering all the possible main effects and epistatic effects,the dimensions of the linear model can become extremely high.Therefore,variable selection via stepwise regression (Bin-REG) was proposed for the epistatic QTL analysis in the present study.Furthermore,we tested the feasibility of using the LASSO (least absolute shrinkage and selection operator) algorithm to estimate epistatic effects,examined the fully Bayesian SSVS (stochastic search variable selection) approach,tested the empirical Bayes (E-BAYES) method,and evaluated the penalized likelihood (PENAL) method for mapping epistatic QTLs.Simulation studies suggested that all of the above methods,excluding the LASSO and PENAL approaches,performed satisfactorily.The Bin-REG method appears to outperform all other methods in terms of estimating positions and effects.     

Sparse assortment personalization in high dimensions

The data-driven conditional multinomial logit choice model with customer features performs well in the assortment personalization problem when the low-rank structure of the parameter matrix is considered. However, despite recent theoretical and algorithmic advances, parameter estimation in the choice model still poses a challenging task, especially when there are more predictors than observations. For this reason, we suggest a penalized likelihood approach based on a feature matrix to recover the sparse structure from populations and products toward the assortment. Our proposed method considers simultaneously low-rank and sparsity structures, which can further reduce model complexity and improve its estimation and prediction accuracy. A new algorithm, sparse factorial gradient descent (SFGD), was proposed to estimate the parameter matrix, which has high interpretability and efficient computing performance. As a first-order method, the SFGD works well in high-dimensional scenarios because of the absence of the Hessian matrix. Simulation studies show that the SFGD algorithm outperforms state-of-the-art methods in terms of estimation, sparsity recovery, and average regret. We also demonstrate the effectiveness of our proposed method using advertising behavior data analysis.     

稀疏信息处理中的迭代分式阈值算法

在稀疏信息处理中, l₀范数优化问题通常转化为l₁范数优化问题来求解。 但l₁ 范数优化问题存在一些不足。 为寻找一种更有效的求稀疏解的算法, 首先构造一个新的收缩算子, 其次证明该收缩算子是某非凸函数的邻近算子。 然后用该非凸函数替代l₀-范数, 对新的优化问题用向前-向后分裂方法得到对应的迭代阈值算法-迭代分式阈值算法(IFTA)。 仿真实验表明该算法(IFTA)在稀疏信号重构和高维变量选择中均有良好的表现。