高维回归中基于组块3×2交叉验证的调节参数选择

将组块3×2交叉验证方法用于高维回归中的调节参数选择.首先通过ISIS方法把模型的维数降低到样本个数以内,然后使用AENET方法对降维后的模型进行进一步的降维和参数估计,使用组块3×2交叉验证方法选择最佳的调节参数.综合考虑模拟实验中各种调节参数选择方法(AIC、BIC、EBIC、HBIC、5折交叉验证、组块3×2交叉验证)的EMSE值、方差以及计算复杂度,结果表明基于组块3×2交叉验证的方法是有其优势的.     

泛化误差的三种交叉验证估计方法的比较

在泛化误差（GeneralizationError）的估计中,交叉验证（Cross—validation）是最常用的方法．基于均方误差准则下,采用生物信息数据比较了泛化误差的5折、10折交叉验证和组块3×2交叉验证估计,实验证明组块3×2交叉验证比5折、10折交叉验证方法更好．     

基于均衡7×2交叉验证的模型选择方法

交叉验证策略广泛应用于分类问题的模型比较和模型选择中．文章提出一种均衡7×2交叉验证并给出了相应的构造方法．文章以分类回归树（CART）为考察模型,对比了采用均衡7×2交叉验证、组块3×2交叉验证、标准5折和10折交叉验证在模型选择中的性能．模拟结果表明,在小规模数据集上,均衡7×2交叉验证方法选择到真模型的概率明显高于其余三种交叉验证的选择方法．     

基于成分数据的异方差模型

经典线性回归模型中,常用最小二乘法对模型中的参数进行估计,进而对模型进行预测。当模型具有异方差时,经常使用广义最小二乘法估计参数。若线性模型中的解释变量为成分数据,在异方差下,虽然可以使用广义最小二乘对参数进行估计,但是由于成分数据的定和限制及其特殊的协方差结构,会导致矩阵不可逆,从而无法估计参数。针对成分数据中的这种情况,文章借助于岭回归分析法的思想给出了一种解决方法。实例分析表明,此方法是可行的。     

基于交叉验证的错误率估计分析

交叉验证技术在分类器的性能评价方面占有重要地位.本文首先介绍了交叉验证的错误率估计,之后利用Friedman&Nemenyi检验方法分析了交叉验证错误率估计的偏差和方差,最后提出了在利用交叉验证进行分类器评价过程中的一些有效的措施.     

钻井液流变参数的非线性最小二乘估计算法

钻井液流变模式的参数估计问题大多使用线性回归方法求解,然而,线性回归方法改变了测量误差的统计特征,使得所得到的流变参数估计不具有无偏性和方差最小等特点.针对3种非线性流变方程(幂律模式、赫巴模式和卡森模式)的特点,分别提出了非线性最小二乘估计的新算法.该算法不需要人工给定迭代初始值,迭代过程稳定收敛到最小点,不会陷入极小点陷阱,存储需求小,收敛速度很快,所得到的流变参数估计具有拟合残差近似无偏性和方差几乎最小的优良统计特征.大量的实际钻井液算例表明,新方法具有比线性回归方法更小的拟合方差,拟合残差统计特性优于线性回归方法.     

基于Jackknife互信息的高维非线性回归模型研究

确定独立筛选(SIS)方法在处理超高维稀疏线性回归模型的变量选择问题上已得到了广泛的应用,且已被推广到处理广义线性回归模型的变量选择问题.但SIS不能很好地解决非线性回归模型的变量选择问题,关于该问题的现有研究也较少,因此,如何有效地对超高维稀疏非线性回归模型进行变量选择是一个具有研究价值的问题.本文在经典的SIS方法...     

高维数据挖掘中的正则化估计新方法

针对高维数据的特点并基于线性回归模型,利用变量选择降维技术,提出了一种新的、有效的变量选择（或称特征提取）的正则化估计方法．新的正则化估计方法主要考虑了数据的噪声（方差）对正则化估计的影响,在寻找估计的正则化路径时能对方差进行有效估计,且基于凸优化问题的KKT条件和坐标算法思想给出了正则化估计算法的实施细节．实验结果表明,该方法能够提高高维数据集进行估计和变量选择的准确性,是高维数据挖掘中新的、有效的特征提取方法．     

变系数模型的减小方差估计

提出了一种变系数模型的减小方差估计。在任意估计点,利用其附近3个点的局部线性估计的线性组合得到减小方差估计。所得估计与局部线性估计有相同的渐近条件偏差,但较局部线性估计有更小的渐近条件方差,而且该估计具有局部线性估计的良好性质,局部线性估计所采用的窗宽选取方法均可直接应用于该估计。通过数值模拟计算,表明所提出的方法在有限样本下也可以有效地降低估计方差。     

一类线性回归模型的参数估计

考虑一类多总体线性回归模型,其特点是它们均具有部分相同回归系数. 采用各个子总体内样本利用最小二乘方法估计回归参数, 然后依据样本容量进行加权估计公共回归系数, 最后把公共回归系数回代到各个线性回归模型, 利用最小二乘方法估计不同部分系数. 理论结果表明, 此种方法得到的估计量, 不仅是无偏估计, 而且方差比用单个子总体样本得到的最小二乘估计要小,蒙特卡罗模拟证实了该估计量良好的性质.     

回归误差方差的区间估计

首先将回归函数限制在一个有限维函数空间中,得到一个近似的线性模型,在此基础上,由Fiducial推断给出了误差方差的区间估计。该区间估计形式简单,易于计算。给出了这个区间估计的真实覆盖率和名义水平差异的一个上界,该上界由回归函数与其近似的线性函数的距离界定,并且对所给区间估计的真实覆盖率进行了数值模拟。     

线性回归模型LIU估计的影响分析

研究了线性模型中LIU估计的影响分析问题,得到了原模型与数据删除、方差扰动及均值漂移模型间——线性回归有偏估计(LIU)估计的关系式,给出了影响度量的计算公式。     

纵向污染数据回归模型中污染源密度的估计

研究了带有重复观测的线性回归模型中响应变量在受到另一随机变量序列污染时,污染源分布密度的估计问题.在较一般的条件下,对于纵向污染数据,构造了污染数据线性回归模型的参数和污染源密度的估计方法,并且证明构造的密度估计具有L2收敛性.由于在估计方法中无需假定误差方差,因此,所构造的估计方法更符合实际应用情况.     

回归误差方差的区间估计

首先将回归函数限制在一个有限维函数空间中,得到一个近似的线性模型,在此基础上,由Fiducial推断给出了误差方差的区间估计.该区间估计形式简单,易于计算.给出了这个区间估计的真实覆盖率和名义水平差异的一个上界,该上界由回归函数与其近似的线性函数的距离界定,并且对所给区间估计的真实覆盖率进行了数值模拟.     

区间数据的线性回归模型中误差项方差的估计

从无偏转换的思想出发,对区间数据的线性回归模型中误差项方差进行了估计.当截断变量的分布密度函数已知时,得到一批具有强相合性和渐近正态性的估计量,并通过模拟计算对这种估计方法的可行性进行了验证.     

普通最小二乘估计方差表达式的等价性

从最小二乘估计的经典假定出发,运用最小二乘估计的相关理论,证明了一元线性回归模型中常数项的普通最小二乘估计方差表达式的等价性。     

奇异线性模型下最小范数二次无偏估计关于误差分布的稳健性

讨论奇异线性模型下方差σ2的最小范数二次无偏估计关于误差分布的稳健性问题,得到方差的最小范数二次无偏估计保持最优的误差项的最大分布类.进一步考虑可估计函数Xβ的最佳线性无偏估计的稳健性,得到了Xβ的最佳线性无偏估计与方差σ2的最小范数二次无偏估计同时最优的误差项的最大类.     

方差分量的不变二次无偏估计

本文考虑具有任意K个方差分量的线性模型,讨论了方差分量线性函数的可容许估计问题。根据一般线性模型中均值参数的可容许估计的刻划,得到了在椭球等高分布的假定下,方差分量线性函数的可容许性不变二次无偏估计的刻划。     

回归模型中异性方差问题的克服

提出了回归分析中异性方差的检验和对估计结果带来的影响以及消除其异方差性的两种方法：对原模型进行变换和加权最小二乘法。     

交叉验证中类别切分不均衡对分类性能的影响分析

交叉验证被广泛应用于模型的泛化误差估计,特别是2折交叉验证在分类模型比较中得到广泛的应用．主要针对Logistic分类回归模型采用2折交叉验证的不同切分方法且特征（自变量）取值均为0,1时对模型性能的影响进行了模拟．结果表明,当2折交叉验证的两份数据中的类别分布相同或相近时,准确率、召回率、F值及精确率的2折交叉验证估计的偏差最小,且估计的偏差随着2折交叉验证中类别的差异增加而增加．当2折交叉验证中数据的类别分布相差较大时,模型性能的估计明显地变差．因此,采用交叉验证切分数据时,应尽量保持每份数据的类别分布与总体一致．