Logistic模型选择中三种交叉验证策略的比较

在模型选择中,常用5折、10折交叉验证方法.文章给出一种基于3×2交叉验证的模型选择方法,并通过模拟实验证明了在Logistic模型中,3×2交叉验证要比5折和10折交叉验证选到真模型的概率更大.     

交叉验证中类别切分不均衡对分类性能的影响分析

交叉验证被广泛应用于模型的泛化误差估计,特别是2折交叉验证在分类模型比较中得到广泛的应用．主要针对Logistic分类回归模型采用2折交叉验证的不同切分方法且特征（自变量）取值均为0,1时对模型性能的影响进行了模拟．结果表明,当2折交叉验证的两份数据中的类别分布相同或相近时,准确率、召回率、F值及精确率的2折交叉验证估计的偏差最小,且估计的偏差随着2折交叉验证中类别的差异增加而增加．当2折交叉验证中数据的类别分布相差较大时,模型性能的估计明显地变差．因此,采用交叉验证切分数据时,应尽量保持每份数据的类别分布与总体一致．     

泛化误差的三种交叉验证估计方法的比较

在泛化误差（GeneralizationError）的估计中,交叉验证（Cross—validation）是最常用的方法．基于均方误差准则下,采用生物信息数据比较了泛化误差的5折、10折交叉验证和组块3×2交叉验证估计,实验证明组块3×2交叉验证比5折、10折交叉验证方法更好．     

几种交叉验证检验的可重复性

文章基于UCI数据库中10个常用的数据集对用于算法性能对照时五种交叉验证检验方法的可重复度量进行了比较研究，实验结果表明K折交叉验证（K=2，5，10）t检验随着折数的增大可重复性增大，在相同的计算复杂度下5×2交叉验证F检验和10折交叉验证t检验在大多数情形下有比5×2交叉验证t检验更高的可重复性．     

高维回归中基于组块3×2交叉验证的调节参数选择

将组块3×2交叉验证方法用于高维回归中的调节参数选择.首先通过ISIS方法把模型的维数降低到样本个数以内,然后使用AENET方法对降维后的模型进行进一步的降维和参数估计,使用组块3×2交叉验证方法选择最佳的调节参数.综合考虑模拟实验中各种调节参数选择方法(AIC、BIC、EBIC、HBIC、5折交叉验证、组块3×2交叉验证)的EMSE值、方差以及计算复杂度,结果表明基于组块3×2交叉验证的方法是有其优势的.     

一种基于支持向量机的企业财务危机预警新模型

为有效解决传统模型存在的小样本、高维数、非线性和局部极小点等问题，基于支持向量机方法建立了一种新的企业财务危机预警模型。该模型以财务危机预警指标体系为基础，企业财务危机与否的实际结果为学习样本．采用交叉验证和“格搜索”方法进行训练、验证，确定出最优分类函数。实例分析结果表明，该模型简单、有效、可行，为企业财务的动态预警提供了新的途径。     

求解交叉规划模型的一类联合均衡方法

引进了交叉规划模型中关于决策者最优个体值的均衡因子的概念,构造了一类求解交叉规划模型的联合均衡方法,给出了交叉规划模型基于该方法的联合最优解的定义、性质及求解方法,数值例子表明该方法对于求解交叉规划模型具有一定的有效性。     

核函数选择方法研究

核函数的选择对支持向量机的分类结果有着重要的影响,为了提高核函数选择的客观性,提出了一种以错分实例到支持向量所在界面的距离来表示错分程度,并基于此进行秩和检验的核函数选择方法.通过与K-折交叉验证、配对t测试等参数检验的统计方法进行对比分析,对9种常用核函数的分类能力在15个数据集进行了定量研究.与参数检验方法不同,秩和检验并未假定数据的分布情况(很多情况下数据并不满足假定的分布),而且数据实验证明,秩和检验不但能够对核函数的分类能力进行客观评估,而且在某些数据集上还能产生更好的核函数选择效果.     

苯的衍生物的HQSAR研究

应用分子全息结构描述子表征69种苯的衍生物建立相关QSAR模型，并且对分子全息产生过程中的碎片区分参数及碎片长度与模型质量的关系进行了探讨．在最佳全息条件下产生的模型相关系数r^2为0．997、交叉验证相关系数q^2LOO为0．841，研究结果表明所建立模型具有良好的拟合效果，同时具有较高的预测能力．     

极限学习机的快速留一交叉验证算法

针对回归和分类问题,提出一种极限学习机(Extreme Learning Machine, ELM)的快速留一交叉验证算法,并从理论和数值仿真两方面说明其有效性.结果表明,该算法避免了以训练样本数量N次的ELM模型的显式训练,其计算复杂度与N仅呈线性趋势增长,即O(N).即使在处理大型数据集建模问题时,该算法仍然可以快速地进行ELM模型的选择和评价.通过人工和实际数据集上的仿真实验,验证了该快速留一交叉验证算法的有效性.     

一种基于支持向量机的企业财务危机预警新模型

为有效解决传统模型存在的小样本、高维数、非线性和局部极小点等问题,基于支持向量机方法建立了一种新的企业财务危机预警模型.该模型以财务危机预警指标体系为基础,企业财务危机与否的实际结果为学习样本,采用交叉验证和"格搜索"方法进行训练、验证,确定出最优分类函数.实例分析结果表明,该模型简单、有效、可行,为企业财务的动态预警提供了新的途径.     

基于不同颜色空间的舌色分类的评价

分类算法最好的评价指标是分类误差,在综合常用舌色分类算法和在不同的颜色空间中提取舌色特征的基础上,基于360张舌图片,考查了常用的9个3维颜色空间和18个2维色度平面,采用交叉验证的方法对舌色分类器的性能进行评价,形成了一个系统的舌色色度空间的分类性能评价体系,为选择合适的颜色空间来提取特征和选择分类性能较强的分类算法对舌色分类提供了依据.结果表明,在知觉颜色空间、感知均匀空间内和包含亮度信息的2维色度平面上提取舌色特征对于舌色分类具有较好的分类性能.     

基于学习通课程的学生网络学习行为研究

针对超星学习通课程学习过程中学生出现的被动学习、消极学习现象,提出分析学生学习态度的方法,构建学习态度跟踪模型.首先针对超星学习通平台收集的学生网络学习行为数据,选取与学习态度相关性较高的指标,形成训练数据集;然后,通过调查法对学生学习态度进行调查,以此获得学习态度标签;最后,基于分类算法构建学习态度跟踪模型,采用五折交叉验证方式进行实验.实验对比了不同分类算法的预测准确率,当采用Ada-Boost(Adaptive Boosting)算法作为学生态度积极性分类算法时,可较为精准地预测学生的学习态度.实验结果表明,构建的学习态度跟踪模型具备一定的学习态度分析能力.     

超高维线性回归模型的一种方差估计

超高维线性回归中的方差估计问题是超高维回归分析中需要解决的关键问题。针对在超高维线性回归中普通最小二乘法得到的方差估计存在有偏性的问题,有学者基于标准二折交叉验证提出了一种新的方差估计方法RCV。但发现方差的RCV估计依赖于数据的切分,稳定性差。为此,文章提出用组块3×2交叉验证的方法进行方差估计,并通过模拟实验将其与RCV方法进行了比较,验证了组块3×2交叉验证估计比RCV估计更为稳定。     

一种适用于不均衡数据集分类的KNN算法

传统的K-最邻近(K Nearest Neighbor,KNN)分类算法在处理不均衡样本数据时,其分类器预测倾向于多数类,少数类分类误差大。针对此问题从数据层的角度改进了传统的KNN算法。先通过K-means聚类算法将少数类样本聚类分组,将每个聚类内的样本作为遗传算法的初始种群;再使用遗传交叉和变异操作获取新样本,并进行有效性验证。最终获取到各类别样本数量基本均衡的训练样本集合。实验结果表明此方法有效改善了KNN算法对少数类分类效果。此法同时适用于其他关注少数类分类精度的不均衡数据集分类问题。     

基于气候因子的杉木单木胸径生长模型构建

【目的】为准确预测湖南杉木的生长及制定经营管理措施,构建了考虑气候因子的杉木单木胸径生长混合效应模型。【方法】基于湖南省第七、八次全国森林资源连续清查中73块样地的3 638株杉木数据,运用多元逐步回归的方法,考虑林木大小、竞争、立地和其他林分因子以及气候因子对杉木胸径生长的影响,分别以5年胸径增长量(D₂-D₁)、5年胸径增长量的自然对数[ln(D₂-D₁+1)]、5年胸径平方增长量的自然对数[ln(D₂²-D₁²+1)]、胸径平方增长量(D₂²-D₁²)为因变量构建模型,选择最优基础模型。在最优模型的基础上,引入样地随机效应,构建单水平线性混合效应模型,并引入3种常用的异方差函数和3种常用的自相关结构来消除模型的异方差和自相关,最后采用十折交叉验证的方法对模型的预估效果进行检验。【结果】与其他3种因变量相比,因变量为ln(...     

基于贝叶斯模型组合的随机森林预测方法

为了能够精准可靠地估计太阳能辐照度,本文提出一种基于贝叶斯模型组合的随机森林算法用于太阳能辐照度预测.首先,引入K-means聚类和K折交叉验证将气象数据训练集生成多个训练子集,以增加训练子集的多样性并保证均匀采样.其次,将随机森林作为基学习器建立集成学习预测模型,导入训练子集并训练各个随机森林.之后,依据各个随机森林在验证集上的预测性能,采用贝叶斯模型组合算法制定组合策略.个体随机森林在测试集上的预测值经过模型组合策略得到最终输出.最后,基于气象实测数据建立仿真实验,并引入其他四种预测方法进行对比仿真研究,通过实验结果验证了文中所提出预测方法在太阳能辐照度预测问题中的准确性和可靠性.     

基于像素特征的微表情识别

微表情持续时间短、表达强度低,给训练有效模型带来了挑战。针对此问题,提出了一种基于像素特征的微表情识别方法。对图像序列的面部区域进行裁剪,消除背景噪声;将每一帧的像素矩阵与第一帧(中性表情)做差处理,提取面部变化;对做差的结果累加,进一步突出面部表情;使用搭建的浅层CNN网络进行分类。在3个公共微表情数据集组成的交叉数据集上进行K折(K-fold)交叉验证实验中,所提方法的3个评价指标ACC(accuracy)、UF1(unweighted F1-score)和UAR(unweighted Average Recall)分别达到了0.8304、0.7827和0.7944,表明了该方法的有效性。与LBP-TOP等8个模型的对比实验中,所提方法的指标明显优于对比模型,验证了该方法的优越性。     

一种基于交叉验证思想的半监督分类方法

为了提高半监督分类的有效性,提出一种基于交叉验证思想的半监督分类方法（CV-S3VM）。通过对未标记样本进行伪标记,将伪标记后的样本加入到标记样本集中,参与交叉验证,选取能使SVM分类器误差最小的标记作为最终的标记,实现对未标记样本进行标记。依次挖掘未标记样本的隐含信息,增加标记样本的数目。使用UCI数据集模拟半监督分类实验环境,结果表明CV-S3VM具有较高的分类率,在标记样本较少的情况下效果更为明显。     

基于RF和KNN的地下采场开挖稳定性评估

针对传统地下采场开挖稳定评估方法存在的局限性,引入机器学习方法,提出基于随机森林算法(Random forest,RF)和K-最近邻算法(K-nearest neighbor,KNN)的地下采场开挖稳定性预测模型.以加拿大8个采场为例,首先,获取并分析399组观测数据,其中涵盖了相应的岩石质量分级(Rock Mass Rating,RMR)值、跨度以及对应的稳定、潜在不稳定或不稳定状态.然后将地下采场的稳定性程度进行三分类及二分类,采用10折交叉验证方法进行模型超参数优化,在不作任何假设的前提下,捕捉地下采场开挖稳定性与RMR值、跨度之间的复杂关系.研究表明:二分类结果准确性高于三分类预测结果;在二分类方式下,两种算法的准确率及召回率均高于90％,其中KNN算法的表现优于RF算法;提出的两种方法较先前研究的正确率有很大提升,为开挖稳定性评估提供了可靠途径.