Cost-Sensitive学习的一个新课题

Cost-Sensitive学习注重分类过程中的各种代价,特别是误分类代价和属性代价。在Cost-Sensitive学习中还有一种代价对分类的总代价有较大影响,这种代价可称为分类延时代价,即延误分类而造成的代价。包含分类延时代价的Cost-Sensitive学习是Cost-Sensitive学习中一个新的课题,这个新课题的目标是使分类过程中的误分类代价、检查代价及分类延时代价之和达到最小。给出包含一种简单的分类延时代价的Cost-Sensitive学习,提出一个既"摊薄"延时代价又减少浪费检查代价的检查策略。     

当概率和代价未知时的决策研究

在数据挖掘领域中对于测试例代价和概率未知的情况下,进行代价估计和概率估计是必须的.研究直接Cost-Sensitive决策方法的思想和决策过程,并运用决策树和贝叶斯学习方法进行代价估计和概率估计.当运用以上方法之后,能得到被校准的代价估计.与MetaCost方法相比较,直接Cost-Sensitive决策方法是更加有效的决策方法.     

嵌入误分类代价和拒识代价的二元分类算法

传统分类算法隐含的假设(每个样本的误差都具有相同的代价,且接受每个样本的分类结果)并不适用于医疗诊断、故障诊断、欺诈检测等领域的实际需求。在定义拒识代价的基础上,本文提出一种嵌入非对称误分类代价和非对称拒识代价的二元分类算法(CSVM-CM C2RC),包括以下4个步骤:学习代价敏感支持向量机、估计每个样本的后验概率、计算每个样本的分类可靠性、确定每类样本的最优拒识阈值。基于标准数据集的试验研究表明,CSVM-CM C2RC能有效地降低误分类率和平均代价,提高分类结果的可靠性。     

基于代价敏感的图分类算法

引入图的误分类代价矩阵,选取以最小误分类代价为目标的加权子图作为图样本的特征属性,建立起图的决策树桩分类器,进行集成学习,得到一个对新图进行分类的判别函数.在生成候选子图时,利用子图的超图增益值具有上界的性质来裁剪增益值比较小的候选子图,从而减少候选子图数量,提高算法效率.实验结果表明,所提算法比其他图分类算法的误分类代价更小.     

代价敏感学习的过度拟合问题研究

代价敏感学习算法的目的是最小化各种代价总和,与其他学习算法一样,它必须面对过度拟合这个挑战性问题,即分类器可以较好地拟合训练数据,但对测试或实际数据的效果较差.针对代价敏感学习的这些缺点,提出两个克服过度拟合的策略.第一个滤波技术策略针对TCSDT分类建立,滤波后的概率估计值被用于对每个分离属性的潜在误分类代价计算,并延缓潜在大误分类代价的分离属性的优先选择,最后,采用交叉验证方法决定m的值.第二个策略与基于标准错误的Laplace剪枝方法不同,阈值剪枝采用一个预先定义的阈值集合(跟代价有关)来确定决策树的一个叶节点是否被剪除.这两策略可独立或联合用于避免TCSDT分类的数据过度拟合.实验表明,所提出的两算法不但在代价敏感学习中有优势,在非代价敏感学习也具有优势,可以有效地减弱过度拟合,有很强的健壮性,UCI数据集实验结果显示算法的拟合能力平均优于存在方法10%以上.     

基于权值控制的误分类算法研究

研究了误分类代价敏感提升算法AdaCost,认为在该算法的每轮循环中可以增加一个过程,用来计算产生出的弱分类器的精确度,从而避免AdaCost算法的盲目循环.同时引入实例权值的上下阈值,控制实例权值的更新过程.本文提出的权值控制误分类算法WCMisC是对AdaCost算法的优化.通过实验设计,验证了权值控制误分类算法WCMisC能有效提高AdaCost算法的分类精度,具有高泛化能力.     

改进果蝇优化算法及其在不平衡数据分类中的应用

类别不平衡数据的分类问题是数据挖掘及机器学习过程中的一个研究热点,基于代价敏感学习方法通常用于解决类别不平衡数据分类问题,然而,它在实际应用过程中通常因样本的误分类成本未知而受到限制.针对此问题,文中采用群体智能算法优化样本的误分类代价.果蝇优化算法(Fruit fly optimization algorithm,F...     

基于基因表达式编程的代价敏感分类算法

针对传统分类算法在稀有类上的分类效果不佳,通过引进代价矩阵,改进了基因表达式编程的适应度函数,提出了一种基于基因表达式编程的代价敏感分类 (CSC-GEP：Cost-Sensitive Classification-Gene Expression Programming) 算法,并在UCI数据集上对该算法进行了实验。实验结果表明,CSC-GEP的召回率、精度和F-度量值较C4.5分类器分别提高了7.07%,2.89%,5.12%,证明了CSC-GEP是一种有效的代价敏感分类算法。     

代价敏感核主元分析及其在故障诊断中的应用

针对传统核主元分析没有考虑误分类代价的差别、对故障工况不敏感等问题,提出代价敏感核主元分析方法.该方法将代价敏感机制引入核主元分析,以误分类代价最小化为目标,设计最佳阈值调整方法获取最佳阈值,并采用混沌粒子群算法对核参数进行优化,最后利用SPE(squared prediction error)统计量诊断新样本类别.研究结果表明:该方法能有效地降低误分类代价,具有故障敏感性和诊断准确率高以及泛化能力强等特点.     

针对入侵检测的代价敏感主动学习算法

入侵检测系统通过提供可能由恶意攻击导致的告警信息来保护计算机系统.为了能够利用历史数据自动提升入侵检测的性能,机器学习方法被引入入侵检测.但是,高质量训练数据的获取往往需要繁重的劳动或代价昂贵的监控过程.同时,不同类型的误分类导致的代价也是不一样的,入侵检测需要使误分类代价最小.针对这两种需要综合考虑的问题,提出一种基于代价敏感主动学习的入侵检测分类器构造方法ACS.该方法结合代价敏感学习和主动学习方法,其目标为减少学习代价敏感分类器的标注次数,使代价敏感分类器的误分类代价最小.该方法在主动学习的学习引擎中使用代价敏感学习算法替代传统的错误最小学习算法,同时在采样引擎中使用最大误分类代价的采样标准.ACS方法在主动学习中版本空间的构造、更新过程都针对代价敏感环境作了对应的改进,使该算法能够以较高的收敛速度收敛到误分类代价最小的目标函数.在入侵检测数据集KDDCUP99上的的实验表明,ACS方法能够有效地减少学习代价敏感分类器的标注次数.