代价敏感学习的过度拟合问题研究

代价敏感学习算法的目的是最小化各种代价总和,与其他学习算法一样,它必须面对过度拟合这个挑战性问题,即分类器可以较好地拟合训练数据,但对测试或实际数据的效果较差.针对代价敏感学习的这些缺点,提出两个克服过度拟合的策略.第一个滤波技术策略针对TCSDT分类建立,滤波后的概率估计值被用于对每个分离属性的潜在误分类代价计算,并延缓潜在大误分类代价的分离属性的优先选择,最后,采用交叉验证方法决定m的值.第二个策略与基于标准错误的Laplace剪枝方法不同,阈值剪枝采用一个预先定义的阈值集合(跟代价有关)来确定决策树的一个叶节点是否被剪除.这两策略可独立或联合用于避免TCSDT分类的数据过度拟合.实验表明,所提出的两算法不但在代价敏感学习中有优势,在非代价敏感学习也具有优势,可以有效地减弱过度拟合,有很强的健壮性,UCI数据集实验结果显示算法的拟合能力平均优于存在方法10%以上.     

一种新的基于软集合理论的文本分类方法

文本分类技术是文本信息处理的核心技术之一,主要包括文本的向量模型表示、文本特征选择和分类器训练三大过程.本文提出了一种混合(EIBA+DHChi2)特征选择算法,并将所获取的特征作为软集合理论中的参数集进行文本分类,从而建立了一种新的基于软集合理论的文本分类技术.实验表明查准率与查全率比原有算法都有所提高,说明新的基于...     

数据库技术研究进展

数据处理是计算机应用首先要解决的问题，因此数据库技术是计算机科学中的重要学科之一。首先概述了数据库技术的研究与发展，然后分析了数据库技术所面临的挑战。为方便研究，也介绍了数据库技术的几个热门研究方向。     

一种新颖周期模式的挖掘

基于小波数据结构设计了一种用于挖掘新的周期模式(RPP)的算法.该周期模式不同于以支持度为度量标准挖掘的周期或半周期模式,它能有效地发现RPP中P=〈Am→Bn〉这样的模式.实验证明该算法是有效的,且具有很好的延展性.     

利用项集有序特性改进Apriori算法

Apriori算法是挖掘关联规则的一个经典算法，通过分析、研究该算法的基本思想，并利用项集的有序特性对其进行改进，减少了生成的候选集数量，从而提高算法的效率．