基于流形学习的代价敏感特征选择

为了得到一个低误分类代价的特征子集,本文通过定义样本间的代价距离并将代价距离引入了现有的特征选择架构,把流形学习和代价敏感特征选择问题相结合得到了一个新的代价敏感特征选择方法,称之为基于流形学习的代价敏感特征选择算法。以前提出的代价敏感特征选择算法在选择特征的过程中只考虑到了特征与误分类代价的关系,并对特征一个一个的进行选择,而本文所提出的代价敏感特征选择算法同时考虑了特征与误分类代价的关系和特征之间内在的判别信息,从而提高了代价敏感特征选择效果。在六个现实世界数据集上的实验证明了本文所提出的算法效果优于现有的相关算法。     

基于非负矩阵分解的代价敏感特征选择

数据降维可降低分析处理多维数据的复杂度和成本.特征选择是常见的数据降维方法.传统的特征选择算法更多关注算法的分类性能,忽略了对选择过程中产生的测试代价(Cost-test)的考虑.基于此提出一种新的基于非负分解的代价敏感特征选择方法(NmfCt).NmfCt算法构造的目标函数能够同时约束重建误差最小和测试代价最小,在对数据进行预处理降维的同时,不但能确保较好的分类正确率(Accuracy),而且还能保持较低的测试代价.     

基于代价敏感SVM优化组合算法的微钙化簇识别

微钙化簇是乳腺癌一个重要的早期发现,现有的检测技术为了达到高敏感性要求,产生很多假阳性数据.根据微钙化簇特点,提出一种整体和局部相组合的分类识别策略,并根据真假阳性样本错分代价的不同,使用代价敏感SVM方法进行分类学习.在构造分类器模型过程中利用粒子群进行分类器的参数优化及特征集合的选择,以提升分类学习的泛化能力.该算法在保证高敏感性的同时,降低了过多的假阳性数据,并删除了冗余和不相关的特征.实验结果表明,基于粒子群优化的代价敏感SVM组合分类算法提高了传统方法的识别能力.     

针对入侵检测的代价敏感主动学习算法

入侵检测系统通过提供可能由恶意攻击导致的告警信息来保护计算机系统.为了能够利用历史数据自动提升入侵检测的性能,机器学习方法被引入入侵检测.但是,高质量训练数据的获取往往需要繁重的劳动或代价昂贵的监控过程.同时,不同类型的误分类导致的代价也是不一样的,入侵检测需要使误分类代价最小.针对这两种需要综合考虑的问题,提出一种基于代价敏感主动学习的入侵检测分类器构造方法ACS.该方法结合代价敏感学习和主动学习方法,其目标为减少学习代价敏感分类器的标注次数,使代价敏感分类器的误分类代价最小.该方法在主动学习的学习引擎中使用代价敏感学习算法替代传统的错误最小学习算法,同时在采样引擎中使用最大误分类代价的采样标准.ACS方法在主动学习中版本空间的构造、更新过程都针对代价敏感环境作了对应的改进,使该算法能够以较高的收敛速度收敛到误分类代价最小的目标函数.在入侵检测数据集KDDCUP99上的的实验表明,ACS方法能够有效地减少学习代价敏感分类器的标注次数.     

代价敏感多主题学习的邮件过滤算法

针对传统邮件分类模型中较少对邮件主题进行描述和分析的问题,提出一种代价敏感多主题学习的邮件分类算法,用以实现垃圾邮件过滤.首先,基于LDA(潜在狄利克雷分布)对邮件的多个主题进行提取,对邮件语义进行描述;其次,利用CS-SVM(代价敏感支持向量机)对邮件进行代价敏感学习,实现对不同类别邮件的惩罚;最后,结合MI-SVM(多示例支持向量机)进行代价敏感的多主题学习,实现邮件分类.实验采用四组ling-spam处理数据集.实验结果证明:该分类算法较比传统邮件分类算法,可以取得更高的准确性、特异性与敏感性.     

基于三支决策模型的代价敏感数据分类方法

三支决策是近年来提出的一种新的决策理论模型,为了将该模型应用于数据的分类中,提出一种基于三支决策的代价敏感数据分类方法。首先根据三支决策模型,定义一种新形式的误分类代价,并提出相应的最小化误分类代价特征选择算法,然后在该特征选择算法的基础上,提出三支决策模型的代价敏感数据分类算法,该算法将数据分类结果分成三种情形,分别为标记特定类别、不标记特定类别和暂不标记。最后通过仿真实验证明了文中所提出的算法具有更好的代价敏感分类效果。     

代价敏感Boosting算法研究

针对代价敏感学习问题,研究boosting算法的代价敏感扩展。提出一种基于代价敏感采样的代价敏感boosting学习方法,通过在原始boosting每轮迭代中引入代价敏感采样,最小化代价敏感损失期望。基于上述学习框架,推导出两种代价敏感boosting算法,同时,揭示并解释已有算法的不稳定本质。在加州大学欧文分校(University of California,Irvine,UCI)数据集和麻省理工学院生物和计算学习中心(Center for Biological&Computational Learning,CBCL)人脸数据集上的实验结果表明,对于代价敏感分类问题,代价敏感采样boosting算法优于原始boosting和已有代价敏感boosting算法。     

一种新的多分类代价敏感算法

为了提高代价敏感分类算法MetaCost的准确率,降低错分代价,提出了多类别问题下的一种代价敏感分类算法(简称D-MetaCost算法).该算法利用MetaCost算法,通过多次取样生成多个模型,依据它们的分类准确率,选择其中准确率较高的前几个基分类器,将它们与最后阶段新生成的分类器聚集在一起得到最终分类模型.实验表明,D-MetaCost算法在准确率和代价方面比经典的MetaCost算法有明显的改进和提高.     

多代价下的代价敏感属性选择算法比较

代价敏感属性选择在数据挖掘和机器学习中起着关键性作用,代价敏感属性选择问题是经典属性选择问题的自然扩展,已成为越来越多学者的研究热点之一.首先给出多代价下代价敏感属性选择问题的数学模型,然后介绍现有的有代表性的四种代价敏感属性选择算法,最后在四个UCI数据集上进行实验,对四种代价敏感属性选择算法的效果和效率进行比较分析.     

代价敏感学习的过度拟合问题研究

代价敏感学习算法的目的是最小化各种代价总和,与其他学习算法一样,它必须面对过度拟合这个挑战性问题,即分类器可以较好地拟合训练数据,但对测试或实际数据的效果较差.针对代价敏感学习的这些缺点,提出两个克服过度拟合的策略.第一个滤波技术策略针对TCSDT分类建立,滤波后的概率估计值被用于对每个分离属性的潜在误分类代价计算,并延缓潜在大误分类代价的分离属性的优先选择,最后,采用交叉验证方法决定m的值.第二个策略与基于标准错误的Laplace剪枝方法不同,阈值剪枝采用一个预先定义的阈值集合(跟代价有关)来确定决策树的一个叶节点是否被剪除.这两策略可独立或联合用于避免TCSDT分类的数据过度拟合.实验表明,所提出的两算法不但在代价敏感学习中有优势,在非代价敏感学习也具有优势,可以有效地减弱过度拟合,有很强的健壮性,UCI数据集实验结果显示算法的拟合能力平均优于存在方法10%以上.     

基于乌鸦搜索算法的新型特征选择算法

基于元启发式算法--乌鸦搜索算法（CrSA）, 提出一种改进的基于乌鸦搜索算法的特征选择算法（IFSCrSA）, 以解决目前特征选择问题中存在的不足. 通过与传统的机器学习特征选择算法和基于进化计算的特征选择算法进行比较, 结果表明, IFSCrSA能在数据集中选择辨识度较强的特征, 不仅大幅度降低了特征子集的规模, 而且提高了分类准确率.     

一种改进的代价敏感随机森林算法

随机森林在分类不平衡数据时,容易偏向多数类而忽略少数类,可以将代价敏感用于分类器的训练,但在传统代价敏感随机森林算法中,代价函数没有考虑样本集实际分布与特征权重,且在随机森林投票阶段,没有考虑基分类器的性能差异。本文提出一种改进的代价敏感随机森林算法ICSRF,该算法首先根据不平衡数据集的实际分布构造代价函数,并将权重距离引入代价函数,然后根据基分类器的性能采取权重投票,提高分类准确率。实验结果表明,ICSRF算法能有效提高少数类的分类性能,可以较好的处理不平衡数据。     

基于乌鸦搜索算法的新型特征选择算法

基于元启发式算法--乌鸦搜索算法（CrSA）, 提出一种改进的基于乌鸦搜索算法的特征选择算法（IFSCrSA）, 以解决目前特征选择问题中存在的不足. 通过与传统的机器学习特征选择算法和基于进化计算的特征选择算法进行比较, 结果表明, IFSCrSA能在数据集中选择辨识度较强的特征, 不仅大幅度降低了特征子集的规模, 而且提高了分类准确率.     

一种用于方向预测的集成学习算法

对用方向向量标识示例的学习问题,以预测方向与实际方向之间的方向误差最小化为目标,提出了一种可用于方向预测的集成学习算法,详细分析了构造多个预测函数以及组合各个预测函数以实现方向的最优化预测方法. 提出的算法具有广泛的应用特性：当用不同的轴向来标识类别时,可简化得到多分类连续AdaBoost算法,其能确保训练错误率随分类器个数增加而降低;用错分代价组成的向量来标识示例时,可简化得到一种平均错分代价最小化的集成学习算法. 理论分析和实验结果均表明了算法的合理性和有效性.     

基于不确定抽样的半监督城市土地功能分类方法

为提高分类准确率, 解决城市区域社会功能标签分类难的问题, 提出了一种基于不确定抽样选择策略的半监督城市土地功能分类方法。该算法从轨迹数据中提取城市区域的特征向量, 只需对少量区域进行标签, 根据不确定抽样的主动学习选择策略, 从未标注训练样本中选取具有较多信息的数据, 利用半监督学习算法进行标注, 得到新的标注训练样本添加到训练集, 反复迭代后得到分类结果。实验结果表明, 该方法对不同社会功能的城市区域分类准确率可达90. 2%, 与传统方法相比分类准确率高, 减少了大量标注工作, 在少数标签数据上仍有较好的分类效果。     

大数据环境下的不确定数据流在线分类算法

在大数据环境下,由于隐私保护、数据丢失等原因,数据普遍存在不确定性;数据流系统中数据不断地到达系统,只扫描一遍且不能一次性全部获得;所以要构建一个增量分类模型来处理不确定数据流分类.本文基于VFDT算法提出了WBVFDTu算法,该算法在学习和分类阶段都可快速而有效地分析不确定信息.在学习期间,采用Hoeffding分解定理构造决策树模型;在分类期间,在决策树的叶子节点利用加权贝叶斯分类算法提高模型的分类准确率和算法的执行效率.最终证明该算法能够非常快速地学习不确定数据流,提高分类的准确率.     

随机森林的融合模型在压井方法分类中的研究

针对井口压力控制作业中传统方法过度依赖专家经验和数学模型运算精度的问题,提出一种基于随机森林(Random Forest,RF)的多模型融合算法对压井方式进行分类判断.首先,将专家经验结构化、数据化,转化成可被机器学习模型使用的数据形式,同时,结合油气井的基础数据和工况参数,作为智能模型的重要参数来描述压井作业的特征空...     

基于粗糙集的增强学习型分类器

为了提高分类的精确度,提出一种基于粗糙集理论的增强学习型分类器。采用分割算法对训练数据集中连续的属性进行离散处理;利用粗糙集理论获取约简集,从中选择一个能提供最高分类精确度的约简。对于不同的测试数据,由于离散属性值的变化,相同的约简可能达不到最高的分类精确度。为克服此问题,改进了Q学习算法,使其全面系统地解决离散化和特征选择问题,因此不同的属性可以学习到最佳的分割值,使相应的约简产生最大分类精确度。实验结果表明．该分类器能达到98％的精确度．与其它分类器相比．表现出较好的性能。     

流缺失标记环境下的多标记特征选择

在监督学习实际任务中,特征的高维性、标记的动态性和缺失性为监督学习带来严峻的挑战。为解决这些不足,提出流缺失标记环境下的多标记特征选择算法。首先,为解决缺失标记的影响,通过学习标记相关性填补不完整的标记矩阵。其次,利用稀疏学习方法为每个新到达的标记选择类属属性。然后,根据已到达标记的类属属性,通过计算得分选取一个有代表性的特征子集。最后,在11个基准数据集上进行一系列实验表明,所提算法能选择有代表性的特征子集,且分类性能较优。     

基于特征选择和聚类的分类算法

针对目前特征选择算法应用于数据分类精度不理想的问题, 提出一种基于最大相关最小冗余的特征选择算法, 该算法结合特征选择算法和聚类分析算法对特征进行处理, 将分类中冗余的特征去除. 利用支持向量机对一组心脏病患者实际测量得到的数据进行分类实验, 实验结果表明, 该方法可有效筛选影响分类的特征, 进而提高分类准确率.