结合加权KNN和自适应牛顿法的稳健Boosting方法

Boosting是机器学习领域中重要的集成学习方法，以AdaBoost为代表的Boosting算法通过在组合弱学习器时不断加强对错分类样本的关注以构建性能优异的强学习器，而该训练机制对噪声点的无差别对待易引发学习器对噪声过拟合，从而削弱算法的稳健性.针对该问题，提出结合加权KNN和自适应牛顿法的稳健Boosting方法.该方法首先通过加权KNN估计样本的噪声先验概率，然后使用噪声先验概率修正Logit损失构建一种新的损失函数，最后采用自适应牛顿法进行损失函数的优化求解.提出方法引导分类器在给予错分类样本更高权重的同时，对噪声先验概率大的样本给予相应的惩罚，使噪声样本的权重得到有效的缩减.结果表明，与其他稳健Boosting方法对比，在不同噪声水平下以及真实的医疗数据集的不同评价指标下，该方法表现出更好的稳健性，具有明显的应用价值.      

一种加入动态权重的AdaBoost算法

【目的】由于AdaBoost算法弱分类器对各待测样本其投票权重是固定不变的,这会导致使用该算法进行分类时准确性不高,于是针对该问题提出了一种结合静态权重与动态权重的学习算法AdaBoost＿DW。【方法】该算法保留了AdaBoost算法训练阶段产生的全部弱分类器,在预测阶段加入了能度量待测样本与各个弱分类器适应性的动态权重,通过双权重共同决定该弱分类器的投票权重。【结果】实验结果表明,AdaBoost＿DW算法的分类精度绝大多数情况下高于原AdaBoost算法。【结论】证明了动态权重的加入能够提高原AdaBoost算法在各数据集上的分类准确率。     

一种新的分类方法——属性均值聚类属性支持向量机(AMC-ASVM)

在属性均值聚类(AMC)与支持向量机(SVM)的基础上,提出了一个新的模式分类算法——基于(属性)聚类的属性支持向量机算法(AMC-ASVM)。主要思想是利用属性均值聚类网络得到的具有概率信息(权重)的样本,来训练属性支持向量机,从而得到分类器。这种方法结合了属性聚类的稳定性与属性支持向量机可以利用加权样本的优点,适合处理具有强噪声的数据。另外,该方法也可以看作是堆近邻分类法的自然推广。在实验部分,将其用于结肠癌基因表达数据的处理。实验结果显示了AMC-ASVM在一定程度上优于最近邻,Boosting,堆近邻,SVM等方法。     

一种新的分类方法——属性均值聚类属性支持向量机(AMC-ASVM)

在属性均值聚类(AMC)与支持向量机(SVM)的基础上,提出了一个新的模式分类算法——基于(属性)聚类的属性支持向量机算法(AMC-ASVM)。主要思想是利用属性均值聚类网络得到的具有概率信息(权重)的样本,来训练属性支持向量机,从而得到分类器。这种方法结合了属性聚类的稳定性与属性支持向量机可以利用加权样本的优点,适合处理具有强噪声的数据。另外,该方法也可以看作是堆近邻分类法的自然推广。在实验部分,将其用于结肠癌基因表达数据的处理。实验结果显示了AMC-ASVM在一定程度上优于最近邻, Boosting, 堆近邻, SVM等方法。     

AUCBoost算法处理不平衡分类问题

在现实生活中很多应用都包含了对不平衡数据集的分类.由于不平衡数据集中多数类与稀有类的数量相差较大,所以大多数分类算法都不能够很好地对稀有类样本进行分类,而通常稀有类才是我们首要关心的,这就给不平衡数据的分类提出了挑战,为了更好地处理不平衡数据集的分类问题,本文提出了一种以基分类器的ROC曲线下面积(AUC面积)为分类权重的AUCBoost分类算法.     

一种最大化样本可分性半监督Boosting算法

针对数据实际分布与假设不匹配时半监督学习算法难以改善分类器性能的问题,该文提出一种最大化样本可分性半监督Boosting算法,通过引入"高密度区域局部散度最小、样本空间全局散度最大"准则来学习未标注的样本。该准则使用两种半监督假设(聚类假设和流形假设),减少了因半监督假设与数据不匹配造成的准确率下降问题。实验结果表明,该文算法有效提高了Boosting算法在符合聚类假设数据集和符合流形假设数据集上的准确性,提高了分类器噪声数据的稳定性。     

基于代价敏感的随机森林不平衡数据分类算法

随机森林在分类不平衡数据时,容易偏向多数类而忽略少数类。可以将代价敏感用于分类器的训练;但在传统代价敏感随机森林算法中,代价函数没有考虑样本集实际分布与特征权重,且在随机森林投票阶段,没有考虑基分类器的性能差异。提出一种改进的代价敏感随机森林算法ICSRF,该算法首先根据不平衡数据集的实际分布构造代价函数;并将权重距离引入代价函数,然后根据基分类器的性能采取权重投票,提高分类准确率。实验结果表明,ICSRF算法能有效提高少数类的分类性能,可以较好地处理不平衡数据。     

一种改进的代价敏感随机森林算法

随机森林在分类不平衡数据时,容易偏向多数类而忽略少数类,可以将代价敏感用于分类器的训练,但在传统代价敏感随机森林算法中,代价函数没有考虑样本集实际分布与特征权重,且在随机森林投票阶段,没有考虑基分类器的性能差异。本文提出一种改进的代价敏感随机森林算法ICSRF,该算法首先根据不平衡数据集的实际分布构造代价函数,并将权重距离引入代价函数,然后根据基分类器的性能采取权重投票,提高分类准确率。实验结果表明,ICSRF算法能有效提高少数类的分类性能,可以较好的处理不平衡数据。     

具有动态级联结构的在线Boosting算法

针对在线Boosting由于提前设定弱分类器个数导致分类器的分类复杂度受到限制的缺陷,提出了一种新的具有动态级联结构的在线Boosting算法.该算法不但具有一般级联结构的特点,而且能根据输入样本分类的难度来实时地调整级联结构的层数,从而使得目标检测器在检测速度和检测精度方面达到很好的平衡.与一般的方法不同,该算法并没有记录一段短暂的历史样本片段来确定弱分类器的阈值,而是把每一个弱分类器的输出值视为一个随机变量,从而进一步估计它的密度函数.然后以迭代的方式估计出整个强分类器的密度函数,进而构建出在线Boosting的动态级联结构.实验结果表明:与原始的在线Boosting算法相比,该算法大大提高了目标检测的速度和精度.     

电力系统短期负荷预测的多神经网络Boosting集成模型

提出了一种改进的多神经网络集成自适应Boosting回归算法.算法中采用相对误差模型代替绝对误差模型,可以更接近于回归预测问题的要求,并在Boosting迭代过程中,在对训练集采样得到新的训练子集的同时,也对校验集采样得到新的校验子集,保证了两者的一致性.进而采用美国加州电力市场的实际数据,建立了由多个神经网络集成的电力系统短期负荷预测模型.预测结果表明,与传统的单网络预测模型相比,Boosting集成预测模型能显著提高模型输出的稳定性,增强网络结构及模型选择的可靠性,获得更高的预测精度.     

灰色粗糙组合决策模型研究

利用灰色聚类决策的机制构建决策表,然后利用粗糙集理论从决策表中挖掘出极小化决策算法,并提出了基于灰色综合决策权的决策表离散化方法.对应用决策表方法解决实际问题时可能出现的问题进行了有益的探讨.指出在约简过程中,要注意理论与实际相结合、定性与定量相结合,才能得到贴近实际的决策规则.     

决策树与模糊决策树的比较

对决策树与模糊决策树的异同进行了比较分析.模糊决策树是决策树在模糊环境下的一种推广 ,它作为一种知识表示形式更符合人类的思维.     

一种新的决策树组合优化算法

数据分类是数据挖掘中的一个重要课题,研究各种高效的分类算法是数据挖掘的重要问题之一.本文对了GAAA算法进行改进提出了一种新组合优化算法,将其应用到分类规则的优化问题,采用遗传算法生成信息素分布,利用蚂蚁算法求精确解,优势互补,有效地节省了计算时间,并优化了生成的分类规则.实验结果表明:该算法可以有效克服停滞,提高搜索效率,有效地挖掘出最优的分类规则集.     

Best fit算法在三峡船闸调度中的应用

为了最大限度地发挥三峡区段的通航能力,建立了一种适用于三峡永久船闸的决策支持系统．研究了决策支持系统中的关键问题——船舶入闸编排算法,基于三峡通航的实际情况,如船型复杂多变,中小船舶抢道入闸等,建立了解决问题所需的数学模型．以经典的best fit算法为基础,考虑到各种实际情况,设计了带匹配权值的best fit算法,通过多次测试确定了估价函数,较好地解决了闸室面积利用率和船只优先级别之间的矛盾．实验表明算法适用于三峡永久船闸的编排调度,效果不错．     

多阶段决策过程最优化问题研究

讨论了动态规划的基本原理和基本方法,通过解决建设汽车样板店的一个三阶段决策问题说明其应用.     

增量决策树算法及复杂度分析

介绍了增量决策树算法的基本原理,并从实例费用和信息熵费用两个角度出发,对增量决策树算法的复杂度进行分析.通过实例说明,增量决策树算法能够构造出与ID3算法形态基本相同的决策树.     

基于加权判决信号的判决反馈盲均衡新算法

判决反馈常数模盲均衡算法(CMADFE),在均衡的起始阶段,由于眼图未睁开,容易引起判决器的误判,导致收敛速度慢。为了减小误判的影响,在迭代初期把判决信号加权后送入反馈滤波器中,当均衡一段时间后再把判决信号不需加权直接送入反馈滤波器,从而得到加权的CMADFE算法。计算机仿真表明,加权的CMADFE算法提高了收敛速度,且均方误差亦有所减小。     

序规则挖掘系统的设计与实现

数据集中对象之间的顺序与对象属性的顺序之间相关性往往是隐含的,分析挖掘这种潜在相关性进而用规则(序规则)表示是十分重要的.该文介绍了一个序规则挖掘系统的设计与实现,主要介绍了系统的数据预处理部分,序规则挖掘与生成算法部分特别是有序决策树(ODT)算法.     

基于改进决策树的入侵检测算法

本文对经典的基于信息增益的决策树算法进行改进,提出一种基于决策树与属性相关性相结合的入侵检测算法。该算法同时结合综合策略的剪枝算法以避免过度拟合对检测结果的影响。实验结果证明,本算法不仅在面对已知攻击时能够做出良好的判断,而且在面对未知攻击时仍然具有一定的检测能力,具有良好的性能和可用性。     

数据挖掘中决策树SPRINT算法探讨

本文简明扼要的介绍了数据挖掘中决策树SPRINT算法，并对其进行了一定程度上系统的分析和改进．