Boosting及其在数据挖掘中的应用

在介绍、分析Boosting和组合学习的基础上,讨论其在数据挖掘中的应用和可能发展的方向.     

代价敏感Boosting算法研究

针对代价敏感学习问题,研究boosting算法的代价敏感扩展。提出一种基于代价敏感采样的代价敏感boosting学习方法,通过在原始boosting每轮迭代中引入代价敏感采样,最小化代价敏感损失期望。基于上述学习框架,推导出两种代价敏感boosting算法,同时,揭示并解释已有算法的不稳定本质。在加州大学欧文分校(University of California,Irvine,UCI)数据集和麻省理工学院生物和计算学习中心(Center for Biological&Computational Learning,CBCL)人脸数据集上的实验结果表明,对于代价敏感分类问题,代价敏感采样boosting算法优于原始boosting和已有代价敏感boosting算法。     

Boosting算法理论与应用研究

作为机器学习领域最经典算法之一,Boosting是一种学习算法,并广泛应用于机器学习与模式识别各领域.Boosting的理论研究分为可学习理论和统计学两个角度.Boosting最初从弱可学习理论角度阐明了由弱到强的提升算法,从理论上证明了一组优于随机猜测的弱学习器通过集成可提升为在训练集上任意精度的强学习器.从统计学的角度看,Boosting是一种叠加模型,理论上二者的等价性已经证明.本文首先从可学习的角度出发,回顾了Boosting算法弱可学习理论,并提出面临的问题及挑战,包括对高维数据的有效性及Margin理论;然后阐述了Boosting算法理论研究分支,并详细回顾了当前最为流行的多种经典Boosting算法及在Boosting理论框架下的新应用;最后探讨了Boosting算法的未来研究趋势.     

Boosting算法中基分类器权重的动态赋值

Boosting是一种有效的分类器组合方法,其通过加权投票来组合多个基分类器进行分类.在对基分类器进行权重赋值时,该算法采用了以基分类器在当前训练集上的错误率的某种变形来对基分类器进行权重赋值,这是一种静态的赋值方法.介绍一种动态地对基分类器进行赋权重的方法,这种方法利用当前测试实例属于某个被错误分类数据子集的程度,并按照程度的大小给相应的基分类器赋适当的权重.跟静态赋权重相比,这种方法考虑了测试实例属性取值的不同,进而能动态地调整基分类器的权重,从而达到进一步优化分类性能的目的.实验表明,动态权重赋值的方法在大多数情况下跟静态赋值相比具有更好的分类性能.     

数据挖掘分类算法刍议

本文主要针对数据挖掘分类算法研究现状,对目前发展较成熟的几种分类算法如决策树、关联规则分类、神经网络、贝叶斯方法、遗传算法等分别进行了论述,并且展望了数据挖掘技术的未来。     

基于云模型理论改进的贝叶斯分类算法

基于云模型理论对朴素贝叶斯分类器进行了改进,使得分类器能够处理语言中的一些模糊值,扩展了朴素贝叶斯分类器的应用范围.使用UCI鸢尾花数据集对算法进行了实验仿真和结果分析.结果表明,改进后的分类算法在一定程度上提高了分类精度.     

基于改进Boosting算法的夜间运动车辆检测

针对夜间交通场景中运动车辆目标提取及实时检测困难的问题,引入改进的Boosting模糊分类算法,提出了一种新的基于车头灯的夜间运动车辆检测方法.通过SIFT算法和融合多特征的方法精确提取夜间运动车辆车头灯特征,利用遗传算法优化Boosting模糊分类算法,并以加权投票方式对提取的车头灯特征进行分类判别,最后结合车头灯空间、运动信息及灯光颜色信息进行同车车头灯配对分组,实现夜间运动车辆的实时检测.实验表明,该方法在夜间交通环境中具有良好的实时检测效果和较高鲁棒性.     

Boosting算法在文本自动分类中的应用

随着网络信息的迅猛发展，如何快捷、准确地识别和获取有用信息显得更为重要。文本自动分类系统是信息处理的重要研究方向，它是指在给定的分类体系下，根据文本的内容自动判别文本类别的过程。Boosting算法是一种新兴的机器学习算法。在文本分类中应用Boosting算法经过试验证明是有效的，并且优于目前的大多数分类算法。     

浅谈数据挖掘中的分类算法

分类是数据挖掘中一个重要的研究领域。常用的技术有决策树分类、贝叶斯分类、神经网络分类等。通过对当前具有代表性的分类算法原理进行分析、比较,总结出每种算法的性能特征。     

面向不均衡小样本训练集的改进Boosting算法

传统的Boosting算法训练出的分类器常会出现过拟合和向多数类偏移.为此,提出一种基于自适应样本注入和特征置换的Boosting学习算法,通过在训练过程中加入人工合成样本,逐渐平衡训练集,并通过合成的样本对分类器学习进行扰动,使分类器选择更多有效的特征,提高了分类器的泛化能力.最后,在两类和多类图片分类问题上对该算法的有效性进行了考察,实验结果表明,该算法能够在样本数很少,且正负样本数量极不均衡的情况下,有效提高booting算法的泛化能力.     

基于在线Boosting和LK光流的视频跟踪算法

为了克服现实环境中光照、遮挡、相似物体干扰等因素对在线跟踪算法的影响,提出了一种鲁棒的在线学习视频跟踪算法。该算法结合了半监督Boosting和多实例学习Boosting各自的优点,较好解决了Boosting的漂移现象,同时用Boosting做检测器、金字塔LK光流做跟踪器,二者结合,克服了光流算法在跟踪过程中丢失目标不能继续跟踪的问题。实验证明,基于在线Boosting和LK光流的视频跟踪算法具有较好的鲁棒性,且满足实时性要求。     

数据聚类算法在客户分类中的应用

介绍了数据聚类算法,提出了采用基于相似度的聚类算法进行客户分类的思路,给出了相似度的计算方法及客户分类的算法,并通过试验结果证明了算法对客户分类的有效性.     

基于人工鱼群算法的分类规则发现

人工鱼群算法(AFSA)是一种最新提出的新型仿生优化算法,具有良好的克服局部极值和获得全局极值的能力.利用鱼群算法进行分类规则挖掘,建立了相应的优化模型.通过对公用数据的实验和CN2算法的对比表明,本算法可得到预测准确率较高的分类规则,同时规则更为简单.     

决策树算法在医学图像数据挖掘中的应用

目的研究决策树算法在医学图像数据挖掘中的应用。方法利用决策树算法对乳腺癌图像数据进行分类，提出了一个基于决策树算法的医学图像分类器。结果实现了ID3和C4．5算法对图像数据的分类，获得了分类的实验结果。结论该模型系统达到了较高的分类准确率，证明数据挖掘在辅助医疗诊断中有着广泛的应用前景。     

Apriori算法的分析及应用

关联规则是数据挖掘领域中最重要的研究内容,能够在数据库中发现频繁模式和关联知识。对关联规则及其相关挖掘算法Apriori进行了分析,指出了Apriori算法存在的缺点。通过基于预处理的改进Apriori算法在高校教学评价中的应用,说明数据挖掘过程,分析挖掘结果,最后指出了未来的研究方向。     

一种快速基于约束的医疗图像关联分类算法

提出了一种快速基于约束的医疗图像关联分类算法(CBCPFP-growth算法)．算法利用扩展项集表征约束,通过加入最大支持度和项出现位置的约束,并利用最小支持度、最小置信度、关联规则数量的约束有效地在算法执行之初和算法执行过程中删除了冗余模式和规则,通过将频繁项集进行划分并在多个处理器上独立执行,充分利用多处理器协同工作的处理能力,使算法具有并行和分布处理的可扩展性．算法在满足医疗图像领域高精确度,高稳定性要求的同时提高了算法运行效率和医疗图像分类的有效性．