基于选择性的贝叶斯分类器集成方法

提出一种基于选择性的贝叶斯分类器集成方法．该方法为避免数据预处理时的属性约简对分类效果的直接影响，在训练集上通过随机属性选取生成若干属性子集，并以这些子集训练不同的贝叶斯分类器，进而采用遗传算法优选贝叶斯分类器集成，其适应度函数综合了分类器的精度和差异度两项指标．实验中，将该方法与已有方法在UCI的标准数据集上进行了性能比较，并将该方法用于C^3I系统中的威胁度估计。     

混合式朴素贝叶斯分类模型

为了降低朴素贝叶斯分类模型的独立性假设约束,提出一种混合式朴素贝叶斯分类模型(MBN:Mixed Naive Bayes)。通过分析贝叶斯定理,把条件属性集合划分成若干个独立的属性子集,用树增广朴素贝叶斯分类对属性子集分别进行分类学习,通过公式进行整合。将该模型算法与朴素贝叶斯及树增广朴素贝叶斯进行实验比较,实验结果表明MBN分类器在多数数据集上具有较高的分类正确率。     

基于属性聚类的网站集成检测及统计分析

收集大量网站的包含30个特征属性的数据,用k-means属性聚类方法将特征属性划分为不同类别,利用不同类别中的属性数据训练基础分类器,通过集成各基础分类器的结果对未知网站进行预测.采用简单投票和贝叶斯投票对结果进行组合预测,结果表明,k-means属性聚类方法大大增加了基础分类器的差异性,提高了分类检测的精度,其中基于贝叶斯投票策略的集成模型具有很高的检测精度.     

基于特征融合和改进RSM集成分类的BMP隐写检测

针对目前大部分BMP隐写分析方法主要采用单一特征和单一强分类器,容易产生训练样本敏感、分类精度难以提高等问题,提出一种基于特征融合和改进RSM集成分类的BMP图像隐写检测方法.方法首先串行融合Moulin和SPAM两种经典特征,然后利用序列前向选择(SFS)算法选取分类能力高的特征作为固定特征,其余特征在剩余特征空间中随机抽取,利用固定特征和随机抽取特征构造特征子集,最后在特征子集上训练成员分类器,并用多数投票法对它们进行组合.实验结果表明:和传统方法相比,在不同嵌入率下,该方法对BMP经典隐写(如LSB匹配、LSB替换、SS和QIM)的检测率均有一定程度的提高.     

基于聚类技术的集成学习方法研究

研究了基于聚类技术提高分类器差异性的方法.通过Bootstrap技术与分类器学习算法训练分类器模型,利用分类器在验证集上的分类结果作为聚类的数据对象;然后应用聚类算法对这些数据聚类,并在每个簇中选择分类器代表模型,以此构成集成学习的成员;最后应用融合方法实验研究了基于聚类技术提高差异性的集成学习性能,并与集成学习方法bagging,adaboost进行了实验比较.     

基于随机化属性选择和决策树的组合分类器

针对决策树泛化能力差,容易产生过拟合问题,提出基于随机化属性选择和决策树组合分类器。首先运用随机化邻域属性约减产生多个分类较高的属性子集;其次每个属性子集作为分类回归树(CART)的输入,训练多个基分类器;最后对得到的多个分类精度结果进行投票融合的方式获得最后的分类结果。实验表明,提出的随机属性选择和决策树集成算法有效性。     

一种基于ACO的代价敏感集成分类器

提出了一种自适应代价优化算法ACO,利用"登山式"方法查找最适合重采样数据子集的最优误分类代价值用于建立基分类器,克服了固定式误分类代价不尽科学和客观的缺点,利用重采样技术实现了数据集样本不足时的分类器训练.通过"投票"方式对原始数据集中的实例重新标记类标,学习得到一个适应于类分布不均衡数据集的自适应的集成分类器.实验证明,用自适应代价优化算法实现的分类器在类分布不均衡的数据集上的分类性能明显优于CSC,MetaCost和naive Bayes等建立的分类器.     

结合扰动集成RBF的故障识别方法

为提高旋转机械故障识别精度,将神经网络与集成学习方法进行结合,提出结合扰动方式的集成RBF故障模式识别方法.首先,通过ReliefF算法计算所提取出的转子故障特征数据集各个特征的权重,并且将权重值进行降序排列,从而筛选出权重趋大的系列特征构成低维特征数据集;其次,将较大权重作为无放回轮盘赌法的输入,对权重所对应的低维特征数据集进行特征扰动,产生系列化低维数据子集并将其划分为训练集和测试集;然后,采用Bagging算法中的自助采样法对训练集进行样本扰动,以此形成新的训练集并用于训练对应个数的RBF神经网络,完成差异性子分类器的构建;最终,对各个神经网络的测试数据辨识结果通过相对多数投票法进行结合,得到故障识别结果.实验结果表明,对于转子系统的故障识别,该方法相较于未集成RBF神经网络、集成BP神经网络具有较高的识别精度,并且拥有较好的泛化性能.     

最大相关最小冗余限定性贝叶斯网络分类器学习算法

朴素贝叶斯分类器 (naive bayes) 是一种简单而有效的基于贝叶斯思想的分类方法,但它的属性条件独立性假设并不符合实际,影响了它的分类性能。BAN (bayesian network augmented naive bayes) 分类器扩展了朴素贝叶斯分类器,使其表示属性之间依赖关系的能力增强,但是其学习算法需要大量的高维计算,在小采样数据集上,影响BAN分类器的分类性能。基于改进的最大相关最小冗余特征选择技术,提出限定性贝叶斯网络分类器学习算法 (k-BAN)。本算法使用改进的最大相关最小冗余特征选择技术,通过选择属性结点的连接关系集合建立属性之间的依赖性关系。将该分类方法与NB,TAN和BAN分类器进行实验比较。实验结果表明,在小采样数据集上,本算法获得的限定性贝叶斯网络分类器具有更高的分类准确性。     

F-score结合核极限学习机的集成特征选择算法

特征选择是高维小样本癌症基因数据分析的首要和关键步骤,但是现有特征选择算法存在特征子集依赖于训练样本且随训练样本不同而变化的问题。为了解决特征选择过程的特征子集不稳定问题,提出一种基于核极限学习机的集成特征选择方法,利用5-折交叉验证划分原始数据,对各训练集继续采用5-折交叉验证进行划分并进行特征选择,以所得5个特征子集之并集作为该训练集的特征子集,构造核极限学习机评价该特征子集的分类性能,以原始数据集5-折交叉验证所得特征子集的平均Jaccard系数评价特征选择算法所选特征子集的稳定性。5个基因数据集的实验测试以及与经典特征选择算法SVM-RFE、LLE Score、ARCO、DRJMIM、Random Forest和mRMR的实验比较表明,本文算法不仅能选择到稳定的特征子集,且所选特征子集具有很好的泛化能力。     

基于随机标记子集的多标记数据流分类算法

提出了基于随机标记子集的多标记数据流分类算法,其基本思想是在多标记分类过程中,将原始较大的标记集随机地划分为多个较小的标记子集,并针对每个标记子集训练一个概率分类器链.在充分利用标记间依赖关系的同时,又有效地降低了概率分类器链的时间复杂度.同时,在算法中嵌入了自适应滑动窗口算法来检测概念漂移.实验结果表明,同其他算法相比,在大多数数据集合上能够更有效地预测实例的类标集合,更适合概念漂移的环境.     

一种新的动态SVM选择集成算法

针对动态选择集成算法存在当局部分类器无法对待测样本正确分类时避免错分的问题,提出基于差异聚类的动态SVM选择集成算法。算法首先对训练样本实施聚类,对于每个聚类,算法根据精度及差异度选择合适的分类器进行集成,并根据这些分类器集成结果为每个聚类标定错分样本区,同时额外为之设计一组分类器集合。在测试过程中,根据待测样本所属子聚类及在子聚类中离错分样本区的远近,选择合适的分类器集合为之分类,尽最大可能的减少由上一问题所带来的盲区。在UCI数据集上与Bagging-SVM算法及文献［10］所提算法比较,使用该算法在保证测试速度的同时,能有效提高分类精度。     

基于集成学习和元胞自动机的城市地理模拟

集成学习通过将若干弱分类器集成以取得比单个弱分类器更好的性能，是机器学习的重要研究方向。针对常用城市地理模拟系统中元胞自动机转换规则获取算法的局限性，本文提出基于集成学习算法的元胞自动机，并将其应用于城市建设用地的动态模拟。以决策树作为弱分类器，应用集成学习算法和元胞自动机，对东莞市2001年到2005年的建设用地时空格局进行了模拟，取得了较好的模拟效果。精度评估结果表明，经集成学习后的决策树比单个决策树对城市建设用地动态的模拟精度更高，算法泛化能力更好。     

基于Online AdaBoost的偏振图像目标跟踪

根据偏振图像的特点,文章提出一种基于在线AdaBoost的目标跟踪方法.该方法以最小二乘回归作为弱分类器,以强度、偏振度和边缘方向特征组成的向量为其输入;通过AdaBoost算法将多个弱分类器集成为强分类器,并在跟踪过程中利用AdaBoost算法对强分类器进行在线更新,以适应目标与背景的变化;利用强分类器生成当前置信图...     

基于粗糙集和支持向量机的采空区煤自燃火灾预报

考虑到采用标志气体分析法对煤自燃火灾预报时特征维数较高、特征之间存在冗余且样本有限,文中提出基于粗糙集和支持向量机的采空区煤自燃火灾预报方法。该方法首先采用粗糙集对原始样本去除冗余和特征维数约简得到多组候选特征子集,然后对获得的多组候选特征子集利用支持向量机进行分类和性能评价,选取分类性能最好的一组特征子集用于设计支持向量机分类器,并对采空区遗煤自燃状态进行预测分析。实验选择大同矿区煤样自然发火实验数据,与4种典型分类预测算法的进行比较分析,实验结果表明文中算法预测准确率更高,训练速度更快。粗糙集为煤自燃火灾预报中标志气体选择提供了一个理论依据和新的思路,而支持向量机则提高了煤自燃火灾预测的精度。     

基于遗传算法和决策树的肿瘤分类规则挖掘

提出了一种从肿瘤的基因表达数据挖掘肿瘤分类规则的方法. 首先用Bhattacharyya距离指标和相关性分析去除分类无关基因和冗余,然后以决策树作为分类器,用遗传算法搜索所得的特征空间,优化分类精度和分类模型的复杂度. 运行多次得到多个分类树和多组分类规则,由此构建组合树分类器在测试集数据上检验分类效果. 在结肠癌基因表达数据上的实验结果表明了分类规则挖掘方法的有效性和可用性.     

基于新冗余度的特征选择方法

现有过滤式特征选择模型采用贪心策略结合互信息评价特征子集,容易陷入局部最优陷阱.考虑标签信息对冗余度的影响,利用一种改进的MIFS-U方法在给定标签的条件下衡量冗余度,采用基于分解的多目标优化框架结合引入多项式突变的差分进化算子进行全局搜索,避免搜索陷入局部最优.引入l₁正则化项来保证特征子集的稀疏性,并提出了新的特征选择算法MOEA/D-DEFS.实验阶段使用knn-5分类器来验证学习效果,并在多组来自不同领域的数据集上进行测试.结果表明,将特征选择视为多目标问题采用全局搜索策略搜索可以在特征子集维度和分类准确性方面提供更好的性能.     

集成学习算法的比较研究

从差异性出发,研究了基于特征技术与数据技术的集成学习算法,深入分析了这些集成学习算法产生差异性的方法;针对决策树与神经网络模型在标准数据集对集成学习算法进行了实验研究,结果表明集成学习算法的性能依赖于数据集的特性以及产生差异性的方法等因素,并且基于数据的集成学习算法的性能优于基于特征集的集成学习算法的性能.     

对不平衡类分类的一种组合方法

具有不平衡类分布的数据集在许多实际应用中是很常见的,但由于类分布不平衡,给那些已有的分类算法带来了很多问题。一种为处理不平衡类问题而开发的基于决策树和人工神经网络的有效组合方法被讨论。它基于数据抽样的方法构建组合分类器,并利用ROC曲线(Receiver Operating Characteristic curve)作为评价挖掘性能的分析工具,最后在PAKDD2007竞赛活动提供的实际数据上进行了有效性验证。