多分类器融合算法研究与应用

分类算法是数据挖掘、机器学习和模式识别中一个重要的研究领域.单一的分类算法一般会得到不同的分类结果,多分类器融合算法可以将各分类器的结果进行集成来提高系统的分类性能.该文提出一种多分类器融合算法进行分类分析,结果证明该算法在解决目标分类中具有优越性.     

基于Stacking集成学习的流失用户预测方法

利用机器学习算法对商业活动中普遍存在的客户流失问题进行预测.借鉴了Bagging的自助采样法思想，提出了一种基于自助采样法的Stacking集成方法.首先对数据集进行多次采样并加入属性扰动，然后使用所得数据子集训练基分类器副本，基分类器决策结果由基分类器所对应的副本投票决定.最后在真实数据集中进行流失客户预测实验，结果显示，该文提出的方法在准确率、查准率和F1值3项指标上均好于所有基分类器和同结构的经典Stacking集成方法.     

融合分类器可信度的数据流集成分类

提出基于分类器可信度的权重计算策略,解决动态数据流集成分类中子分类器权重分配难题.该方法充分考虑了所处不同位置样本对权重计算的影响,利用信息熵描述分类器对预测结果的不确定性,建立分类器可信度与样本之间的关系,进而给出分类器可信度的定量计算方法.最后结合动态数据流分类需求和概念漂移特点,借助批量学习和时间遗忘策略构建基于分类器可信度的动态加权集成分类模型.理论分析和实验结果表明该分类方案可行,相比传统集中方法具有一定的优势.     

基于多分类器组合的湿地类型信息提取

针对如何提高遥感影像分类精度等问题,该文选取覆盖友好自然保护区的Landsat_5TM遥感影像为数据源,提出了将多个分类器进行组合的遥感影像分类方法.该方法将熵权法引入到湿地遥感分类研究中,选取最大似然、支持向量机(SVM)、神经网络(NN) 3种分类器作为子分类器,利用熵权法确定组合分类器的组合规则,采用多分类器组合的方法对友好自然保护区进行湿地类型信息提取,以提高湿地的分类精度.结果表明:与单一分类器相比,多分类器组合的遥感影像分类方法能够有效的提高分类精度.     

基于随机森林的多阶段集成学习方法

集成学习主要分为串行和并行学习方法.并行学习的优势在于分类器的并行学习和融合,对分类问题通常采用的融合策略为投票法或堆叠学习法,它们的代表分别为随机森林和堆叠泛化Stacking.为了进一步提高Stacking的分类性能,在经典Stacking算法原理的基础上,提出基于随机森林的多阶段集成学习方法,以随机森林作为基层的基学习算法,以投票法和学习法同时作为融合方法,来降低泛化误差.在UCI数据集上的实验结果表明,提出的模型在Accuracy和1F指标上,相比Bagging,随机森林和Stacking等分类器在分类性能上有很大的提升.     

基于决策树方法的遥感影像分类

以齐齐哈尔市辖区为研究区域,利用分类回归树（Classification and Regression Tree,CART）算法从训练样本数据集中挖掘分类规则,集成遥感影像的光谱特征、纹理特征和地学辅助数据建立研究区的决策树模型.用实测的GPS样本点对分类结果进行精度验证,并与最大似然监督分类方法（Maximum Likelihood Classification,MLC）进行对比.结果表明,基于CART的决策树分类结果的总精度和Kappa系数分别为82.24％和0.77,分类精度较MLC监督分类方法有明显提高,有较好的分类效果.     

基于All-confidence的正负关联分类

针对分类中如何有效利用负关联模式提高分类准确率,提出了一种基于正负关联模式的分类算法．利用类Apriori算法挖掘包含正项或／和负项且项与项之间互相关联的正负关联模式来产生分类规则．为提高挖掘效率,先找出能覆盖训练集的信息熵最小k个正,负项．然后,把这k个正／负项分别与其他项进行连接得到相应的正负关联模式．实验表明,该算法有效减少了挖掘的规则数,极大减少了挖掘时间,并提高了分类准确率．     

结合类别信念的AdaBoost算法(英文)

集成学习是一种受到广泛认可和使用的机器学习算法.为此提出一种新的多类集成学习算法,即AdaBoost belief.此算法改进多类集成学习算法AdaBoost·SAMME,使每个基分类器对于每个类别都有权重信息.这种类别上的权重被称为类别信念,可通过计算每次迭代中各个类别的正确率得到.将所提出的算法与原有的AdaBoost·SAMME算法从预测准确率、泛化能力以及理论支持等方面进行比较发现:在高斯数据集、多种UCI数据集以及基于日志的多类别入侵检测应用中,该算法不但具有更高的预测准确率和泛化能力,而且当类别数目增加,即类别更难以预测时,其分类错误率较原有AdaBoost·SAMME算法上升得更缓慢.     

CFMoment:挖掘数据流频繁闭项集算法

在数据流上挖掘频繁闭项集是数据挖掘中关联性挖掘的重要研究课题之一.该文提出了一种高效的数据流频繁闭项挖掘算法——CFMoment,通过使用滑动窗口不断维护数据流中的频繁闭项集,可适用于实时性要求较高的多种数据流处理应用环境.该算法利用项目的有效比特序列表示来减少滑动窗口所需的时间和内存,进一步提升了在数据流中挖掘频繁闭项集的效率并有效降低了运行过程中的内存需求.实验表明,该算法不仅获得了高精度的挖掘结果,而且其运算速度明显快于现有的Moment算法,在数据流上挖掘频繁闭项集的内存消耗更少.     

基于频繁模式树的约束最大频繁项目集挖掘算法研究

目前绝大多数频繁项目集(或最大频繁项目集)挖掘算法并没有考虑相关领域知识,其结果会产生许多无关的模式.因此,发现约束频繁(或约束最大频繁)项目集是多种数据挖掘应用中的关键问题,然而,这方面的研究工作却很少.为此该文提出了一种快速的基于频繁模式树(FP-tree:一种扩展前缀树结构)的约束最大频繁项目集挖掘及其更新算法.实验结果表明该算法是快速有效的.     

一种结合关联与FOIL算法的分类方法

针对如何减少关联分类方法中冗余规则,增加FOIL算法的规则数,以提高分类准确率,提出了一种结合关联与FOIL算法的分类方法,并称之为ACFA．首先,以类支持度和自信度为度量提取长度为1和2的规则,其次,利用Apriori算法挖掘出频繁2-项集F2,然后在频繁2-项集F2申挑选满足条件的频繁项建立候选集,最后在候选集上运用FOIL算法来产生分类规则．实验表明算法ACFA不但有效减少了关联分类方法中冗余的规则,并大大增加了FOIL算法的规则数,提高了分类的准确率．     

灰度和纹理特征组合的SAR影像SVM分类

针对利用单一特征进行分类的效果不理想、普适性不强等问题,提出了一种灰度和不同纹理特征组合的支持向量机(support vector machine, SVM) 分类方法,将由不同特征组合的SVM分类器用于SAR影像分类,并对几种不同的分类结果进行定性和定量比较分析. 实验结果表明,灰度和不同纹理特征组合的SVM分类方法能够取得较高的分类精度,其结果要优于传统的单一纹理特征分类,是一种有效的SAR影像分类方法.     

多分类-关联规则分类的一种改进算法

提出了一种基于多分类-关联规则的快速分类算法——FCMAR,该算法在建立频繁模式树(FP-tree)时裁减掉不能生成频繁规则的项目,因而可减少FP-tree的节点数目,有效地降低时间和空间复杂度,实验结果表明该算法是有效可行的.     

前馈神经网络结构新型剪枝算法研究

研究神经网络的结构优化,提出采用基于贡献值与输出连接的权重来修剪节点,节点是直接剪枝而不是消除存有内在联系的节点;该方法认为神经元贡献值低于阈值,那么此神经元就是毫无意义的,同时将该算法应用于非线性函数逼近,实验结果表明,在不牺牲网络性能的情况下,采用新型剪枝算法来修剪神经网络节点是非常有意义的,所提出的算法也是非常有效的。     

负关联规则挖掘算法研究

典型的正关联规则仅考虑事务中所列举的项目.负关联规则不但要考虑事务中所包含的项目,还必须考虑事务中所不包含的项目,它包含了非常有价值的信息.然而,对于负关联规则挖掘的研究却很少,仅有的几种算法也存在一定的局限性.为此,文中提出了一种快速有效的负关联规则挖掘算法MNAR,并给出了一种基于二进制形式的支持数计算方法.理论和实验结果表明算法MNAR是有效和可行的.     

基于交互信息的混合特征选择算法

针对传统的特征选择算法只专注于特征间的相关性和冗余性而没有考虑特征之间交互作用的问题,提出一种基于交互信息的混合特征选择(hybrid feature selection based on mutual information,MIHFS)算法,该算法以K-最近邻算法的分类准确率作为衡量所选特征分类性能的评价指标,有效...     

基于高维特征正则化的JPEG图像隐写分析

隐写分析是信息安全的重要内容。为提高JPEG图像隐写的检测能力,建立了散度矩阵的特征谱,提出了一种对载体和含密图像的训练特征进行变换的新方法。首先根据特征谱的分布规律进行建模,划分为3个区域：特征值下降区、平稳区、特征值为零的区域,然后通过白化处理得到白化特征向量,进而对处于3个不同区域的特征向量使用自适应正则化方法。经这几步处理得到特征转移矩阵,也就是输入特征的变换矩阵,最后取变换后特征的前t个向量完成特征选择。并将这些特征数据Fisher线性判决（Fisher linear discriminant,FLD）集成分类器进行训练。结果表明,通过对图像特征进行排序、正则化和选择,FLD集成分类器对JPEG图像隐写的识别准确率得到了提升。