元学习策略及性能评价

为提高分类系统的性能,提出一种统一多种元学习算法的元学习框架,定义并描述了并行和串行两种组合方式.由基分类器的分类结果构成新属性,并加入到特征向量中以形成元数据.通过扩展特征向量,元学习增强了对假设空间的表达能力,降低了系统的偏差.在加州大学提供的标准数据集上对元学习策略进行了实验研究,结果表明:与多数投票、最大规则、最小规则等融合方法实现的多分类器系统相比,并行和串行组合在所用数据集上的平均分类错误率可分别降低39.12%和40.56%,且在n分交叉验证中n值的增加并不能改进分类性能,串行组合中的基分类器的顺序对分类错误率没有显著影响.     

基于覆盖算法的分类器的设计与应用

覆盖算法和支持向量机是两种重要的机器学习分类方法,但长期以来一直缺少基于覆盖算法的通用分类器,在一定程度上阻碍了覆盖算法的推广.论文设计和实现了基于覆盖算法的通用分类器J Cover,该分类器有友好的人机交互界面,能对数值型数据集进行有效分类,并给出详细的实验结果.通过与LIBSVM的对比实验表明J Cover在识别率、泛化能力和性能上具有优越性.     

集成分类器组合算法及其在医学诊断中的应用

在计算机辅助诊断系统中使用集成分类器是提高机器识别能力的一种重要途径。针对集成分类器投票组合算法中存在的投票可信度问题,提出了一种基于Grading的集成分类器组合算法EGR,该算法根据集成分类器对样本的预测结果是否正确来转换相应样本的类标签,用新数据构造元分类器。在UCI医学数据集上进行的实验结果显示,EGR算法对分类精度的提升以及敏感性与特异性的整体改善是有效的。     

基于边际的组合分类器选择算法

研究表明,具有较大边际分别的组合分类器泛化性能更高.根据该结论,论文构造了一个新的基于边际的度量指标(MM)以充分考虑基分类器和组合分类器的分类能力,进而提出了一种新的组合分类器选择方法.该方法初始化组合分类器为空(或满),迭代的加入(或移除)具有最大(或最小)MM值的分类器,以降低组合分类器规模并提高它的分类准确率.在随机选择的24个UCI数据集上的实验表明,与其他一些高级的贪心组合选择算法相比,该方法具有更好的泛化能力.     

Boosting算法中基分类器权重的动态赋值

Boosting是一种有效的分类器组合方法,其通过加权投票来组合多个基分类器进行分类.在对基分类器进行权重赋值时,该算法采用了以基分类器在当前训练集上的错误率的某种变形来对基分类器进行权重赋值,这是一种静态的赋值方法.介绍一种动态地对基分类器进行赋权重的方法,这种方法利用当前测试实例属于某个被错误分类数据子集的程度,并按照程度的大小给相应的基分类器赋适当的权重.跟静态赋权重相比,这种方法考虑了测试实例属性取值的不同,进而能动态地调整基分类器的权重,从而达到进一步优化分类性能的目的.实验表明,动态权重赋值的方法在大多数情况下跟静态赋值相比具有更好的分类性能.     

稀疏链式多标记分类器

高阶多标记学习算法能够挖掘所有类别标记之间的关系或标记子集的关系,但在处理错误传播和冗余或错误的类别依赖关系这两个问题上存在弊端。针对此类问题,在链式分类器的基础上,提出稀疏链式多标记学习算法(Sparse Classifier Chains,SCC);为了验证所提出算法的有效性,将其与5种多标记学习算法进行对比,选取8个评价指标来评估算法的性能,在12个标准数据集上进行了实验验证,并利用秩和检验方法来分析所有对比算法之间的相对性能;实验结果表明:稀疏链式多标记学习算法优于所有对比算法,显著优于部分算法,并具有较强的泛化性能。     

二进制粒神经网络及其在分类中的应用

为了提高分类器的正确识别率并降低特征选择的时间复杂度, 提出二进制粒神经网络框架.在该框架下,提出一种二进制粒神经网络分类算法.该算法通过二进制粒矩阵将特征空间进行最优约简,并利用基于BP的学习算法实现分类;将该算法在UCI数据集上进行测试,并与BP神经网络分类算法进行比较.仿真实验表明,二进制粒神经网络分类算法比BP神经网络分类算法分类正确率更高,泛化能力更强,是一种有效可行的分类算法.     

基于剪枝随机森林的电信行业客户流失预测

针对电信行业客户流失预测问题的复杂性,本文将能够处理大规模数据、容噪性能较好的组合分类器算法——随机森林方法应用于电信行业的客户流失预测中.针对影响组合分类器性能的关键指标——差异度,提出了一种新的基于随机森林相似度矩阵的差异度测度,并在此基础上提出了一种改进的组合剪枝技术,对随机森林的基分类器进行剪枝,得到规模较小但泛化性能更优的基于剪枝随机森林的客户流失预测模型.实验结果表明,与其他方法相比,新的差异度测度方法更好地描述单个分类器之间的差异度,本文提出的基于剪枝随机森林的客户流失预测模型具有更高的预测准确率、更小的组合分类器规模和更好的效率,有望成为该领域一种可行且有效的方案.     

用于微阵列数据癌症分类的演化硬件多分类器

针对单分类器识别率低、稳定性差的问题,提出了一种用于微阵列数据分类的演化硬件多分类器选择性集成方法.首先把经过预处理的原始训练集随机划分为训练集和验证集;然后通过对训练集的学习获得基于演化硬件的基分类器;再用验证集评价基分类器的性能,选择其中一部分较好的基分类器组成最终的分类系统;最后用独立的测试集验证系统的性能.试验结果表明,对急性白血病和结肠癌数据集的识别率分别为95.42％、88.33％,与其他的模式识别方法具有可比性;同时在识别率相当的情况下,该方法的硬件代价远低于全集成的演化硬件多分类器.     

改进随机子空间与决策树相结合的不平衡数据分类方法

提出一种改进随机子空间与C4.5决策树算法相结合的分类算法.以C4.5算法构建决策树作为集成学习的基分类器,每次迭代初始,将SMOTE采样技术与随机子空间方法相结合,生成在特征空间和数据分布上差异明显的合成样例,为基分类器提供多样化的平衡训练数据集,采用绝大多数投票方法进行最终决策的融合输出.实验结果表明,该方法对少数类和多数类均具有较高的识别率.     

一种基于BP-bagging的手写体数字识别算法

基于BP-bagging的手写体数字识别算法,以BP网络做基本分类器,用Bagging产生多个基本分类器,把每一个手写体数字作为一幅图像,通过扫描提取25维特征,并投影压缩生成5维特征向量,并输入到BP-bagging分类器,用简单多数投票法进行集成,实现手写体数字的分类识别.经反复的实验证明,该手写体数字识别算法具有...     

采用多分类器集成方法的带钢表面缺陷图像识别

现有带钢表面缺陷在线识别系统中单个分类器对部分缺陷识别率不高,并且对训练样本依赖性较大;针对这一问题,提出了一种基于并行多分类器集成技术的带钢缺陷图像识别方法.该方法选择LVQ神经网络、RBF神经网络和支持向量机作为基分类器,应用加权投票法对基分类器进行集成,从而实现基分类器能力互补.实验表明,采用多分类器集成的带钢表面缺陷图像识别方法可以更准确地对带钢常出现的边缘锯齿、焊缝、夹杂、抬头纹等缺陷进行识别,能够得到相当或优于任何单个分类器的分类精度,总体识别率达到96%以上.     

学习相关源证据

将两个相关证据看成是一个相关源证据与两个独立源证据正交合成的结果,这两个相关证据的合成就归结为这3个相互独立的源证据的正交合成。利用证据理论组合相关多分类器,每个分类器提供的证据是相关的,利用遗算法从样本中学习最优的相关源证据,基于合成证据确定最终的组合分类结果。字符识别实验结果表明,这种相关证据模型能有效利用分类器之间的相关性,从而能提高多分类器的组合识别性能。     

产生式与判别式组合分类器学习算法

在AdaBoost集成方法的基础上,研究了一种产生式与判别式模型组合的方法。该算法在每轮中同时学习一个产生式分类器和一个判别式分类器,选择误差率较小的作为个体分类器,然后对所有个体分类器采用加权的方法得到最终分类器。实验结果表明,该方法在准确率和收敛速度上都具有很好的效果。     

基于层次的分类器组合

对传统的串行、并行组合方式的分析基础上，该文提出一种基于层次的分类器组合方式，并以手写体数字识别为例，选取了8个不同信息层次的分类器进行组合，得到最终分类结果如下：正确识别率为97．15％，错误率为0．75％，拒识率为2．10％，可靠性为99．234％。实验结果表明，此种分类器组合方式较传统的串行、并行组合方式在性能上有所提高。     

基于多分类器融合的高光谱图像分类研究

针对由于高光谱图像存在数据量大、数据相关性强、图谱合一等特点导致高光谱图像分类难度较大的问题,构建一种基于多分类器融合的高光谱图像分类模型.该模型首先使用双边滤波算法进行去噪处理,然后使用LDA算法与PCA算法相结合、单独PCA算法、Gabor滤波与PCA算法相结合三种方式分别对数据进行降维与特征提取,并分别使用SVM...     

基于自适应免疫分类器的入侵检测

由于采用传统的分类器进行检测时,存在检测率低而误报率高的问题.提出了一种基于免疫聚类的自适应分类器方法,采用多信息粒度的思想有效地克服了聚类算法与分类算法间的不一致性.通过在真实网络数据集上对多种入侵行为的检测结果表明:该分类器的检测率高、漏报率和误报率低,较RBF分类器和BP分类器具有更好的分类性能和推广性能.     

基于SVM的车牌字符识别算法研究

SVM可在训练样本很少的情况下获得很好的分类推广能力。首先分析了用多类SVM算法对车牌中的字符进行识别时存在不可区分的区域问题和采用模糊SVM算法解决该问题的办法,然后讨论了字符特征的提取方法,并根据我国车牌字符的特点分别设计了汉字、字母、数字、字母/数字4个基于模糊多类SVM的字符分类器。最后在MATLAB环境下,采用径向基核函数对算法进行学习训练。实验测试结果表明,该方法可以很好的提高字符识别的速率和效率。     

基于连续数据量化的声纳传感器数据识别方法

为了有效识别声纳信号,提出一种基于连续数据量化的声纳传感器数据识别方法。首先用声学传感器采集数据;其次运用数据离散化方法,有效地将采集到的数据进行连续数据离散化;最后,通过数据挖掘技术(C4.5/C5.0决策树、SVM和Naive-Bayes分类器)对离散后的声纳信号数据进行分类识别。实验首先在UCI数据集上进行Naive-Bayes分类预测来评价提出离散化方法的性能,得到了较好的效果。其后,通过声学传感器收集到的Sonar数据集进行实验。结果表明,新的离散化方法提高了四个分类器的识别精度,表明该声纳传感器数据识别技术是非常有效的。     

基于自适应权值的多分类器融合方法

提出了一种类似于聚类分析的融合方法 ,它通过分析样本在特征空间的分布 ,来估计分类器分类结果的可靠性 ,并根据各个样本的具体情况自适应地为各分类器赋予权值 ,从数据融合的层次上来说 ,这是一种介于特征级和决策级的融合方法 .