集成学习的多分类器动态融合方法研究

AdaBoost集成学习方法中,分类器一经学习成功,其投票权值就已确定,同一分类器对所有待测样本均有相同的投票权值。对于难于分类样本,具有良好分类性能的少数分类器权值却较低。提出适用于集成学习方法的权重自适应调整多分类器集成算法。根据多分类器行为信息,产生待测样本局部分类精度的有效判定区域,基于有效判定区域选择不同的分类器组合,并调整其相应权重,利用样本集上的统计信息来动态指导分类集成判决。实验结果表明,该算法提高了集成分类性能。     

基于多分类器动态集成的电信客户流失预测

本文提出了一种新的基于多分类器动态选择与优化集成的电信客户流失预测集成模型.首先使用K均值聚类算法对训练集样本进行分区;然后分别使用Naive-Bayes算法、多层感知机算法和J48算法构建各分区客户流失预测子分类器;最后对各分区子分类器进行线性集成,并使用人工蜂群算法优化其集成权重.当测试样本由聚类算法判断出其归属区域后,再分别使用分区子分类器进行预测,最后使用优化权重进行线性集成.实验结果表明:动态集成模型优于单模型;基于人工蜂群算法优化集成模型优于其它集成模型.     

基于关联规则赋权特征选择集成的信用分类研究

针对信用分类数据集中常见的高维性特征,本文基于特征袋装法和关联规则挖掘算法,构建了新的赋权特征选择集成模型AR-WSAB.该模型能根据频繁项集的支持度和置信度,对各特征的重要度进行测度,进而选择出各特征子集,训练子分类器,再通过集成得到最终结果.通过在贷款违约预测数据集上进行实证分析,结果表明该模型分类正确率相对于Bagging集成模型和PCA算法都有显著优势,所提方法能够有效处理高维性特征,并且在各分类算法上都具有普适性.     

基于AdaBoost的神经元形态分类的研究

根据神经元形态的几何特征,使用AdaBoost算法对其进行分类,采用决策树、贝叶斯和关联规则分类模型作为基分类器。算法首先采用直接面向纽舍分类器分类精度提升的集成学刁算法选取基分类器,其次利用分类过程中生成样本的孱升权值来调整前K次（K〉1）被错误分类样本的权重,并提留双重阎值法对样本的最终投票表决结果进行判定。对20个测试样本进行分类,得出高可信度分类数为18个。     

代价敏感的客户流失预测半监督集成模型研究

客户流失预测是企业客户关系管理的重要内容.在现实的很多客户流失预测建模过程中,由于数据类别的高度不平衡现象的存在,使得模型的分类性能低下,不能很好地进行分类预测.同时由于现实情况中只有少量有类别标签的样本,更多的是无类别标签数据的存在,造成了大量有用信息的浪费.为了解决以上两个问题,本研究将元代价敏感学习,半监督学习和Bagging集成等技术结合,提出了代价敏感的客户流失预测半监督集成模型(semi-supervised ensemble based on metacost,SSEM).该模型主要包括三个阶段:1)用Metacost方法修改初始有标签训练集L的类别标签,得到新的训练集Lm,并将其随机的分为模型训练集Ltr和模型验证集Va;2)使用Va挑选分类精度最高的三个基分类器,并用其选择性标记无类别标签U中的样本,并将它们添加到Ltr中;3)用新的模型训练集Ltr训练N个基本分类模型,并对测试集样本进行分类,进一步将分类结果进行集成.在两个客户流失预测数据集上进行实证分析,将SSEM模型与常用的监督式集成模型以及半监督式集成模型相比,结果表明,SSEM具有更好的客户流失预测性能.     

基于Markov blanket和互信息的集成特征选择算法

针对大量无关和冗余特征的存在可能降低分类器性能的问题,提出一种基于近似Markov blanket和动态互信息的特征选择算法并将其应用于集成学习,进而得到一种集成特征选择算法。该集成特征选择算法运用Bagging方法结合提出的特征选择方法生成基分类器,并引入基分类器差异度进行选择性集成,最后用加权投票法融合所选基分类器的识别结果。通过仿真实验验证算法的有效性,以支持向量机(support vector machine, SVM)为分类器,在公共数据集UCI上进行试验,并与单SVM及经典的Bagging集成算法和特征Bagging集成算法进行对比。实验结果显示,该方法可获得较高的分类精度。     

基于集成学习与特征降维的小样本调制识别方法

针对有标签样本较少条件下的通信信号调制识别问题, 提出一种基于集成学习与特征降维的小样本调制方式分类模型。首先,通过集成人工特征与深度学习自动提取特征构成特征集合。然后,设计特征选择算法对特征合集进行优选生成高效特征子集。最后, 利用可快速收敛的高性能分类器对信号进行区分, 实现在少量有标签样本和大量无标签样本条件下的调制方式分类。仿真结果表明, 通过对8种数字信号进行调制识别, 在信噪比为20 dB时, 所提算法可将信号最高识别率提升至96%, 同时该算法设计简单, 具有较大应用价值。     

基于分类集成的钓鱼网站智能检测系统

近来, 通过仿冒真实网站的URL地址及其页面内容的“钓鱼网站”已严重威胁到互联网用户的隐私和财产安全. 为了应对这种威胁, 该文通过对大量已知正常网站和钓鱼网站的学习, 解析其对应的网页内容, 提取相应的网页标题、网页关键字、网页描述信息等8种特征来描述这些网站, 然后基于不同的特征表达方法构建了相应的分类器; 对于待检测的网站, 采用分类集成的方法综合各个分类模型的预测结果, 达到对钓鱼网站智能检测的目标. 基于上述方法, 构建了钓鱼网站智能检测系统IPWDS, 并将其集成于金山安全产品中. 在大量、真实数据集的基础上, 实验结果表明IPWDS系统对钓鱼网站的检测效果优于现有常见的钓鱼网站检测方法和常用的反钓鱼软件.     

ECOC多类分类中基分类器non-competence问题研究

在纠错输出编码(error-correcting output code, ECOC)多类分类中,当待识别样本的真实类别不属于对应二类子类划分时,训练得到的基分类器将不具备对此类样本进行分类的能力,此时的基分类器在解码融合时面临着non-competence问题。如何衡量基分类器是否具备对样本的分类能力,以及如果不具备,如何减少此种情况下对分类效果的影响是基于ECOC多类分类面临的新问题。针对解码框架中non-competent基分类器的分类融合问题,提出一种基于基分类器对样本是否具有分类能力的加权解码方法。该方法利用支持向量数据描述衡量待识别样本与各划分子类之间的距离,同时利用加权解码,通过对基分类器权重的学习，进而增强对类别拥有分类能力的基分类器的影响,减少不具备分类能力的基分类器产生的误差。基于UCI数据集的实验表明所提方法的有效性和实用性。     

基于SMOTEBoost的非均衡数据集SVM分类器

在对实际问题进行数据挖掘时面临的多数是非均衡数据集,即各种类型的数据分布并不均匀,且关注的类型常是少数类.运用含有少量少数类型事例的数据集训练后的模型进行预测时,通常对多数类的预测精度很高,而少数类的预测精确性却很差.提出了一种集成方法SMOTEBoostSVM,通过SMOTE技术人工生成增加少数类样本量,以具有较强分类性能和泛化性能的SVM作为弱分类器,并以AdaBoost算法构建集成分类器.实验结果表明,SMOTEBoostSVM集成分类器比单纯运用SMOTE技术、AdaBoost算法以及SVM等的分类器,在非均衡数据集的分类预测中具有更好的效果.     

基于深度学习的弹道目标智能分类

针对弹道目标微动分类前需平动补偿及典型雷达散射截面积(radar cross-section, RCS)序列分类需构造人工特征的问题,提出利用弹道目标微动特性和RCS相结合的弹道目标智能分类算法。首先,建立弹道目标运动模型并分析得到方位角和俯仰角,从而获取RCS序列,在此基础上利用小波变换得到时频图并构建数据集;然后,通过卷积神经网络(convolutional neural network, CNN)提取时频图像特征序列并与RCS序列融合成高维特征;最后,利用具有容错能力的双向长短期记忆网络充分学习序列之间的相关性以实现目标分类。仿真结果表明,该算法比卷积神经网络和支持向量机的分类精度分别提高5%和2%以上,分类速度比卷积神经网络和双向长短期记忆网络分别提高1.5倍和2.5倍,实现了更高精度的快速智能分类。     

干扰规则库未知条件下的干扰决策

针对模板匹配(template matching, TM)应用于未知干扰规则库时干扰决策正确率低问题,提出基于迁移成分分析-支持向量机(transfer component analysis support vector machine, TCA SVM)的干扰决策方法。对空-空场景机载多功能火控雷达,提取雷达信号特征,构建雷达干扰规则库及未知威胁数据集,通过迁移成分分析把两个样本集的特征映射到同一低维隐藏空间,提取样本隐藏空间特征,经过支持向量机训练,实现对未知威胁数据集的干扰决策。实验结果表明:所提方法有效提高了干扰决策正确率,TCA-SVM出色的学习及泛化能力,较好地解决了干扰规则库未知条件下干扰决策问题。     

小样本条件下SCGAN+CNN低分辨雷达目标一步识别算法

现有低分辨雷达目标识别方法,通常采用先特征提取、再进行目标分类的两步识别算法,这种算法存在识别率难以提高和方法泛化性不足的问题,对此,提出一种增强条件生成对抗网络（strengthening condition generative adversarial network,SCGAN）+卷积神经网络（convolutional neural network,CNN）的低分辨雷达目标一步识别算法。该算法利用CNN自动获取采样数据深层本质特征,无需特征提取,实现对目标的一步识别。为进一步提高小样本条件下的识别效果,基于CGAN理论来提高样本在特征空间的覆盖程度,并对CGAN的判别器进行改进,在损失函数中增加混叠惩戒项,通过SCGAN生成不混叠的生成样本来更好地训练CNN,提高其在小样本条件下的识别能力。仿真对比实验校验了一步识别算法较传统两步识别算法的优越性,以及SCGAN+CNN的低分辨雷达目标一步识别算法在小样本条件下的有效性。     

Dynamic weighted voting for multiple classifier fusion:a generalized rough set method

1 .INTRODUCTIONMultiple classifier fusion or combination has prov-enitself a powerful tool for achieving high classifi-cation accuracy with moderately discri minatingclassifiers .If only output class labels are availablethe voting fusion[1]is often used as a decisionlevelfusion. However ,the main drawback of the votingfusion is that all classifiers are considered equallyreliable and this maylead to a confident decisiontobe changed by a less reliable classifier . A possibleway of overcomin…     

基于深度学习和集成学习的辐射源信号识别

随着电磁环境的日益复杂和雷达辐射源信号类型的逐渐增多,如何有效地识别雷达信号类型成为一个重要的问题。为解决这个问题,提出了一种基于深度学习和集成学习的辐射源信号识别框架。该框架由特征提取和分类器设计两部分组成。第一部分,将雷达信号变换到时频域,利用栈式降噪自编码模型学习时频图像的特征。深度模型的训练采用无监督预学习和有监督微调相结合。第二部分,构造一个集成不同支持向量机分类器的模型对雷达信号进行识别。利用8种不同的辐射源信号验证了提出模型的有效性,结果表明结合这两种机器学习的方法有助于提高辐射源信号的识别正确率。     

注意力机制CNN的毫米波大规模MIMO系统信道估计算法

在室外光线追踪通信场景下,针对毫米波大规模多输入多输出(multiple input multiple output,MI-MO)信道具有稀疏特性、系统受噪声因素影响导致信道估计精度低的问题,提出一种基于图像去噪的注意力机制卷积神经网络信道估计方法.首先,设定参数产生模拟真实环境的数据集,将所产生的信道矩阵看作二维图像...     

基于时频图自主学习的海面小目标检测

多维特征检测方法已成功运用于海面小目标探测中。针对人工特征提取的局限性,将检测问题转变为两分类问题,提出了一种基于时频图深度学习的目标检测方法。首先,将一维观测回波变换到二维时频域,并通过归一化时频图进行白化预处理。其次,建立半仿真含目标回波数据库,解决两类训练样本非均衡问题。然后,搭建迁移学习模型自主学习时频图特性,具有深度网络结构和减小训练代价的优势。最后,将两分类的概率值作为统计量,获得虚警可控的判决区域。基于IPIX实测数据实验结果表明:所提的检测器能深入挖掘目标和杂波的差异性,低信杂比下仍能有效提升海面小目标的探测能力。