基于不确定性采样的自训练代价敏感支持向量机研究

针对样本集中的类不平衡性和样本标注代价昂贵问题,提出基于不确定性采样的自训练代价敏感支持向量机.不确定性采样通过支持向量数据描述评价未标注样本的不确定性,对不确定性高的未标注样本进行标注,同时利用自训练方法训练代价敏感支持向量,代价敏感支持向量机利用代价参数和核参数对未标注样本进行预测.实验结果表明:该算法能有效地降低平均期望误分类代价,减少样本集中样本需要标注次数.     

基于主动学习SVM分类器的视频分类

提出一种基于主动学习SVM分类器的视频分类算法.该算法分为两个步骤:首先分析并提取与视频类型有关的十维底层视觉特征;然后用SVM分类器建立这些底层特征与视频类型之间的联系.在获取SVM分类器所需的训练样本时,采用主动学习的方法选择对SVM分类器最"有用"的样本提供给用户进行标注,用更少的训练样本获得与大量训练样本近似的分类效果,从而减轻用户标注负担.针对多类SVM分类的主动学习问题,提出用后验概率计算分类器对未标注样本的置信度进行样本选择.实验结果表明,主动学习算法与随机采样标注的被动学习算法相比,在相同的训练样本情况下能够获得更高的分类精度;而基于后验概率选择样本的主动学习要略好于传统的基于变型空间(version space)选择样本的主动学习.     

模糊神经网络分类器的主动学习方法

针对模糊神经网络分类器设计过程中所遇到的样本采样与标注过程耗时、代价大的问题,提出了一个新颖的模糊神经网络分类器主动学习方法,以最小-最大边界法以及确定样本的不确定性闽值两个新概念为主动样本选择准则,确保选择其中信息量尽可能大的样本进行标注,使得网络设计过程中对未标注样本的标注工作量和时间大为减少．实验结果表明,该方法与模糊神经网络的被动学习模型相比,训练样本数目大为减少,训练时间大大缩短．     

一种基于ACO的代价敏感集成分类器

提出了一种自适应代价优化算法ACO,利用"登山式"方法查找最适合重采样数据子集的最优误分类代价值用于建立基分类器,克服了固定式误分类代价不尽科学和客观的缺点,利用重采样技术实现了数据集样本不足时的分类器训练.通过"投票"方式对原始数据集中的实例重新标记类标,学习得到一个适应于类分布不均衡数据集的自适应的集成分类器.实验证明,用自适应代价优化算法实现的分类器在类分布不均衡的数据集上的分类性能明显优于CSC,MetaCost和naive Bayes等建立的分类器.     

代价敏感学习的过度拟合问题研究

代价敏感学习算法的目的是最小化各种代价总和,与其他学习算法一样,它必须面对过度拟合这个挑战性问题,即分类器可以较好地拟合训练数据,但对测试或实际数据的效果较差.针对代价敏感学习的这些缺点,提出两个克服过度拟合的策略.第一个滤波技术策略针对TCSDT分类建立,滤波后的概率估计值被用于对每个分离属性的潜在误分类代价计算,并延缓潜在大误分类代价的分离属性的优先选择,最后,采用交叉验证方法决定m的值.第二个策略与基于标准错误的Laplace剪枝方法不同,阈值剪枝采用一个预先定义的阈值集合(跟代价有关)来确定决策树的一个叶节点是否被剪除.这两策略可独立或联合用于避免TCSDT分类的数据过度拟合.实验表明,所提出的两算法不但在代价敏感学习中有优势,在非代价敏感学习也具有优势,可以有效地减弱过度拟合,有很强的健壮性,UCI数据集实验结果显示算法的拟合能力平均优于存在方法10%以上.     

基于代价敏感的图分类算法

引入图的误分类代价矩阵,选取以最小误分类代价为目标的加权子图作为图样本的特征属性,建立起图的决策树桩分类器,进行集成学习,得到一个对新图进行分类的判别函数.在生成候选子图时,利用子图的超图增益值具有上界的性质来裁剪增益值比较小的候选子图,从而减少候选子图数量,提高算法效率.实验结果表明,所提算法比其他图分类算法的误分类代价更小.     

改进果蝇优化算法及其在不平衡数据分类中的应用

类别不平衡数据的分类问题是数据挖掘及机器学习过程中的一个研究热点,基于代价敏感学习方法通常用于解决类别不平衡数据分类问题,然而,它在实际应用过程中通常因样本的误分类成本未知而受到限制.针对此问题,文中采用群体智能算法优化样本的误分类代价.果蝇优化算法(Fruit fly optimization algorithm,FOA)是一种全局优化群智能算法,该算法具有原理简单、调节参数较少、收敛速度较高等优点.本研究首先提出了一种基于动态调整寻优步长的果蝇优化算法;其次,利用此果蝇优化算法良好的全局和局部搜索性能,对类别不平衡数据中样本的误分类代价进行了优化;最后,将改进果蝇优化算法学习样本误分类代价的策略应用到乳腺组织数据集的分类研究中.实验结果表明,本算法对类别不平衡数据的分类结果较好,能够有效的识别正、负两类样,解决了因误分类成本的先验信息无法直接获取而使基于代价敏感的不平衡数据分类方法使用受限的问题.     

基于主动学习的新闻读者情绪分类方法

读者情绪分类具体是指针对某个文本推测读者可能产生的情绪。针对该新问题,目前遇到的主要挑战是标注语料库的匮乏问题。文章提出了一种基于主动学习的读者情绪分类方法,即在已有少量标注样本的基础上,利用主动学习方法挑选优质样本,使得使用尽量少的标注代价获得较好的分类性能。考虑到新闻读者情绪分类可以同时使用新闻文本和评论文本的特殊性,提出了分类器融合分类方法,并在主动学习方面提出了结合不确定性与新闻评论信息量的挑选策略。实验表明,分类器融合方法能够获得比仅用新闻文本更好的分类性能。此外,文章提出的主动学习方法能够有效减小标注规模,在同等标注规模下,获得比随机更佳的分类性能。     

基于BP神经网络的入侵检测系统分类器的实现

提出一种应用人工神经网络进行入侵检测分类器设计的新方法,即采用改进的BP神经网络Levenberg-Marquardt优化算法进行入侵检测分类器的设计。该网络μ参量可自适应调整,收敛速度快,解决了传统BP算法的收敛速度慢、易陷入局部最小点的问题。实验结果表明,分类器用于入侵检测,效果良好,学习速度快,分类准确率高,为实现入侵检测分类器提供了一条准确高效的途径。     

基于代价敏感SVM优化组合算法的微钙化簇识别

微钙化簇是乳腺癌一个重要的早期发现,现有的检测技术为了达到高敏感性要求,产生很多假阳性数据.根据微钙化簇特点,提出一种整体和局部相组合的分类识别策略,并根据真假阳性样本错分代价的不同,使用代价敏感SVM方法进行分类学习.在构造分类器模型过程中利用粒子群进行分类器的参数优化及特征集合的选择,以提升分类学习的泛化能力.该算法在保证高敏感性的同时,降低了过多的假阳性数据,并删除了冗余和不相关的特征.实验结果表明,基于粒子群优化的代价敏感SVM组合分类算法提高了传统方法的识别能力.     

结合主动学习与关系图卷积神经网络的社交机器人检测

社交机器人一直在应用中不断发展，并且为了逃避现有的检测方法，变得更加先进和复杂，较大地影响了原有部分社交机器人检测方法的效果.检测社交机器人成为了一项漫长而又艰巨的工作.在社交机器人检测领域中，目前存在着已公开相关数据集较少的情况，需要人工标注大量的数据.本文提出了一种结合主动学习与关系图卷积神经网络(RGCN)的检测方法——ALRGCN,用以解决人工标注大量数据成本较高的问题.其主要思路是利用主动学习方法来扩充标记数据集，以最大化人工标注的价值.主动学习利用种子选择算法构建初始训练集以及不确定性采样方法筛选出较高信息熵的样本，交由分类模型进行训练，旨在通过专业人员的经验来人工标注一些分类器难以分类的数据.鉴于社交机器人通常以集群的形式出现，本文引入了RGCN来捕捉其网络结构特征.RGCN可以有效地分析节点及其相邻节点的属性，进而帮助该节点进行分类.实验在TwiBot-20数据集上进行，通过对比进行使用的基线实验，ALRGCN在F1上取得了2.83%的提升.实验结果证明，ALRGCN在标注样本更小的情况下可以更有效地检测出社交机器人.     

代价敏感核主元分析及其在故障诊断中的应用

针对传统核主元分析没有考虑误分类代价的差别、对故障工况不敏感等问题,提出代价敏感核主元分析方法.该方法将代价敏感机制引入核主元分析,以误分类代价最小化为目标,设计最佳阈值调整方法获取最佳阈值,并采用混沌粒子群算法对核参数进行优化,最后利用SPE(squared prediction error)统计量诊断新样本类别.研究结果表明:该方法能有效地降低误分类代价,具有故障敏感性和诊断准确率高以及泛化能力强等特点.     

代价敏感Boosting算法研究

针对代价敏感学习问题,研究boosting算法的代价敏感扩展。提出一种基于代价敏感采样的代价敏感boosting学习方法,通过在原始boosting每轮迭代中引入代价敏感采样,最小化代价敏感损失期望。基于上述学习框架,推导出两种代价敏感boosting算法,同时,揭示并解释已有算法的不稳定本质。在加州大学欧文分校(University of California,Irvine,UCI)数据集和麻省理工学院生物和计算学习中心(Center for Biological&Computational Learning,CBCL)人脸数据集上的实验结果表明,对于代价敏感分类问题,代价敏感采样boosting算法优于原始boosting和已有代价敏感boosting算法。     

一种基于置信度差异代价敏感的主动学习算法

主动学习时向专家查询得到的标注如果带有噪声,将会影响学习的性能.为减少噪声,人们提出了基于“少数服从多数”的多专家主动学习算法,但该算法的缺点是代价往往太高.文章采用了一种自我训练（self-training）方法,对某些平均置信度高的样本,直接确定其分类标注,不必向专家查询,以节省学习代价.同时,使用置信度差异作为度量标准,选取那些最不确定的样本向专家查询,提高了学习效率.在UCI数据集上验证了本文算法的有效性.     

代价敏感的直推式支持向量机算法

针对不均衡数据集下分类超平面偏移导致直推式支持向量机样本标记准确率低的问题,结合动态代价和TSVM算法,提出一种代价敏感的TSVM算法,该算法依据类样本的空间分布信息计算类错分代价,利用KKT条件选择对当前分类超平面有影响的样本加入下一轮迭代,该算法可以提高初始分类器的分类性能,减少错误的传递和累积,从而提高标注准确率,增强最后分类器的泛化性能.最后在UCI数据集上的实验结果表明该算法在不均衡数据集下的有效性.     

基于权值控制的误分类算法研究

研究了误分类代价敏感提升算法AdaCost,认为在该算法的每轮循环中可以增加一个过程,用来计算产生出的弱分类器的精确度,从而避免AdaCost算法的盲目循环.同时引入实例权值的上下阈值,控制实例权值的更新过程.本文提出的权值控制误分类算法WCMisC是对AdaCost算法的优化.通过实验设计,验证了权值控制误分类算法WCMisC能有效提高AdaCost算法的分类精度,具有高泛化能力.     

基于协同增量支持向量机的网络入侵检测

针对网络行为数据的不均衡、数量大、更新快的问题,结合均衡化、增量学习、分类器集成思想提出一种用于网络入侵检测的协同增量支持向量机算法,该算法利用多个分类器的协同工作,提高算法速度,每个子分类器依据类样本的空间分布计算类样本错分代价,避免分类超平面偏移,对多个子分类器进行加权集成获得最终分类器,提高最终分类器在不均衡数据集下的分类性能.最后,在KDDCUP1999数据集上的仿真实验结果表明,该算法对整体准确率、少数类及未知攻击都有较高的检测准确率.     

最大相关最小冗余限定性贝叶斯网络分类器学习算法

朴素贝叶斯分类器 (naive bayes) 是一种简单而有效的基于贝叶斯思想的分类方法,但它的属性条件独立性假设并不符合实际,影响了它的分类性能。BAN (bayesian network augmented naive bayes) 分类器扩展了朴素贝叶斯分类器,使其表示属性之间依赖关系的能力增强,但是其学习算法需要大量的高维计算,在小采样数据集上,影响BAN分类器的分类性能。基于改进的最大相关最小冗余特征选择技术,提出限定性贝叶斯网络分类器学习算法 (k-BAN)。本算法使用改进的最大相关最小冗余特征选择技术,通过选择属性结点的连接关系集合建立属性之间的依赖性关系。将该分类方法与NB,TAN和BAN分类器进行实验比较。实验结果表明,在小采样数据集上,本算法获得的限定性贝叶斯网络分类器具有更高的分类准确性。     

基于支持向量机的图像检索主动学习方法

为解决基于内容的图像检索中训练集样本过小问题,本文提出一种结合相关反馈和支持向量机的主动学习算法,首先计算未标注样本到分类超平面的距离以及与当前训练集中样本的余弦距离和,然后取具有总的最大余弦距离同时到超平面距离最短的样本加入训练集,通过增加最具信息的样本到训练集,使得分类器可通过少量反馈次数而快速达到较高的准确性.试验表明,本文算法能有效提高分类器的分类精度和泛化能力,在减少评价样本数量的前提下,可快速收敛于用户定义的目标查询概念.     

半监督技术和主动学习相结合的网络入侵检测方法

针对当前网络入侵具有多样性和易变性, 单一方法很难获得理想网络入侵检测结果的问题, 为提高网络入侵检测正确率, 有效拦截各种网络入侵, 提出一种将半监督技术与主动学习相结合的网络入侵检测方法. 首先, 采集网络入侵数据, 提取网络入侵特征, 并采用半监督技术根据特征对网络入侵数据进行聚类处理; 其次, 采用主动学习算法对聚类后的数据进行训练, 构建网络入侵检测的分类器, 并引入蚁群算法对构建网络入侵检测的分类器进行优化; 最后, 采用标准数据集对网络入侵检测方法进行仿真测试. 测试结果表明, 该方法解决了当前入侵检测方法存在的缺陷, 提升了网络入侵检测正确率, 漏检率和误检率明显少于经典网络入侵检测方法, 同时缩短了网络入侵检测时间, 改善了网络入侵检测效率, 能更好地保证网络通信和数据传输安全.