不均衡数据集中KNN分类器样本裁剪算法

针对KNN算法在分类时的样本相似度计算开销大,在处理不均衡数据集时少数类分类误差大的问题,提出一种在不均衡数据集下基于密度的训练样本裁剪算法。对训练样本的各个样本类进行聚类,删除噪声数据并计算每个样本类的平均相似度和样本平均密度,以此获得样本类裁剪的相似度阈值,然后将样本类内相似度小于类相似度阈值的样本进行合并,减少训练样本总数。实验表明,此样本裁剪算法能够在保持KNN算法分类性能基本稳定的前提下,有效地减少分类计算开销,并能在一定程度上提高少数类的分类性能。     

一种适用于不均衡数据集分类的KNN算法

传统的K-最邻近(K Nearest Neighbor,KNN)分类算法在处理不均衡样本数据时,其分类器预测倾向于多数类,少数类分类误差大。针对此问题从数据层的角度改进了传统的KNN算法。先通过K-means聚类算法将少数类样本聚类分组,将每个聚类内的样本作为遗传算法的初始种群;再使用遗传交叉和变异操作获取新样本,并进行有效性验证。最终获取到各类别样本数量基本均衡的训练样本集合。实验结果表明此方法有效改善了KNN算法对少数类分类效果。此法同时适用于其他关注少数类分类精度的不均衡数据集分类问题。     

交叉验证KNN支持向量预选取算法在说话人识别上的应用

针对传统支持向量机算法时空复杂度较高的不足,提出了一种基于交叉验证KNN的支持向量预选取算法。该算法首先对原始样本求k个的邻近样本,然后计算邻近样本中异类样本的比例p1,最后选取满足p1大于阈值p的原始样本作为支持向量。通过交叉验证方法确定k与p的最合适的数值。在UCI标准数据集和说话人识别数据集上的仿真实验显示算法可有效地降低支持向量机分类器的运行时间,同时又具有较好的分类性能。     

基于M-distance算法思想的优化加权KNN算法

为快速对数据进行特征选择以实现精确分类,采用M-distance算法思想进行数据集簇聚类,对样本数据进行预处理;设计加权K近邻算法缩减样本间距并构建样本分类模型;采用模拟简谐振动的方法遍历样本数据,求解最优加权特征向量,实现样本分类.实验结果表明:设计的算法是正确的,分类模型是合理的.在样本数据特征中,分离出的消费者最为关心的前10个样本特征符合消费者的行为选择,说明算法设计有一定实用性.     

基于支持向量机与k近邻相结合的网络入侵检测研究

针对基于支持向量机算法的网络入侵检测方法,对交错严重的大规模复杂样本集,分类面附近的样本被正确分类可信度低,基于k近邻算法的检测方法测试结果不稳定等问题,提出一种将k近邻与支持向量机相结合的网络入侵检测方法。在分类时,计算待识别的网络连接记录样本与最优分类超平面的距离,如果距离大于预设阀值,采用支持向量机算法对连接记录进行分类,否则采用k近邻法对连接记录进行分类,同时为减少检测方法受样本分布不均衡的影响,采用带权重因子的欧式距离来度量样本间的相似度。最后在KDD99数据集上进行仿真实验,结果表明,相对于单一的支持向量机或k近邻算法的网络入侵检测方法,k近邻与支持向量机相结合的入侵检测方法可以进一步提高网络入侵检测的正确率,是一种较好的网络入侵检测方法。     

样本不均衡条件下基于自调整支持向量机的故障诊断

故障数据样本和正常运行数据样本量的不均衡将导致支持向量机在构建故障分类超平面时发生偏移,降低了基于支持向量机的故障诊断的诊断准确率. 针对该问题,文中提出一种能够自动调整风险惩罚因子的新型支持向量机. 该方法能够自举式地对有效样本进行挑选,并加大高信息量数据样本的风险惩罚因子,抑制样本不均衡导致的分类超平面偏移,进而提高故障诊断的准确性. 所提方法被用于变压器故障诊断实验,实验过程中正负样本的风险损失始终相等,有效地抑制了样本不均衡现象对诊断造成的影响,验证了所提算法的有效性.      

基于DBSCAN聚类的改进KNN文本分类算法

K最近邻算法(KNN)在分类时,需要计算待分类样本与训练样本集中每个样本之间的相似度.当训练样本过多时,计算代价大,分类效率降低.因此,提出一种基于DBSCAN聚类的改进算法.利用DBSCAN聚类消除训练样本的噪声数据.同时,对于核心样本集中的样本,根据其样本相似度阈值和密度进行样本裁剪,以缩减与待分类样本计算相似度的训练样本个数.实验表明此算法能够在保持基本分类能力不变的情况下,有效地降低分类计算量.     

基于k-means++的多分类器选择分类研究

【目的】机器学习中不同算法适用于具有不同分布特征的数据集。在用整个训练集上训练得到的单个分类器预测新样本类别时,由于缺少对局部区域样本的针对性,可能导致分类器对某一区域数据的预测能力较差而产生错误分类。为了解决这个问题,提出基于k-means+ +的多分类器选择算法。【方法】首先用3种分类综合性能较好的算法———Ada-Boost、SVM、随机森林(RF)在训练集上分别训练得到3个分类器作为候选基分类器,然后利用k-means++算法将训练数据集分为k个簇,用3个候选分类器分别对每个簇进行分类测试,选择对这一簇中数据分类精度最高的分类器作为与它的数据相似数据的分类器。在对新样本进行类别预测时,首先判定样本属于哪个簇,然后用它的分类器进行分类预测。【结果】实验结果表明,新算法在9个UCI数据集上优于单个分类算法。【结论】基于局部区域动态选择最优分类器可以提高模型分类准确性。
     

基于改进加权压缩近邻与最近边界规则SVM训练样本约减选择算法

大规模的训练集中通常含有许多相似样本和大量对分类器模型构造"无用"的冗余信息,利用全部样本进行训练不但会增加训练时间,还可能因为出现"过拟合"现象而导致泛化能力下降。针对这一问题,本文从最具代表性样本与最近边界样本两个角度综合考虑,提出一种基于改进加权压缩近邻与最近边界规则SVM训练样本约减选择算法。该算法考虑到有价值训练样本对SVM分类器性能的重要影响,引进减法聚类利用改进的加权压缩近邻方法选择最具代表性的样本进行训练,在此基础上利用最近边界规则在随机小样本池中选择边界样本提高分类精度。在UCI和KDDCup1999数据集上的实验结果表明,本文的算法能够有效地去除大训练集中的冗余信息,以较少的样本获得更好的分类性能。     

基于密度的KNN分类器样本裁剪算法

KNN算法在分类准确率和召回率方面具有较好的性能,但由于样本相似度计算开销大,导致分类效率低.针对此问题,本文提出一种基于密度的训练样本裁剪算法,对训练样本的各个样本类进行聚类,根据密度不同聚集成不同的簇,删除噪声数据并计算每个样本类的相似度阈值,然后将样本类内大于类相似度阈值的样本进行合并,以减少训练样本总数.实验表明,此样本裁剪算法能够在保持KNN算法分类性能基本稳定的前提下,实现各个样本类内高相似度样本的合并,减少分类计算开销.     

一种新的样本选择算法及其在文本分类中的应用

在保证分类性能的前提下,如何从大量的训练样本集合中选择重要样本子集,是模式分类中的一个重要问题.基于该问题提出了一种新的样本选择算法,并将该算法应用于文本分类,在标准文档集Reuters-21578、复旦文档集和20newsGroup新闻组文档集上进行了实验.实验结果表明:该方法能有效地选取边界样本,且采用SVM和KNN分类能得到较好的分类结果,尤其是在不均衡文档集上效果更佳.     

改进的KNN快速分类算法

传统的KNN算法的时间复杂度与样本规模成正比,大规模或高维数据会降低其分类效率。为此,提出一种改进的KNN快速分类算法。该算法以固定半径长度构造超球为原则,为训练样本集构造多个包围超球。根据各个超球内包含的训练样本集的重心位置与测试样本的位置关系可以快速搜索测试样本的k个最近邻超球,然后以k个最近邻超球内的训练样本集构造新的训练样本集。在新的训练样本集中求测试样本的k个最近邻,从而获得该测试样本的类别。实验表明,改进的KNN快速分类算法的分类准确率得到一定程度的提高、运行效率明显提升。     

一种新的基于局部密度改进SVM分类算法

针对不平衡数据集数据分布不均匀及边界模糊的特点,提出基于局部密度改进的SVM(NLDSVM)不平衡数据集分类算法。该算法先用层次k近邻法计算多数类中每个样本的局部密度,依据每个样本的局部密度值分别选出边界区域、靠近边界区域的与少数类数目相等的样本与少数类完成SVM初始分类;用所得的支持向量机和剩余的多数类样本对初始分类器迭代优化。人工数据集和UCI数据集的实验结果表明,与WSVM,ALSMOTE-SVM和基本SVM算法相比,NLDSVM算法G-mean的平均值提高了7%,F-measure的平均值提高了6%,AUC的平均值提高了6%。NLDSVM算法分类效果良好,能有效改进SVM算法在分布不均匀及边界模糊数据集上的分类性能。     

基于历史矢量数据的土地覆被样本自动选择方法

针对目前遥感技术在土地覆被中的应用需要依靠人工采集样本的现状,提出一种基于历史矢量数据的土地覆被分类样本自动选择方法:分别对遥感影像进行分割、对历史矢量数据进行筛选和缓冲处理,然后对分割结果和缓冲处理后的矢量数据进行空间分析和判断得到初始样本,再通过分类训练剔除错误样本得到最终样本,并以四川省某区域为试验区,对方法进行了测试和分析.结果表明,自动选择方法提取的样本准确率均在95%以上,相对于人工采集样本大大提高了效率;基于选择的样本对影像进行分类,结果精度也较高,能够有效地用于土地覆被专题图的快速更新.     

基于样本不同属性综合的鲁棒偏倚赖主动学习分类算法研究

主动学习算法可以有效减少样本标注的工作量,每次选取最有信息量的样本交由专家标注。样本的代表性与不确定性都是衡量样本信息量的重要因素,将两者综合考虑能够获得更好的综合效果,但在两者的结合方式上一直存在不少问题,导致算法的适应性不强。为解决该问题,本文提出了基于样本不同属性的鲁棒偏倚赖主动学习分类算法,通过引入偏倚赖权值系数函数,在综合考虑样本的代表性和不确定性的同时,更可以突出样本的特性。同时由于样本代表性模型的渐变,在选择样本过程中更能突出代表性样本与不确定性样本的学习层次,前期训练以代表性样本为主,后期训练以不确定性样本为主,使得算法的适应性大大提高。在UCI机器学习数据库上的仿真实验结果表明本文的思路是合理可行的,在实验所用数据集上,与所提供的对比算法相比,本文的方法只需较少的标注样本便可以达到相同的分类正确率。     

基于样本不确定性和代表性相结合的可控主动学习算法研究

通过选取最有信息量的样本提交专家进行标注,主动学习算法可以有效地减少无效标注样本的工作量.在充分考虑位于分类边界的不确定样本和基于先验分布的具有代表性样本的基础上,本文构造了不确定性与代表性相结合的可控主动学习算法.首先利用样本的kNN分布状况建立不确定性置信度模型,该思路不需要知道样本分布的具体类型和参数计算;然后在样本聚集度模型的基础上进行聚类,在此基础上建立代表性置信度模型.最后将不确定性置信度模型与代表性置信度模型进行综合,构造可控的主动学习策略,使得每次主动学习选择的样本更具有"价值".在UCI机器学习数据库上的仿真实验结果表明本文的思路是合理可行的,在实验所用数据集上,当达到相同的目标正确率时,本文的方法比随机采样算法所需的样本数量少得多.     

基于KNN算法和10折交叉验证法的支持向量选取算法

经典支持向量机算法具有较高的时空复杂度,这导致其很难广泛被应用.为此,该文基于支持向量分布的先验知识,把KNN算法和10折交叉验证方法结合起来,提出了一个支持向量预选取算法.该算法从原始样本集中选取k个邻近样本,并计算出这k个邻近样本中异类样本所占比例,如果该比例超过了所给定的阈值q,就选择这些异类样本作为预取的支持向量.在此过程中,采用10折交叉验证法来确定k与q的最佳值.两组仿真实验表明所提算法选择出的支持向量而形成的分类器分类准确率更高而且耗时还较少.     

融合样本选择与特征选择的AdaBoost支持向量机集成算法

为提高AdaBoost分类器集成算法的分类精确度并简化分类系统的复杂度,提出一种融合样本选择与特征选择的AdaBoost支持向量机集成算法(IFSelect-SVME)。该算法在AdaBoost算法的每个循环中利用加权免疫克隆样本选择算法进行样本选择,并用互信息顺序向前特征选择算法进行特征选择,再利用每个循环优化选择得到的特征样本子集训练个体SVM分类器,并对其进行加权集成,生成最终的决策系统。对实验所用9组UCI数据集的仿真结果表明:与支持向量机集成(SVME)算法相比,IFSelect-SVME算法的正确分类率有所提高,且样本数可减少30.8%~80.0%,特征数可减少32.2%~81.5%,简化了集成结构,缩短了测试样本的分类时间,所得到的分类系统具有更好的分类精度。     

二次样本筛选的高光谱图像分类研究

主动学习能够在有标记样本较少的分类任务中得到较好的分类结果,其中熵值装袋算法最为常用,其利用熵值来衡量样本的不确定性,但熵值并不能完全地代表样本的不确定度.针对这一问题,本文提出二次样本筛选的分类算法,通过超像素分割进行边缘区域样本筛选,选择出不确定度较高的样本.利用熵值装袋算法对区域筛选样本进行二次筛选,选择信息量较...