K-最近邻的改进及其在文本分类中的应用

采用K近邻算法(Knearest neighbors,简称KNN)进行分类时,如果训练样本数量太大,那么搜索测试样本的K个最近邻时,算法的计算量很大.本文针对KNN的不足提出了一种改进方法.改进的KNN算法通过定义样本的延拓类和延拓能力,保留延拓能力强的样本作为它延拓类中其它训练样本的代表,来缩减训练样本数量,达到减少算法计算量的目的.实验证明,改进的KNN算法具有很好的性能.     

基于超球区域划分的改进KNN算法

针对KNN算法样本相似度计算量大,计算冗余度高而效率低下的问题,提出了基于超球区域划分的改进KNN算法。该算法是在经典KNN算法上的改进。通过构造等半径超球集合,将所有训练样本分配到相应的超球中,因此一个待测样本的类别可以通过其最近邻的k个超球内的训练样本集来确定。为保证运算效率,设计算法去寻找最优的超球半径r。实验结果表明,基于超球区域划分的改进KNN算法与经典的传统KNN算法在效率和性能方面有较大的提高。     

KNN算法综述

KNN（K最近邻）分类算法是应用最为广泛的分类算法。本文介绍传统的KNN方法的基础上,根据其不足,从降低计算复杂度提高算法的执行效率,相似度度量方法,决策规则等几方面综述KNN改进算法。     

基于BP改进的KNN算法在北京密云土地覆盖分类中的应用

针对k近邻(k-nearest neighbor,KNN)算法在土地覆盖分类中存在将山体阴影覆盖下植被误分成水体的问题,提出改进的KNN算法。改进算法充分利用神经网络能有效区分山体阴影覆盖下植被和水体的特性,实现BP神经网络与KNN算法的融合,整体提高了北京市密云区土地覆盖分类精度。实验结果表明:相对于支持向量机(support vector machine,SVM)、随机森林、BP神经网络和KNN算法,改进算法分类精度最高,达到了95.20%,分类精度比未改进KNN算法提高了6.43%。改进算法的Kappa系数在对比算法中也是最高的,达到0.93。此外,实验结果也表明改进算法可应用于中分辨率遥感图像分类中。     

基于近邻决策域内局部分布密度的改进KNN算法

经典KNN算法和以往的基于密度的改进KNN算法都缺乏对训练样本数据分布的有效性描述,因此会间接影响到分类结果。提出一种基于测试样本近邻决策域内局部密度的改进KNN算法,通过计算各不同类别在近邻决策域内的局部密度,并同时考虑到类间偏斜度的存在,得到各类密度补偿系数和倾斜度平衡因子,从而达到削弱高数量、大密度类别,增强小数量、低密度类别的目的。在UCI数据集上的实验结果表明,该改进算法在保持经典KNN算法分类准确度的基础上,能够提高分类的召回率和F1-measure指标。     

基于Hadoop平台的KNN分类器的优化和实现

分析了KNN分类算法的流程,然后在K值的动态获取和分类加权两个方面对分类算法进行改进;利用MapReduce编程思想完成KNN分类算法在Hadoop集群环境下的移植和实现。实验数据证明,改进后的KNN分类算法在人脸识别精度、识别效率和稳定性3个方面得到了有效提高。     

基于改进实例推理的话务故障诊断专家系统

传统的K最近邻算法(KNN)算法可以解决话务分析专家系统中的求解问题,但KNN算法的不足在于K值的确定与执行效率,因此改进K值选取与加权方法,对提高算法运行效率与准确性具有重要意义.本文提出了一种改进K值选取方法及依托频率的权重计算方法,用于实例检索,并采用改进后的实例推理,构建了话务故障专家系统.实验结果表明,改进算法在实例匹配准确性与执行效度上,均优于传统方法.     

基于概率模型LVQ的改进KNN分类新方法

KNN是基于实例的算法,对于大规模样本算法分类性能不高.针对这一缺点,提出一种基于概率模型的学习矢量量化神经网络的改进KNN分类新方法.考虑到最优参考点训练的重要性,结合概率方法得到最佳参考点的判断准则函数,采用梯度下降最优化算法利用LVQ训练参考点的最佳位置.在对未知样本进行分类时选出样本x的K个近邻,采用"投票选举"机制最后判断样本x的所属类别.新方法减少KNN的计算复杂度和时间,弥补了KNN在处理大规模数据问题上的不足.在UCI中数据集上的仿真实验表明改进算法的可行性.     

一种交叉验证和距离加权方法改进的KNN算法研究

传统的KNN算法在大样本的情况下对试验样本有较强的一致性结果.但该算法每一次都是在样本全局的基础上进行归类计算,这在很大程度上消耗了空间,增大了算法空间复杂度;且算法在样本分类不平衡时,预测偏差相对偏高.针对这些问题,提出了基于交叉验证和距离加权的改进KNN算法(Weighted cross-validation KNN,简称WCKNN),经过实验验证,本算法有效减小了算法的空间复杂度;同时,也获得了更好的分类性能.     

基于LSA降维的KNN文本分类算法

针对文本自动分类问题,提出了一种基于LSA降维的KNN改进算法.通过对文本特征向量运用LSA理论进行降维处理,可以有效提高KNN算法的运行效率,提高分类精度.实验证明,改进的KNN算法具有很好的性能.     

半湿润流域洪水预报实时校正方法比较

为了提高新安江模型在半湿润流域的洪水预报精度,选择K最近邻(KNN)算法、传统的误差自回归(AR)方法、反馈模拟方法3种实时校正方法,以陕西省陈河流域为试验对象进行洪水预报。以洪峰相对误差和纳什效率系数为评价指标,分析对比3种方法的校正效果。结果表明:3种校正方法均能提高预报纳什效率系数,其中反馈模拟最优,AR、KNN效果次之;反馈模拟对洪峰误差校正相比于KNN算法在短预见期内更为精确,两者均能减小AR法在洪峰误差校正上的不足;加入历史样本的KNN算法在洪峰误差校正上效果优于反馈模拟,可有效提高洪水预报精度。     

KNN基无铅压电陶瓷的研究进展

KNN基无铅压电陶瓷由于具有优越的电学性能和较高的居里温度而成为最重要的无铅压电材料之一.本文主要综述近期国内外有关铌酸钾钠基无铅压电陶瓷的制备新技术,以及在掺杂改性方面的研究进展,并展望了其发展趋势.     

一种基于SMOTE的不均衡样本KNN分类方法

针对在数据样本不均衡时,K近邻(K-nearest Neighbor,KNN)方法的预测结果会偏向样本数占优类的问题,本文提出了一种基于合成少数类过采样方法(SMOTE)的KNN不均衡样本分类优化方法(KSID)。该方法过程为:首先使用SMOTE方法将不均衡的训练集均衡化,并训练逻辑回归模型;然后使用逻辑回归模型对训练集进行预测,获取预测为正样本的数据,通过使用SMOTE方法均衡化该正样本,并训练KNN模型;最后把测试集放入该结合逻辑回归方法的KNN模型进行预测,得到最终的预测结果。围绕6个不均衡数据集,将KSID与逻辑回归、KNN和支持向量机(SVM)决策树等方法进行对比实验,结果表明,KSID方法在准确率、查全率、查准率、F1值这4个性能指标上均优于其他3种方法。通过引入SMOTE,KSID方法克服了KNN模型遇到样本不均衡数据集时,产生分类偏向的问题,为进一步研究KNN方法的优化和应用提供参考。     

基于超长方体与KNN的分类算法

提出了超长方体与KNN相结合的分类算法.在训练阶段,该算法为训练集中的每一个类别构造多个超长方体,区域分离每一类训练样本.在测试阶段,该算法首先检查测试样本是否被某一个超长方体包围,如是则其类别被识别出,否则用KNN方法确定其类别.实验采用四个真实数据集进行测试.实验结果表明基于超长方体与KNN的分类算法在四个数据集全部优于两个基于多球覆盖的分类方法,是一种有效的分类方法.     

A KNN-based two-step fuzzy clustering weighted algorithm for WLAN indoor positioning

Although k-nearest neighbors (KNN) is a popular fingerprint match algorithm for its simplicity and accuracy,because it is sensitive to the circumstances,a fuzzy c-means (FCM) clustering algorithm is applied to improve it.Thus,a KNN-based two-step FCM weighted (KTFW) algorithm for indoor positioning in wireless local area networks (WLAN) is presented in this paper.In KTFW algorithm,k reference points (RPs) chosen by KNN are clustered through FCM based on received signal strength (RSS) and location coordinates.The right clusters are chosen according to rules,so three sets of RPs are formed including the set of k RPs chosen by KNN and are given different weights.RPs supposed to have better contribution to positioning accuracy are given larger weights to improve the positioning accuracy.Simulation results indicate that KTFW generally outperforms KNN and its complexity is greatly reduced through providing initial clustering centers for FCM.     

改进的KNN实时校正方法在山区中小流域的应用

为提高山区中小流域实时洪水预报精度,提出了一种基于历史洪水学习的KNN实时校正方法(KNN-H法),并选择陕北黄土高原地区2个山区中小流域为研究区域,将其与传统KNN法和AR法进行对比,验证该方法的校正效果。结果表明:KNN法和KNN-H法的校正精度总体高于AR法；KNN法和AR法不能有效降低预报结果的峰现时间误差,而KNN-H法校正结果峰现时间误差比校正前有明显降低；KNN-H法通过对历史洪水预报误差的学习,可有效解决KNN法在实时校正中因为预热期资料不足导致的校正精度不高问题；当预报洪水过程处于涨洪或退水阶段时,KNN-H法能够快速定位到历史洪水的相同阶段,分析历史预报误差后迅速对当前预报值做出校正；总体上KNN-H法校正精度高于传统KNN法。     

两种基于统计的入侵检测技术

异常检测是防范新型攻击的基本手段.使用两种基于统计的异常检测技术检测网络入侵,一种是基于最大熵原理先从理论上得到正常用户行为的概率分布,然后再设定检测阈值;另一种是基于K-近邻算法,该算法不需要预先知道分布,也能很好地完成异常检测的任务.最后使用DARPA 99的部分入侵测试数据对两种方法进行了测试,并对它们的优缺点进行了比较.     

中文文本分类方法比较研究

中文文本分类是中文信息处理过程中的关键技术。本文介绍了中文文本分类的基本过程和基本原理,讨论了朴素贝叶斯(NB)、K-最近邻(KNN)、支持向量机(SVM)这三种中文文本分类方法,并对这三种分类方法进行分析和比较。