基于DBSCAN聚类的改进KNN文本分类算法

K最近邻算法(KNN)在分类时,需要计算待分类样本与训练样本集中每个样本之间的相似度.当训练样本过多时,计算代价大,分类效率降低.因此,提出一种基于DBSCAN聚类的改进算法.利用DBSCAN聚类消除训练样本的噪声数据.同时,对于核心样本集中的样本,根据其样本相似度阈值和密度进行样本裁剪,以缩减与待分类样本计算相似度的训练样本个数.实验表明此算法能够在保持基本分类能力不变的情况下,有效地降低分类计算量.     

一种基于粗糙集的改进KNN文本分类算法

K最近邻算法（KNN）被认为是向量空间模型下最好的分类算法之一,在准确率和召回率方面比较出众,但随着样本数量的增加其相似度计算开销很大。本文提出一种改进算法RS-KNN,主要是利用粗糙集的相关理论,计算训练样本集中各样本子类的上近似空间和下近似空间,根据待分类文本出现在不同的近似空间,以缩减与待分类样本计算相似度的训练样本个数。实验表明此算法能够有效地降低分类计算开销。     

一种基于最短距离聚类的K最近邻分类算法

针对传统K最近邻（KNN）分类法执行效率低的问题,提出一种改进的K最近邻分类法。先采用最短距离聚类法分别对训练样本和测试样本进行聚类,生成一些小簇和孤立点,再对小簇或孤立点使用改进的K最近邻方法进行分类。改进后的方法能极大地缩小分类样本的规模,降低计算成本,提高分类效率。     

基于粗糙KNN算法的文本分类方法

在文本分类中,数据规模过大或文本分布不均匀对传统KNN算法的准确率和效率具有重要影响。为了解决该问题,文章提出一种基于粗糙KNN(k-nearest neighbor)算法的文本分类新方法。首先引入粗糙集中的上下近似概念定义各类文本的上下近似空间,将文本向量空间分为核心和混合2大区域;然后改进传统KNN算法的隶属度函数;再针对不同的文本区域,采取差异化的分类策略以提高分类的效率和准确率。实验表明,基于粗糙KNN算法的文本分类方法在提高分类准确率的同时,分类的效率也有很大提高。     

一种基于超长方体集的模糊模式识别算法

结合模糊C均值算法(FCM)与模糊最小-最大神经网络算法,提出一种基于超长方体集的模糊模式识别算法.首先采用基于特征加权的FCM算法进行粗划分,得到c个平行于特征轴的超椭圆球类;再根据已知的样本的类别标记进行进一步划分;以改进的最小-最大模型建立超长方体阵,使每个超长方体只能容纳一种类别的样本点,并且分属不同类别的超长方体无重叠.使用这种方法构建超长方体集更快速、更简单,但对训练样本的要求较高,应选择能够充分体现数据分布情况的数据点作为训练样本.     

SVM与KNN的联合应用

支持向量机（SVM）是20纪90年代初由Vapnik等人提出的一类新型机器学习方法。此方法能够在训练样本很少的情况下达到很好的分类推广能力。能够较好地解决小样本、非线性及高维数等模式识别问题。近年来SVM已在人脸识别、函数逼近以及概率密度估计等众多领域得到了广泛的应用。近邻法（KNN）是模式识别非参数法中另外的一种重要的方法。本文阐述了它们之间的联系，并列举出一例应用。     

KNN和SVM并行结合的算法

根据话题跟踪的定义和特点,分析了K最近邻(KNN)算法和支持向量机(SVM)算法的优缺点,发现它们的优缺点具有互补的可能性,提出了KNN和SVM并行结合的算法作为话题跟踪算法,设计了话题跟踪实验,实验结果证明了新算法作为话题跟踪算法,考虑了话题跟踪的特点,利用了KNN算法和SVM算法的理论优势而避免了理论的缺陷,处理话题跟踪问题时具有很好的话题跟踪效果.     

一种新的基于伪最近邻算法的降水预报方法

分析北京地区日降雨量资料,相较于其他降雨事件,大雨或暴雨事件发生的次数较少,因此该地区的降水量预报属于样本不均衡问题。在样本不平衡的情况下,K最近邻(PNN)算法的分类误差率将会大大提高,这也就使传统的基于K最近邻算法的降水量预报方法的应用受到了限制。针对北京地区降水量预报这一样本不均衡问题,应用伪最近邻算法构建了北京市的降水量预报模型。该方法利用北京地区日降雨量资料和美国国家环境预报中心全球格点资料,将降雨量作为类,将美国国家环境预报中心全球格点资料的各种因子场作为天气样本特征,通过决策规则实现最优分类。利用提出的降水预报模型对北京地区2010年6~8月进行了24 h降水预报,实验结果表明,提出的预报方法对于降水等级预报的预报准确率以及晴雨预报的TS评分、正样本概括率和漏报率均优于传统的K最近邻预报方法,该方法具有较好的预报效果。     

基于鲁棒最近邻超圆盘的齿轮箱智能故障诊断

针对超圆盘分类器存在分类精度和分类效率较低等问题,引入松弛变量,并考虑当前类样本和异类样本的约束以避免超圆盘相交,从而得到更合理的类别区域估计,得到鲁棒超圆盘模型（Robust Hyperdisk Model,RHD）,将RHD模型与最近邻分类方法结合,提出一种鲁棒最近邻超圆盘分类器（Robust Nearest Neighbor Hyperdisk Classifiers,RNNHDC）. RNNHDC只需计算未知样本点到各类别RHD的距离,计算效率高,且可以直接用于多分类任务. 最后将RNNHDC应用于齿轮箱故障诊断,在2个不同的齿轮箱数据集上进行实验验证,结果表明,RNNHDC分类精度高、鲁棒性强,可有效用于齿轮箱智能故障诊断.     

一种基于超长方体集的模糊模式识别算法

结合模糊C均值算法(FCM)与模糊最小一最大神经网络算法。提出一种基于超长方体集的模糊模式识别算法．首先采用基于特征加权的FCM算法进行粗划分。得到c个平行于特征轴的超椭圆球类；再根据已知的样本的类别标记进行进一步划分；以改进的最小一最大模型建立超长方体阵，使每个超长方体只能容纳一种类别的样本点。并且分属不同类别的超长方体无重叠．使用这种方法构建超长方体集更快速、更简单，但对训练样本的要求较高，应选择能够充分体现数据分布情况的数据点作为训练样本．     

基于并行遗传算法的KNN分类方法

针对KNN的K值难以确定的问题,提出一种基于并行遗传算法的KNN分类方法.该方法采用粗粒度模型的并行遗传算法进行设计,通过种群内的遗传、变异和种群间的并行进化、联姻得到优化的K值和分类结果.实验结果表明,该方法有效的提高了KNN算法的分类效果,是一种精确高效的分类方法.     

WEB日志中基于KNN算法的注入式攻击行为检测方法研究

阐述了注入式攻击及KNN算法的相关概念并探讨了注入式攻击行为检测与文本分类技术的关系.结合KNN算法的优点及注入式攻击行为检测与文本分类的相似性,提出了Web日志中基于KNN算法的注入式攻击检测方法,给出了其计算模型,并进行了检测对此.结果表明,该方法具有良好的检测准确度.     

基于粗糙集与KNN的Web文本分类的研究

为了从海量的信息资源库中快速、准确地进行分类并提取出有用的信息,提出了一种基于粗糙集和KNN混合的Web文本分类模型。利用粗糙集的属性约简理论降低了文本分类过程中的向量维数,使用一种基于分明矩阵的属性约简算法,特征选择过程采用互信息量计算方法,并对该混合算法进行了实验,同时结合传统的KNN方法对该混合算法进行比较,验证该算法的可行性。     

基于阈值聚类和KNN分类的入侵检测

利用基于阈值聚类算法首先对带类标记的样本数据集进行有指导性聚类,其主要目的是压缩训练数据集,解决KNN分类算法的样本选择问题以及孤立点的发现,用少量的更具代表性的聚类中心替代KNN算法中巨大的样本集,然后利用聚类密度改进KNN分类算法,从而提高KNN分类检测的准确度和速度.     

一种基于KNN的半监督分类改进算法

本文提出一种新的基于KNN分类的半监督学习self-training改进算法,并以多个UCI数据集为实验,对基于KNN的半监督分类模型算法进行改进,充分利用已知类别标签数据的正确知识进行自训练,以得到最终分类结果.实验结果表明,该方法能显著提高分类准确率.     

基于粗糙集理论的KNN分类

粗糙集理论为研究不精确数据的分析、推理,挖掘数据间的关系、发现潜在的知识提供了有效的工具。在数据挖掘技术中KNN算法是一个实现简单和分类准确性较高的方法,但是,当用于样本容量较大以及特征属性较多的类似医疗图像挖掘这样的领域时,其效率受到了很大的影响,找到一个删除最大冗余属性的方法成了解决这个问题的关键。将粗糙集理论与KNN算法结合起来,用粗糙集方法进行属性约简,有效地解决了KNN算法分类的这个缺点。     

基于样本重要性原理的KNN文本分类算法

KNN是重要数据挖掘算法之一,具有良好的文本分类性能.传统的KNN方法对所有样本权重看作相同,而忽略了不同样本对于分类贡献的不同.为了解决该个问题,提出了一种样本重要性原理,并在此基础上构造KNN分类器.应用随机游走算法识别类边界点,并计算出每个样本点的边界值,生成每个样本点的重要性得分,将样本重要性与KNN方法融合形成一种新的分类模型——SI-KNN.在中英文文本语料上的实验表明:改进的SI-KNN分类模型相比于传统的KNN方法有一定的提高.     

应用特征聚合进行中文文本分类的改进KNN算法

针对以KNN为代表的VSM模型存在的向量各特征项孤立处理问题 ,提出了一种应用特征聚合方式的改进算法·该算法通过CHI概率统计计算文本特征词对分类的贡献 ,将对分类有相同贡献的文本特征词聚合 ,使用它们共同的分类贡献模式代替传统算法中单个词对应向量一维的方式·该算法提高了稀有词对分类的贡献、强化了关联词的分类效果、并降低了文本向量的维数·与传统KNN算法进行的对比实验证明 ,该算法明显提高了分类的准确率和召回率     

结合加权KNN和自适应牛顿法的稳健Boosting方法

Boosting是机器学习领域中重要的集成学习方法，以AdaBoost为代表的Boosting算法通过在组合弱学习器时不断加强对错分类样本的关注以构建性能优异的强学习器，而该训练机制对噪声点的无差别对待易引发学习器对噪声过拟合，从而削弱算法的稳健性.针对该问题，提出结合加权KNN和自适应牛顿法的稳健Boosting方法.该方法首先通过加权KNN估计样本的噪声先验概率，然后使用噪声先验概率修正Logit损失构建一种新的损失函数，最后采用自适应牛顿法进行损失函数的优化求解.提出方法引导分类器在给予错分类样本更高权重的同时，对噪声先验概率大的样本给予相应的惩罚，使噪声样本的权重得到有效的缩减.结果表明，与其他稳健Boosting方法对比，在不同噪声水平下以及真实的医疗数据集的不同评价指标下，该方法表现出更好的稳健性，具有明显的应用价值.