KNN分类算法研究

KNN算法是应用最广泛的分类技术之一。文章简要介绍了KNN算法的基本原理,重点论述了研究人员针对KNN算法的不足所做的各种改进。主要从距离计算的改进、降低计算复杂度、K值的选择、与其它方法集成几个方面进行分析研究。     

基于LVQ网络处理的多目标分类识别

提出利用光学图像相关识别技术和学习矢量量化神经网络（LVQ网络）相结合,实现多种目标的旋转不变分类识别.阐述了LVQ网络对基于类间综合鉴别函数得到的相关峰进行处理的原理和方法,并进行计算机模拟.结果表明,即使相关信号含有一定的噪声,该方法也可对多种目标图像作出正确的分类识别,识别准确率较高,且具有良好的容错性.     

基于M-distance算法思想的优化加权KNN算法

为快速对数据进行特征选择以实现精确分类,采用M-distance算法思想进行数据集簇聚类,对样本数据进行预处理;设计加权K近邻算法缩减样本间距并构建样本分类模型;采用模拟简谐振动的方法遍历样本数据,求解最优加权特征向量,实现样本分类.实验结果表明:设计的算法是正确的,分类模型是合理的.在样本数据特征中,分离出的消费者最为关心的前10个样本特征符合消费者的行为选择,说明算法设计有一定实用性.     

基于DBSCAN聚类的改进KNN文本分类算法

K最近邻算法(KNN)在分类时,需要计算待分类样本与训练样本集中每个样本之间的相似度.当训练样本过多时,计算代价大,分类效率降低.因此,提出一种基于DBSCAN聚类的改进算法.利用DBSCAN聚类消除训练样本的噪声数据.同时,对于核心样本集中的样本,根据其样本相似度阈值和密度进行样本裁剪,以缩减与待分类样本计算相似度的训练样本个数.实验表明此算法能够在保持基本分类能力不变的情况下,有效地降低分类计算量.     

基于K-近邻方法的网络信息文本分类

提出了一种网络信息文本分类模型的建立方法。根据网络报文的特点,抽取其中关键词作为分类特征词条,并以报文关键词进行词频统计分析建立文本分模型。分别进行了基于最近邻决策和K-邻近决策的分类效果试验研究,结果显示：K-近邻决策的分类效果要优于最近邻决策的分类效果。     

基于K-近邻方法的网络信息文本分类

提出了一种网络信息文本分类模型的建立方法,根据网络报文的特点,抽取其中关键词作为分类特征词条,并以报文关键词进行词频统计分析建立文本分模型,分别进行了基于最近邻决策和K-近邻决策的分类效果试验研究,结果显示,K-近邻决策的分类效果要优于最近邻决策的分类效果。     

一种并行的加速K-近邻分类方法

文章针对传统K-近邻分类方法学习效率低下的问题,提出一种基于并行计算的加速K-近邻分类方法(K-nearest neighbor classification method based on parallel computing,PKNN),即并行K-近邻分类.该方法首先将所需要分类的样本划分为不同的工作子集,然后在每个子集上进行并行的K-近邻分类.由于划分后每个工作子集的规模均远小于整个数据集的规模,因此降低了分类算法的复杂度,可有效处理大规模数据的分类问题.实验结果表明,PK-NN方法能提高分类效率.     

一种基于半监督的句子情感分类模型

句子情感分类致力于挖掘文本中的情感语义,以基于 BERT(bidirectional encoder representations from transformers)的深度网络模型表现最佳.这类模型的性能极度依赖大量高质量标注数据,而现实中标注样本往往比较稀缺,导致深度神经网络(deep neural network,DNN)容易在小规模样本集上过拟合,难以准确捕捉句子的隐含情感特征.尽管现有的半监督模型有效利用了未标注样本特征,但对引入未标注样本可能导致错误逐渐累积问题没有有效处理.半监督模型在对测试数据集进行预测后不会重新评估和修正上次的标注结果,无法充分挖掘测试数据的特征信息.研究提出一种新型的半监督句子情感分类模型.该模型首先提出基于K-近邻算法的权重机制,为置信度高的样本分配较高权重,尽可能减少错误信息在模型训练中的传播.接着,采用两阶段训练策略,使模型能对测试数据中预测错误的样本进行及时修正,通过多个数据集的测试,证明本模型在小规模样本集上也能获得良好性能.     

基于多示例多标记KNN的图像分类算法的改进

为了提高图像分类的准确度,提出基于最小Hausdorff距离的多示例多标记K近邻图像分类方法。该方法通过改善图像包的生成方法,均匀分割并提取图像的颜色和纹理特征,使用最小Hausdorff距离作为包间的距离度量,对多示例多标记K近邻算法进行改进。实验结果表明,该方法提高了分类准确度,减少了运行时间。     

改进的线性判别回归分类人脸识别算法

对线性回归分类算法进行了改进。考虑了线性回归分类算法中没有考虑的类间信息,通过选择类模式的投影方向判别不同类的模式,不同类的模式互相远离,相同类的模式尽可能靠近来估计投影矩阵;再利用投影矩阵将训练图像及测试图像投影到各类的特征子空间;最后,计算出测试图像与训练图像间的距离,利用K-近邻分类器完成人脸的识别。在FERET人脸数据库上进行实验验证。实验结果表明,相比其他回归分类算法,本算法取得了更好的识别效果。     

最近邻搜索用于分类问题的一种改进

最近邻搜索广泛应用于分类问题,其最显著的优点是分类准确率高、泛化性能好.但现有最近邻分类算法都存在着一个弱点——样本集增大分类计算量也显著增大.为了克服这一不足,本文基于一个新的思路,提出了最近邻分类方法的一种改进方法.该方法在进行最近邻分类时,不一定要找到待分类点的最近邻点,而只要知道最近邻点的类别即可,大大地减少了最近邻搜索时的计算量.用经典的分类问题双螺线问题(TSP)以及其他几个例子,就该改进方法的分类效果、分类速度和学习性能等3个方面进行了测试,并与经典的K维双叉树(KD树)最近邻搜索法以及压缩近邻法进行了比较.结果表明,就综合性能而言,本文改进方法是有竞争力的.     

基于词向量空间模型的中文文本分类方法

大多文本分类方法是基于向量空间模型的,基于这一模型的文本向量维数较高,导致分类器效率难以提高。针对这一不足,该文提出基于词向量空间模型的文本分类方法。其主要思想是把文本的特征词表示成空间向量,通过训练得到词-类别支持度矩阵,根据待分文本的词和词-类别支持度矩阵计算文本与类别的相似度。实验证明,这一分类方法取得了较高的分类精度和分类效率。     

一种基于向量空间模型的Web本体自动分类方法

在分析了Web本体的结构特征和语言学特征基础上,引入虚拟文档的概念,定义整个本体的虚拟文档为与主题相关的vocabularies的虚拟文档的组合.以虚拟文档中的词条作为Web本体分类的特征项.基于RDF图不容忽视的图状特性,在构造自RDF图本体的词汇依赖图(vocabulary dependency graph)之上采用相关基于图的排序算法,得到与构造本体虚拟文档相关的vocabularies对于该本体的重要性权值,进而计算特征项的权值.     

用于动态心电图波形分类改进的K近邻算法研究

针对动态心电图波形数据量大且具有明显个体差异性的特点,提出了一种改进的K近邻分类算法,用于动态心电图波形分类.该算法首先将实例间的度量改为曼哈顿距离（City Block Distance）,然后引入高斯核函数,将K近邻算法改进为非线性分类算法,以达到分类动态心电图波形的目的.实验结果表明,该算法在对动态心电图波形进行分类时,分类精度在90%以上.     

基于双支持向量机的大样本分类算法

针对支持向量机(Support Vector Machine,SVM)处理大规模样本分类的学习效率降低问题,提出两阶段学习的支持向量机算法。该方法首先在正负类分别进行无监督聚类,提取各个聚类质心组成约简训练集,进行初次SVM训练;然后,根据初次训练结果选取边界样本集,参与第二次SVM训练。在UCI数据集上的实验结果表明,所提方法在保持分类泛化性能的同时,提高了模型的训练速度。     

基于改进的向量空间模型的自动文本分类

研究了基于向量空间模型的自动文本分类方法,提出了位置权和词的位置区分度的概念,给出了一个带有位置信息的词权重计算方法,并给出了基于该方法的文本分类算法.实验结果表明,该方法是有效的,提高了文本分类的精度.     

基于Fisher权重改进的OB场景分类方法

目标库(object bank,OB)方法是一种使用了高水平语义特征的场景分类方法。针对OB方法使用过高维数的特征向量来表征图像的缺点,提出一种基于Fisher权重改进的OB方法。通过对没有进行空间金字塔处理的OB方法中的低维特征向量加以Fisher权重,使得新得到的特征向量具有极大化类间数据差异并且极小化类内数据差异的性质。实验表明,该方法与OB方法相比在分类效率上提高了10倍以上,并在分类的准确率上提高了3%左右。     

基于改进型FP-Tree的分布式关联分类算法

传统的信息挖掘技术已经无法满足大数据环境下日益复杂的应用需求,而分布式数据挖掘技术是解决这个难题的一种手段,因此提出了基于改进型频繁模式树（FP－Tree）的分布式关联分类算法。首先,在各局部节点优化FP－Tree。生成局部条件模式树（CFP－Tree）,再通过各节点间传送CFP－Tree构建全局CFP－Tree;其次,在挖掘全局CFP－Tree时通过计算显著度来获取初始的全局显著分类规则;最后,利用剪枝策略选取一个较小规则集来构造全局的关联分类器。实验结果表明该算法能够有效降低网络通信量,提高信息挖掘效率,同时保证剪枝的质量和规则的统计显著性,提高分类的精确性。     

一种基于相似度的高效网络流量识别方案

支持向量机(support vector machine,SVM)是分类算法中集高效性、准确率和实时性于一体的分类方案。但由于在SVM分类决策的过程中,无关的分类器也参与了投票,使得方案的实时性和分类可靠性有一定程度的降低。提出了基于相似度的高效SVM网络流量识别方案(efficient SVM based on similarity,ESVMS)。ESVMS通过估算待分类实例可能所属的类别范围,排除SVM中那些无关分类器的投票决策。实验结果表明ESVMS较SVM分类准确度几乎没有降低,但分类实时性进一步提高。