一种基于KNN算法的文本降维方法研究

针对文本向量空间中特征项间的关联性及冗余性,提出了一种KNN算法运用于文本向量空间降维的方法,应用向量聚合理论和特征选择以降低特征空间维数,使得降维后的特征项更具有类别代表性.实验证明,KNN算法运用于文本降维方法中,有效地降低了向量空间的维数,提高了文本分类的精度.     

基于Spark的大规模文本KNN并行分类算法

在使用KNN算法进行大规模文本分类,需要处理频繁的迭代运算,针对现有Hadoop平台迭代运算效率较低的问题,本文提出一种基于Spark平台的并行优化KNN算法.主要从3个方面对算法进行优化,首先,对于训练数据集通过剪枝算法控制有效数据的规模,从而减少迭代运算的次数;其次,针对高维数据集采用ID3算法利用信息熵进行属性降维,减少文本相似度的运算量;最后,使用Spark并行计算平台,引入内存计算最大限度地减少了迭代运算的I/O次数,提高处理速度.通过实验,与常用的KNN算法相比,基于Spark的KNN文本并行分类算法在加速比、扩展性等主要性能指标上表现较优,能够较好地满足大规模文本分类的需求.     

基于矩阵奇异值分解的文本分类算法研究

针对KNN文本分类算法在高维数据集上分类计算开销大、效率低的缺点,采用一种基于矩阵奇异值分解的文本特征向量降维方法实现向量降维的同时保留更多的分类信息.同时,采用信息增益的方式对原始文本特征词进行了初步筛选,过滤掉对分类系统几乎没有贡献的特征词,以克服文本特征维数增长所带来的奇异值分解计算开销过大的缺点.实验表明此方法能在保持分类精度的同时极大地降低分类计算开销.     

一种基于改进KNN的哈萨克语文本分类

将文本分类理论应用于哈萨克语中,给出了哈萨克语文本预处理过程.介绍一种改进的KNN算法,并结合自己构建的哈萨克语料集实现基于改进KNN算法的哈萨克语的文本分类.仿真实验数据表明,该方法在哈萨克语的文本分类上获得了较好的效果.     

基于粗糙KNN算法的文本分类方法

在文本分类中,数据规模过大或文本分布不均匀对传统KNN算法的准确率和效率具有重要影响。为了解决该问题,文章提出一种基于粗糙KNN(k-nearest neighbor)算法的文本分类新方法。首先引入粗糙集中的上下近似概念定义各类文本的上下近似空间,将文本向量空间分为核心和混合2大区域;然后改进传统KNN算法的隶属度函数;再针对不同的文本区域,采取差异化的分类策略以提高分类的效率和准确率。实验表明,基于粗糙KNN算法的文本分类方法在提高分类准确率的同时,分类的效率也有很大提高。     

应用特征聚合进行中文文本分类的改进KNN算法

针对以KNN为代表的VSM模型存在的向量各特征项孤立处理问题 ,提出了一种应用特征聚合方式的改进算法·该算法通过CHI概率统计计算文本特征词对分类的贡献 ,将对分类有相同贡献的文本特征词聚合 ,使用它们共同的分类贡献模式代替传统算法中单个词对应向量一维的方式·该算法提高了稀有词对分类的贡献、强化了关联词的分类效果、并降低了文本向量的维数·与传统KNN算法进行的对比实验证明 ,该算法明显提高了分类的准确率和召回率     

基于信息增益的中文网页SVM分类研究

针对中文网页文本分类中特征降维方法和传统信息增益方法的缺陷和不足做出优化改进,旨在有效提高文本分类效率和精度.首先,采取词性过滤和同义词归并处理对特征项进行初次特征降维,然后提出改进的信息增益方法对特征项进行特征加权运算,最后采用支持向量机(SVM)分类算法对中文网页进行文本分类.理论分析和实验结果都表明本方法比传统方法具有更好的性能和分类效果.     

基于样本重要性原理的KNN文本分类算法

KNN是重要数据挖掘算法之一,具有良好的文本分类性能.传统的KNN方法对所有样本权重看作相同,而忽略了不同样本对于分类贡献的不同.为了解决该个问题,提出了一种样本重要性原理,并在此基础上构造KNN分类器.应用随机游走算法识别类边界点,并计算出每个样本点的边界值,生成每个样本点的重要性得分,将样本重要性与KNN方法融合形成一种新的分类模型——SI-KNN.在中英文文本语料上的实验表明:改进的SI-KNN分类模型相比于传统的KNN方法有一定的提高.     

基于改进K最近邻算法的中文文本分类

针对文本分类存在的高维文本问题,提出文档频率(DF)-卡方统计量特征提取方式,对特征项进行有效约减,降低文本维度,提高分类精度.在K最近邻(KNN)算法的基础上,针对待分类文本需要和大量训练集样本进行相似度计算的问题,提出一种基于分组中心向量的KNN算法,对类别内的样本集分组求出各组中心向量,使其重新代表训练库计算相似度,降低计算复杂度,提升算法的分类性能.通过实验表明:相较传统KNN算法,改进的算法在准确率、召回率及F值方面都有提升,与其他分类算法相比,具有一定的优势.     

改进的SVM在语音识别文本分类中的应用

利用改进的SVM分类算法处理汉语语音识别结果文本的分类问题,针对语音识别文本的特点简化了文本分类的预处理过程,调整支持向量机的分类超平面,并且自动优化参数,结合实际的识别结果文本集测试了改进的SVM性能,同时实现了KNN和贝叶斯分类算法,对3种分类性能进行了评价.     

潜语义分析语言模型及其在汉语大词汇连续语音识别中的应用

分析了潜语义分析语言模型在建模和解码过程中的主要问题, 实现了潜语义分析语言模型的建模, 并提出一种在连续语音识别系统一遍解码框架中融合的方法. 实验结果表明, 该方法可有效地提高大词汇汉语连续语音识别系统的性能.      

江西省龙南县滑坡易发性评价

区域滑坡易发性评价是国内外地质灾害研究的重点和热点。目前,国内外学者已提出了支持向量机(support vector machine,SVM)、BP神经网络和随机森林等多种模型并成功用于滑坡易发性评价。但在利用这些机器学习模型评价滑坡易发性时,存在着参数选取困难、建模效率低、模型训练时间长和对评价指标解释能力弱等问题。为简化建模过程、提高预测精度及增强模型的可解释性,提出了基于频率比分析和偏最小二乘回归法(partial least squares regression,PLSR)的滑坡易发性评价模型。PLSR模型很好地发挥了主成分分析和回归分析的优势,考虑了评价指标间的内在联系,具有建模过程简洁、可解释性强的优点。将结合频率比法的PLSR模型应用于江西省龙南县滑坡易发性评价,并与BP神经网络、SVM模型的易发性评价结果进行对比。研究表明:PLSR模型的预测精度优于BP神经网络,且与SVM模型预测精度接近;另外,在综合考虑建模效率、预测精度和模型解释能力的情况下,PLSR模型具有更高的实用性。     

基于并行遗传算法的KNN分类方法

针对KNN的K值难以确定的问题,提出一种基于并行遗传算法的KNN分类方法.该方法采用粗粒度模型的并行遗传算法进行设计,通过种群内的遗传、变异和种群间的并行进化、联姻得到优化的K值和分类结果.实验结果表明,该方法有效的提高了KNN算法的分类效果,是一种精确高效的分类方法.     

基于k近邻和最小二乘支持向量机的Android恶意行为识别

针对单一k近邻算法(KNN)和最小二乘支持向量机(LSSVM)存在的缺陷, 提出一种基于KNN LSSVM的Android恶意行为识别模型. 先采集Android用户行为样本, 并提取相应特征组成特征向量; 再将训练集输入LSSVM中进行学习, 计算测试样本与最优分类平面间的距离, 如果该距离小于阈值, 则直接采用LSSVM恶意行为识别, 否则采用KNN算法进行恶意行为识别; 最后采用仿真实验测试KNN LSSVM的性能. 实验结果表明, 相对于单一KNN算法和LSSVM, KNN LSSVM提高了Android恶意行为的识别正确率,可以满足Android[KG*6]恶意行为的在线识别要求.     

Fabrication of wear-resistant layers with lamellar eutectic structure by laser surface alloying using the <Emphasis Type="Italic">in situ</Emphasis> reaction between Cr and B<Subscript>4</Subscript>C

To improve the wear resistance of Cr5 steel, wear-resistant layers with lamellar eutectic microstructure were fabricated by laser surface alloying (LSA), which is dependent on the in situ reaction between Cr and B₄C. Our results indicated that the hypoeutectic structures of the LSA layers were divided into interdendritic eutectic structures and dendrites. The area fraction of the eutectic structures increased with increasing laser scanning speed, which improved the hardness and wear resistance of the LSA layers. The average hardness of the LSA layer prepared at a scanning speed of 8 mm/s was HV_0.2 883.9, which was 1.8 times greater than that of the traditional quenched layer (approximately HV 480). After sliding for 659.4 m, the specimen prepared at a scanning speed of 8 mm/s exhibited a volume loss of 0.0323 mm3, which was only 29.5% of the volume loss of the traditional quenched specimen.     

基于两步策略的中文短文本分类研究

为更好地挖掘文本信息,研究了将两步策略用于中文短文本分类的3个关键问题,提出了基于组合朴素贝叶斯(NB)和K近邻(KNN)分类器的两步中文短文本分类方法:(1)直接利用NB和KNN的输出构造其对应的二维空间,根据该空间内错误文本的分布将测试文本集分为3部分:能被KNN可靠分类的文本集A,不能被KNN可靠分类但能被NB可靠分类的文本集B,其他文本集C.(2)用KNN、NB分别对文本集A和B进行分类,根据训练语料的类别分布,直接给属于文本集C的文本分配标签.与NB、KNN和支持向量机(SVM)的对比实验表明,该方法可获得较高的分类性能.     

基于模糊C-Means的改进型KNN分类算法

KNN算法是一种思想简单且容易实现的分类算法,但在训练集较大以及特征属性较多时候,其效率低、时间开销大.针对这一问题,论文提出了基于模糊C-means的改进型KNN分类算法,该算法在传统的KNN分类算法基础上引入了模糊C-means理论,通过对样本数据进行聚类处理,用形成的子簇代替该子簇所有的样本集,以减少训练集的数量,从而减少KNN分类过程的工作量、提高分类效率,使KNN算法更好地应用于数据挖掘.通过理论分析和实验结果表明,论文所提算法在面对较大数据时能有效提高算法的效率和精确性,满足处理数据的需求.     

携带数字签名的OSPF路由协议安全研究

为了增强OSPF(开放最短路径优先)路由协议的安全性能,在OSPF的LSA(链路状态通告)数据中增加数字签名,以保护路由协议的信息交换。文中阐述了携带数字签名的OSPF的设计思想和实现的关键技术,并从路由器公钥和携带数字签名的LSA的发送与接收等方面测试了该设计的合理性和可行性。实验结果表明:使用携带数字签名的OSPF路由协议可以防止网络中非法路由器的恶意攻击,为LSA数据提供端到端的集成认证。     

一种基于SMOTE的不均衡样本KNN分类方法

针对在数据样本不均衡时,K近邻(K-nearest Neighbor,KNN)方法的预测结果会偏向样本数占优类的问题,本文提出了一种基于合成少数类过采样方法(SMOTE)的KNN不均衡样本分类优化方法(KSID)。该方法过程为:首先使用SMOTE方法将不均衡的训练集均衡化,并训练逻辑回归模型;然后使用逻辑回归模型对训练集进行预测,获取预测为正样本的数据,通过使用SMOTE方法均衡化该正样本,并训练KNN模型;最后把测试集放入该结合逻辑回归方法的KNN模型进行预测,得到最终的预测结果。围绕6个不均衡数据集,将KSID与逻辑回归、KNN和支持向量机(SVM)决策树等方法进行对比实验,结果表明,KSID方法在准确率、查全率、查准率、F1值这4个性能指标上均优于其他3种方法。通过引入SMOTE,KSID方法克服了KNN模型遇到样本不均衡数据集时,产生分类偏向的问题,为进一步研究KNN方法的优化和应用提供参考。     

KNN基无铅压电陶瓷的研究进展

KNN基无铅压电陶瓷由于具有优越的电学性能和较高的居里温度而成为最重要的无铅压电材料之一.本文主要综述近期国内外有关铌酸钾钠基无铅压电陶瓷的制备新技术,以及在掺杂改性方面的研究进展,并展望了其发展趋势.