基于矩阵奇异值分解的文本分类算法研究

针对KNN文本分类算法在高维数据集上分类计算开销大、效率低的缺点,采用一种基于矩阵奇异值分解的文本特征向量降维方法实现向量降维的同时保留更多的分类信息.同时,采用信息增益的方式对原始文本特征词进行了初步筛选,过滤掉对分类系统几乎没有贡献的特征词,以克服文本特征维数增长所带来的奇异值分解计算开销过大的缺点.实验表明此方法能在保持分类精度的同时极大地降低分类计算开销.     

应用特征聚合进行中文文本分类的改进KNN算法

针对以KNN为代表的VSM模型存在的向量各特征项孤立处理问题 ,提出了一种应用特征聚合方式的改进算法·该算法通过CHI概率统计计算文本特征词对分类的贡献 ,将对分类有相同贡献的文本特征词聚合 ,使用它们共同的分类贡献模式代替传统算法中单个词对应向量一维的方式·该算法提高了稀有词对分类的贡献、强化了关联词的分类效果、并降低了文本向量的维数·与传统KNN算法进行的对比实验证明 ,该算法明显提高了分类的准确率和召回率     

基于粗糙集与KNN的Web文本分类的研究

为了从海量的信息资源库中快速、准确地进行分类并提取出有用的信息,提出了一种基于粗糙集和KNN混合的Web文本分类模型。利用粗糙集的属性约简理论降低了文本分类过程中的向量维数,使用一种基于分明矩阵的属性约简算法,特征选择过程采用互信息量计算方法,并对该混合算法进行了实验,同时结合传统的KNN方法对该混合算法进行比较,验证该算法的可行性。     

基于LSA降维的KNN文本分类算法

针对文本自动分类问题,提出了一种基于LSA降维的KNN改进算法.通过对文本特征向量运用LSA理论进行降维处理,可以有效提高KNN算法的运行效率,提高分类精度.实验证明,改进的KNN算法具有很好的性能.     

基于模式聚合理论的文本特征降维方法及其在文本分类中的应用

根据模式聚合理论提出了一种文本特征降维的新方法.结合动态Kohonen网络理论检验了文本分类效果.在网络训练阶段引入了监督机制,提高了网络的分类速度和精度.应用模式聚合(PA)理论建立文本集的向量空间模型,从分类贡献的角度强化了词条的作用,消减了原词条矩阵中包含的冗余模式,有效地降低了向量空间的维数,提高了文本分类的精度和速度,并通过实验证明了该方法的泛化能力.     

基于信息增益的中文网页SVM分类研究

针对中文网页文本分类中特征降维方法和传统信息增益方法的缺陷和不足做出优化改进,旨在有效提高文本分类效率和精度.首先,采取词性过滤和同义词归并处理对特征项进行初次特征降维,然后提出改进的信息增益方法对特征项进行特征加权运算,最后采用支持向量机(SVM)分类算法对中文网页进行文本分类.理论分析和实验结果都表明本方法比传统方法具有更好的性能和分类效果.     

基于特征选择的人物关系抽取方法

在人物关系抽取中,其特征空间维度往往非常高,会造成向量稀疏问题,从而影响关系抽取的效率。针对这一现象,首先将人物关系分为6类;然后引入了文档频率、信息增益、互信息和χ2统计这四种文本文类的特征选择算法,对特征空间进行降维。最后运用SVM分类器抽取人物的实体关系。实验结果表明这四种特征选择算法不仅能够保证抽取性能,还能有效的降低向量空间维数,极大提高关系抽取效率。其中,χ2统计算法效果最佳,信息增益次之。     

基于改进K最近邻算法的中文文本分类

针对文本分类存在的高维文本问题,提出文档频率(DF)-卡方统计量特征提取方式,对特征项进行有效约减,降低文本维度,提高分类精度.在K最近邻(KNN)算法的基础上,针对待分类文本需要和大量训练集样本进行相似度计算的问题,提出一种基于分组中心向量的KNN算法,对类别内的样本集分组求出各组中心向量,使其重新代表训练库计算相似度,降低计算复杂度,提升算法的分类性能.通过实验表明:相较传统KNN算法,改进的算法在准确率、召回率及F值方面都有提升,与其他分类算法相比,具有一定的优势.     

半监督超图正则拉普拉斯降维条件下分类算法广义界分析

研究超图上半监督正则拉普拉斯降维框架下分类算法的统计特征,通过特征空间上的映射算子说明降维后得到的向量较好地逼近原目标向量.利用矩阵迹的特性给出降维条件下分类算法广义界估计值.     

基于互信息可信度的主成分分析数据降维

数据降维就是将数据集从高维特征空间向低维特征空间的映射.传统的主成分分析(PCA)算法是一种常用的线性数据降维算法.但是耗时太长,降维结果不够好,同时不能满足实际分类要求.为此,通过引入互信息可信度,提出了一种基于互信息综合可信度的主成分分析(MIS-PCA)数据降维算法.该算法首先介绍互信息(MI)、相对互信息可信度(MIR)和绝对互信息可信度(MIA)的思想;然后根据MIA和MIR求解互信息综合可信度(MIS),利用互信息综合可信度进行特征筛选;最后再运用PCA算法对处理后的数据进行降维,并将降维后的数据采用KNN、SVM算法进行分类.对比PCA、E-PCA算法,通过试验表明该方法的降维结果较好、分类精确度较高.