基于LSI和Rough集的文本分类研究

针对传统的基于VSM的文本分类算法未能考虑到VSM中各特征向量间相互影响关系,构成VSM的词条集合并不能完全、准确地反映文本的内容,分类精度不是很理想的问题,提出了一种基于LSI和Rough集的文本分类方法.在构造VSM的过程中引入了LSI理论,将语义关系体现在VSM中,从而减少了向量空间的维数,然后再运用粗糙集理论中规则推理方法,建立文本分类的规则库,对于任意一个未知文本,只需要将其条件属性与规则库中的规则进行相似匹配,即可完成分类.实验表明,该方法在文本分类的精度和效率方面比传统的基于VSM的文本分类方法均有10%以上的提高.     

基于LSI和Rough集的文本分类研究

针对传统的基于VSM的文本分类算法未能考虑到VSM中各特征向量间相互影响关系,构成VSM的词条集合并不能完全、准确地反映文本的内容,分类精度不是很理想的问题,提出了一种基于LSI和Rough集的文本分类方法.在构造VSM的过程中引入了LSI理论,将语义关系体现在VSM中,从而减少了向量空间的维数,然后再运用粗糙集理论中规则推理方法,建立文本分类的规则库,对于任意一个未知文本,只需要将其条件属性与规则库中的规则进行相似匹配,即可完成分类.实验表明,该方法在文本分类的精度和效率方面比传统的基于VSM的文本分类方法均有10%以上的提高.     

训练集类别分布对文本分类的影响

为了减小训练集中各类别资源分布不均衡对分类性能造成的影响,该文对原始训练集使用类别均衡法,即对原始训练集以类为单位进行重新组合,使得重组后的训练集类别分布尽可能均衡,从而可以在均衡的类别上进行训练和分类,以降低在训练过程中对小类别的不公平待遇.在复旦大学语料库上使用类别均衡法,分别用Naive Bayes和Rocchio方法分类,前者的宏平均F1从48.62%提高到了80.99%,后者的宏平均F1从64.58%提高到80.26%,微平均F1从73.99%提高到80.47%.实验结果显示,类别均衡法显著提高了分类性能.     

关于文本挖掘中文本分类与文本聚类的研究

本文首先介绍文本挖掘的定义及一般处理过程,重点探讨了文本分类与分类聚类等文本挖掘的关健技术。     

基于不完备信息系统的文本分类研究与应用

在文本分类中,文本特征向量通常高达几千甚至上万维,给整个分类过程带来了相当庞大的计算量,因此进行有效的降维处理是非常重要的.在不完备信息系统理论的基础上,结合文本分类的特点,提出了一种量化容差关系和启发式的属性约简算法.实验证明该属性约简算法不仅能有效地降低文本特征向量的维度,同时能保证分类的正确率.     

基于Vague集的Web内容安全文本分类

随着网络普及应用,Web内容安全问题已经引起人们的高度重视,对Web内容安全的分类监控已成为研究热点。在分析Web内容安全问题的基础上,提出一种需求模型,该模型结合向量空间模型(VSM),利用Vague集改进的特征提取策略,扩充原有文档特征表示模型。通过对来自真实网络网页中等规模的语料实验证明,这种需求模型可以提高网页内容安全的文本分类效果,分类效果优于采用传统特征的方法。     

文本分类技术进展

文本分类被广泛地应用到搜索引擎、自动文摘、文本过滤、词义消歧、文档组织和网页层次分类等多个领域。文中介绍了经典的文本分类算法和新出现的文本分类模型,最后对今后的发展进行了展望。     

基于文本聚类的LSI文本分类模型

文本自动分类是文本挖掘的基础,可广泛地应用于信息检索,web挖掘等领域.在分类前首先要将文本表示成计算机能处理的形式,提出了一种将隐含语义索引(LSI)与文本聚类相结合的中文文本自动分类的方法.在挖掘文本的语义信息,提高分类速度上均取得了较好的效果.通过实验验证了方法的有效性.     

文本分类技术研究

通过介绍文本分类的过程及其关键技术,讨论了文本表示、分类算法、分类器性能评价原理和方法;最后,指出了当前文本分类过程中存在的问题,并对今后的发展进行了展望.     

基于机器学习的文本分类方法综述

文本分类是信息检索与数据挖掘领域的核心技术,是机器学习领域新的研究热点。本文对现有的基于机器学习的文本分类方法进行了详细的介绍,分析了各种方法的优缺点,并阐述了文本分类方法未来的发展趋势。     

中文文本分类特征选择的研究

文本分类特征选择是文本自动分类中首先要解决的重要问题。主要介绍了11种文本分类特征选择的方法,并选择其中的4种进行实验分析。实验结果说明：好的特征选择,对于提高文本分类的效率和效果至关重要。     

一种组合型中文文本分类特征选择方法

根据基于频数分布和基于互信息的特征选择模式的特点,将传统的tf-idf因子以及基于互信息的特征选择方法分别进行了改进,并在此基础上提出了一种新的组合型特征选择方法。试验结果表明,该算法提高了文本分类的准确率。     

kNN算法在文本分类中的改进

kNN算法用已归类的数据训练分类器,它是一种基于实例研究（instance_based learning）文本分类算法,本文在研究kNN算法的基础上,结合k邻近法和最近特征线法的思想,提出了新的分类方法,k最近特征线法（k nearest feature line,kNFL）,将其运用于文本分类中,汲取了kNN算法和NFL算法的优点,降低了偶然误差,提高了算法适应性和分类精度。     

基于SVM的分类方法综述

本文介绍了文本分类的起源,常用的几类文本分类方法及基于SVM(Support Vector Machines)文本分类的基本原理和方法。并在分析文本分类的特点的基础上比较了在文本分类中应用SVM的优势及存在的问题。最后总结出了SVM在文本分类中应用的两个主要研究方向。     

基于K-近邻方法的网络信息文本分类

提出了一种网络信息文本分类模型的建立方法。根据网络报文的特点,抽取其中关键词作为分类特征词条,并以报文关键词进行词频统计分析建立文本分模型。分别进行了基于最近邻决策和K-邻近决策的分类效果试验研究,结果显示：K-近邻决策的分类效果要优于最近邻决策的分类效果。     

三种文本分类算法的比较

介绍了一种基于贝叶斯定理的文本分类模型“树桩网络（stump network）”。将该方法与朴素贝叶斯文本分类器和TAN（tree augmented naive bayes）文本分类器进行实验比较。结果表明,在大多数数据集上该文本分类方法具有较好的分类正确率。     

中文全文数据库使用中的问题及对策

从数据库的收录范围、数据库结构、检索效果和检索平台4个方面对我国全文数据库目前存在的主要问题进行了分析，并提出了解决问题的方案，具体内容包括：制定完善的数据库标准规范、建立高效率的后控制词表和培养高素质的标引人员等。     

不同情境下中文文本分类模型的表现及选择

针对中文文本分类任务中N-Gram,素贝叶斯、K最近邻和TF-IDF等经典而广泛使用的文本分类模型的选择困惑问题,基于万余篇中文新闻文本语料数据,设计了一系列的对比实验,考察了各模型在不同参数、不同训练数据规模、不同训练文本长度、类别是否偏斜等多种情境下分类性能的表现,总结了各模型的特性,为中文文本分类模型的选择和应用提供了实践依据和参考.     

改进的基尼指数在文本分类中的应用研究

随着网上信息的极大丰富,文本分类技术显得越发重要,且预处理技术已成为文本分类的瓶颈.在预处理中采用TF-IDF算法,并且根据基尼指数的纯度原理对传统的基尼指数方法进行了基尼指数测度函数的改进,以降低原始文本的特征选择空间的维数.通过对比实验数据,表明这种改进是可行且有效的,体现在时间、空间复杂度小,精确度高.     

文本信息检索的代数模型综述

为了比较各类模型的性能,研究进一步改进文本信息检索各类模型的可能方法,综合已有的试验和研究报告,概述了文本信息检索模型中一类模型——代数模型概念和研究现状,并分析了目前文本信息检索的相关性、相似度、召回率、准确率等概念。结果表明,这几个模型尽管来源于神经网络、向量空间等不同的思想,广义向量空间模型、潜在语义标引模型的计算复杂度比向量空间模型高,但此类模型依据评测在准确率和召回率上相近,经典向量空间模型相对而言,有简单、复杂度低和可作为检索框架,而不仅仅是检索模型的特点。为便于研究者研究、改进、评测信息检索的代数模型,评价了权威的TREC(The Text Retrieval Conference)和两个代表性的研究系统Smart和Lemur。