一种基于改进TF-IDF函数的文本分类方法

为了解决传统TF-IDF函数由于忽略特征项之间的联系带来的诸多问题,对TF-IDF函数在文本分类中的应用进行了研究.结合信息论相关知识,找出了类间分布度和类内分布度表征特征项之间的潜在关系,进而提出改进的TF-IDF函数用于文本分类.实验表明,改进后的TF-IDF函数是有效可行的,而且较好的弥补了传统方法所丢失的特征项之间的关联信息,提高了文本分类的准确率.     

中文网页体裁分类特征项的权值调整策略

研究了中文网页体裁分类的特征项选取问题及权重计算方法,探讨不同特征空间对体裁类别的判别能力问题,给出了一种评价方法。据此,提出一种特征项的权值调整策略,实验结果验证了该方法的有效性。     

搜索引擎中的文本分类方法研究

文本分类技术在搜索引擎中有很重要的用途,本文简要分析了文本分类的评估方法,应用于搜索引擎的分类过程,重点介绍了现行的文本自动分类方法,包括经典算法和新算法以及未来的发展趋势。     

基于两步策略的英文文本分类

提出了基于两步策略的3种多类多标签英文文本分类方法:①以贝叶斯为分类器,以抽取词根的单词和未抽词根的单词分别作为第一、第二步使用特征的两步方法;②以贝叶斯和决策树分别为第一、第二步使用分类器的两步方法;③以ID 3、C 4.5和贝叶斯的组合分类器对部分特定类别进行分类,然后对余下类别采用方法②进行二次分类的混合两步方法。实验表明,3种方法中方法③具有最好的性能。     

基于粗糙集理论和BP神经网络的文本自动分类方法研究

结合粗糙集的属性约简和神经网络的分类机理,提出了一种混合算法. 首先应用粗糙集理论的属性约简作为预处理器,把冗余的属性从决策表中删去,然后运用神经网络进行分类. 这样可以大大降低向量维数,克服粗糙集对于决策表噪声比较敏感的缺点. 试验结果表明,与朴素贝叶斯、SVM、kNN传统分类方法相比,该方法在保持分类精度的基础上,分类速度有明显的提高,体现出较好的稳定性和容错性,尤其适用于特征向量多且难以分类的文本.     

一种基于TAN的文本分类方法

提出了一种基于TAN模型的文本分类方法，朴素贝叶斯分类器是当前流行的一种文本分类算法，但是它的属性独立性假设使其无法表达文本词语之间的依赖关系，TAN（Tree Augmented Naive Bayes）是综合了朴素贝叶斯的简易性以及贝叶斯网表示依赖关系的能力，其分类性能可与当前流行的一些分类器相竞争，介绍了TAN模型，将其引入到文本分类中，并用实验比较了朴素贝叶斯和TAN，实验结果表明：该方法具有较好的分类性能。     

基于测试分类精度的多分类器融合方法

本文分析了影响分类器精度的因素,并提出了三种基于在测试例集上分类表现效果的多分类器融合方法.这三种方法的基本思想是:当使用多个分类器对未标注文本进行分类时,最终输出在测试例集上表现最好的那个分类器的结果.实验结果表明,这三种融合方法从一定程度上提高了分类器精度.     

一种改进的基于VSM的文档快速分类方法

改进了传统的VSM文档分类方法,提出了一种改进的基于VSM的文档快速分类方法。它考虑了禁用词的排除、近义词和同义词的合并以及特征项在文档中不同位置对文档分类的贡献不同,并提出了训练文档分层的方式来减少分类计算量的方法。     

中文文本分类特征选择的研究

文本分类特征选择是文本自动分类中首先要解决的重要问题。主要介绍了11种文本分类特征选择的方法,并选择其中的4种进行实验分析。实验结果说明：好的特征选择,对于提高文本分类的效率和效果至关重要。     

一种改进的朴素贝叶斯分类器在文本分类中的应用研究

文本分类是数据挖掘领域中重要的研究分支.通过对自适应遗传算法和朴素贝叶斯分类器的研究,提出一种基于自适应遗传算法的朴素贝叶斯分类算法.将该算法应用于中文文本分类中,可以生成最优贝叶斯分类器及最优属性集合,提高分类精度.     

基于尾项加权的自适应文本分类方法研究

基于朴素贝叶斯分类框架,通过添加尾项值对部分严重扭曲的分类结果进行调整,达到提升分类器性能的目的.方法通过增量式自适应学习分类模式,根据历史结果,判断分类器分类质量,进而确定尾项添加区间,对明显产生分类扭曲的区间结果自适应添加尾项补偿,调整分类结果.在Trec05,Trec06,Trec07,Ceas08数据集上的对比实验表明,改进算法在accuracy,Macro F1两个指标上均比朴素贝叶斯分类器和bagging朴素贝叶斯分类器显著提高,且方法简单易行.     

基于半监督学习的短文本分类方法

随着万维网的快速普及和发展,Web上出现了大量短文本,如科技文献摘要、微博和电子邮件等.短文本内容短小,相互联系,已标注数据获得困难,导致传统分类方法很难取得较高的分类精度.为了解决短文本分类问题,提出了一种基于半监督学习的迭代分类算法(SS-ICA).它使用较少的已标记数据,利用短文本间的关系进行迭代分类.通过与常用分类方法进行对比表明,在标注数据较少的情况下SS-ICA比其他分类器有更高的分类精度.     

基于文本内容的超链接分类研究

针对目前网页分类以及相关研究的问题，提出了基于文本内容的超链接分类思想，为下一步进行信息抽取、话题追踪等互联网信息应用研究做了更好的准备．通过对特定领域内应用两种分类方法对其进行对比研究，取得了较好的效果．     

基于文本挖掘的投诉热点智能分类

投诉识别系统在保证热点投诉正确分类、提高电信行业的服务质量中起到很重要的作用.由于电信行业的客户投诉有其特殊性,所有的投诉必须在很短的时间内分类完成,从而往往会发生导航分类错误的现象.提出了一套基于文本挖掘的模型,该模型能够智能地将热点投诉分类到正确的投诉导航上去.实验表明:该模型能够有效地进行投诉文本分类.     

基于双向长短期记忆网络和标签嵌入的文本分类模型

提出了一种基于双向长短期记忆网络和标签嵌入的文本分类模型。首先利用BERT模型提取句子特征,然后通过BiLSTM和注意力机制得到融合重要上、下文信息的文本表示,最后将标签和词在联合空间学习,利用标签与词之间的兼容性得分对标签和句子表示加权,实现标签信息的双重嵌入,分类器根据给定标签信息对句子进行分类。在5个权威数据集上的实验表明,该方法能有效地提高文本分类性能,具有更好的实用性。     

基于随机森林的文本分类模型研究

随着WWW的迅猛发展，文本分类成为处理和组织大量文档数据的关键技术．随机森林模型是决策树的集成，并且由一随机向量决定决策树的构造．当森林中的决策树的数目增大，随机森林的泛化误差将趋向一个上界．将随机森林模型应用于文本分类，在Reuter21578数据集上的实验表明，分类效果比较好，性能比较稳定，将共同C4．5，KNN，SM0，SVM4种典型的文本分类器进行了比较，结果显示它的分类性能胜于CA．5，同KNN，SMO和SVM方法相当．     

基于Web的新闻文本分类技术的研究

从Web新闻网页中挖掘出有用的知识是当前研究的热点问题,将Web新闻网页进行解析,在此基础上进行Web新闻文本分类处理,可在一定程度上解决此问题.针对Web新闻网页的结构特点,提出了基于Web的新闻文本分类系统的实现框架.实验结果表明,基于KNN算法的分类系统具有较好的分类效果.     

基于词矢量相似度的短文本分类

互联网中出现的短文本内容短小,相互共享的词汇较少,因此在分类过程中容易出现大量的集外词,导致分类性能降低。鉴于此,提出了一种基于词矢量相似度的分类方法,首先利用无监督的方法对无标注数据进行训练得到词矢量,然后通过词矢量之间的相似度对测试集中出现的集外词进行扩展。通过与基线系统的对比表明,该方法的分类正确率均优于基线系统1%~2%,尤其是在训练数据较少的情况下,所提出的方法的正确率相对提高10%以上。     

基于卷积神经网络的多通道特征表示文本分类模型

尽管长短期记忆网络(long short-term memory,LSTM)、卷积神经网络(convolutional neural network,CNN)及其结合体在文本分类任务中取得了很大的突破.但这类模型在对序列信息进行编码时,往往无法同时考虑当前时刻之前和之后的状态,从而导致最后分类效果不佳.此外,多版本预训...     

一种基于相对特征的文本分类算法

针对文本分类问题,将朴素贝叶斯分类与自组织特征映射网络分类相结合,提出了基于相对特征的文本分类算法.该算法具有很快的速度和较高的准确率,从而为构建高效的搜索引擎提供支撑.