基于LDA的文本分类算法

LDA可以实现大量数据集合中潜在主题的挖掘与文本信息的分类,模型假设,如果文档与某主题相关,那么文档中的所有单词都与该主题相关.然而,在面对实际环境中大规模的数据,这会导致主题范围的扩大,不能对主题单词的潜在语义进行准确定位,限制了模型的鲁棒性和有效性.本文针对LDA的这一弊端提出了新的文档主题分类算法gLDA,该模型通过增加主题类别分布参数确定主题的产生范围,提高分类的准确性.Reuters-21578数据集与复旦大学文本语料库中的数据结果证明,相对于传统的主题分类模型,该模型的分类效果得到了一定程度的提高.     

文本分类技术在搜索引擎中的应用

简述了搜索引擎的概念,对其工作原理、性能指标等做了简要介绍。在现有搜索引擎工作机制的基础上,提出将文本分类和特征抽取技术应用到搜索引擎系统中以提高检索质量,并对该系统的设计思想、关键技术及可行性进行了讨论。     

文本分类技术在信息检索中的应用

本文研究的内容是信息检索领域里的文本分类问题。文本分类可以在较大程度上解决信息杂乱的现象,同时它也为信息检索提供了更高效的搜索策略和更有效的搜索结果。     

基于自然语言理解的文本标图系统设计与实现

提出和实现了一套基于自然语言理解的军用文书到标绘图智能转换的解决方案。文本标图系统通过标绘信息提取模块和军标标绘模块,针对军事文本标图的需求和汉语的特点,由计算机在自然语言理解的基础上对作战文书文本进行分析、理解、提取标绘信息、自动标图作业,最后生成战场态势图。该系统完成了军事标图作业和文书处理的手工作业向机器作业的转换,提高了指挥作业的速度和效率。     

面向化学领域网络资源的文本自动分类算法

为了提高化学主题搜索引擎的查询效果,采用距离加权k-近邻分类算法来进行自动分类.为了测试该算法对化学领域网络资源进行分类的效果,文中使用化学化工资源导航系统ChIN人工积累的资源和描述信息作为数据集,并采用基于化学领域的多层次分类体系进行分类.经测试,系统微平均值Fmicro最高可达到71%.文中还就文档的关键词和数据集的熵对分类性能的影响进行了讨论.结果表明,该算法能较好地应用于化学领域网络资源的自动分类.     

基于文本句法的文本生成模型

本文引用语言学及符号学理论，综合自然语言文本生成所涉及的知识，构造了计算机文本生成的理论模型；探讨文本句法中的微观整合性和宏观整合性以及它们对文本生成的作用。这个以文本结构模型和文本意义模型为主体的文本生成理论框架，为进一步的计算机语言生成研究提供了方法依据。     

基于量子行为的粒子群优化算法的文本主题挖掘和分类算法研究

本文首先介绍了文本分类算法,并针对基本粒子群算法在收敛性能上的缺陷, 提出了具有量子行为的粒子群优化算法, 把它应用于文本主题挖掘和文本分类. 实验结果显示,这种文本分类方法和基本粒子群算法比较, 提高了文本分类的准确率、召回率, 具有很好的性能.     

基于LS-SO算法的情感文本分类方法

首先, 基于点互信息与信息检索(PMI IR)算法, 提出一种Laplace平滑情感判定(LS-SO)算法, 对情感词典与表情符号情感词典进行自动扩充, 得到了具有一定规模、 高质量的情感词典, 包括基础情感词典、 目标情感词典、 网络用语情感词典、 表情符号情感词典、 否定词词典、 疑问词词典、 程度副词词典和连词词典. 其次, 通过细化文本语义分析规则计算文本情感值. 实验结果验证了该方法的有效性.     

Boosting算法在文本自动分类中的应用

随着网络信息的迅猛发展，如何快捷、准确地识别和获取有用信息显得更为重要。文本自动分类系统是信息处理的重要研究方向，它是指在给定的分类体系下，根据文本的内容自动判别文本类别的过程。Boosting算法是一种新兴的机器学习算法。在文本分类中应用Boosting算法经过试验证明是有效的，并且优于目前的大多数分类算法。     

一种基于Agent-NB的文本分类模型和算法

针对基于内容的文本分类问题,提出了一种Agent与朴素贝叶斯分类(Naive Bayes)相融合的反馈分类模型和算法(Agent-NB).朴素贝叶斯分类是一种简单而有效的文本分类方法,然而有限大小的训练样本集,一般不具备良好的数据完备性,难以一次性构造出高性能的分类模型.基于Agent-NB的反馈分类模型,可结合Age...     

基于领域本体的个性化文本信息检索

为了解决传统检索技术无法为用户提供个性化服务和检索效率低的问题,提出了一种基于领域本体的个性化文本信息检索模型,阐述了该模型的结构和关键算法,并验证了算法的可行性。实验结果表明:基于领域本体的个性化文本信息检索能有效提高信息检索的准确率和效率。     

基于粗糙KNN算法的文本分类方法

在文本分类中,数据规模过大或文本分布不均匀对传统KNN算法的准确率和效率具有重要影响。为了解决该问题,文章提出一种基于粗糙KNN(k-nearest neighbor)算法的文本分类新方法。首先引入粗糙集中的上下近似概念定义各类文本的上下近似空间,将文本向量空间分为核心和混合2大区域;然后改进传统KNN算法的隶属度函数;再针对不同的文本区域,采取差异化的分类策略以提高分类的效率和准确率。实验表明,基于粗糙KNN算法的文本分类方法在提高分类准确率的同时,分类的效率也有很大提高。     

基于投影寻踪的kNN文本分类算法的加速策略

传统的k近邻(k-nearest neighbors,kNN)文本分类中,由于文本被表示成向量空间模型后维数非常高,且训练文本的数目巨大,kNN分类算法通常被视为是一种虽然有效,但并非高效的文本分类算法。针对传统kNN分类算法效率低下的问题,提出了一种基于投影寻踪思想的kNN分类算法加速策略。基本思想是:通过投影的方法缩减训练集的规模,同时在寻找k近邻过程中对文本进行降维处理,从两方面着手降低算法的计算开销。实验数据表明,优化后的kNN算法比传统kNN算法在时间性能上有较大的提升,同时保证了分类的精度。     

基于不完备信息系统的文本分类研究与应用

在文本分类中,文本特征向量通常高达几千甚至上万维,给整个分类过程带来了相当庞大的计算量,因此进行有效的降维处理是非常重要的.在不完备信息系统理论的基础上,结合文本分类的特点,提出了一种量化容差关系和启发式的属性约简算法.实验证明该属性约简算法不仅能有效地降低文本特征向量的维度,同时能保证分类的正确率.     

基于不完备信息系统的文本分类研究与应用

在文本分类中,文本特征向量通常高达几千甚至上万维,给整个分类过程带来了相当庞大的计算量,因此进行有效的降维处理是非常重要的。在不完备信息系统理论的基础上,结合文本分类的特点,提出了一种量化容差关系和启发式的属性约简算法。实验证明该属性约简算法不仅能有效地降低文本特征向量的维度,同时能保证分类的正确率。     

An enhanced text categorization method based on improved text frequency approach and mutual information algorithm

Text categorization plays an important role in data mining. Feature selection is the most important process of text categorization. Focused on feature selection, we present an improved text frequency method for filtering of low frequency features to deal with the data preprocessing, propose an improved mutual information algorithm for feature selection, and develop an improved tf.idf method for characteristic weights evaluation. The proposed method is applied to the benchmark test set Reuters-21578 Top10 to examine its effectiveness. Numerical results show that the precision, the recall and the value of F1 of the proposed method are all superior to those of existing conventional methods.     

An enhanced text categorization method based on improved text frequency approach and mutual information algorithm

Text categorization plays an important role in data mining. Feature selection is the most important process of text categorization. Focused on feature selection, we present an improved text frequency method for filtering of low frequency features to deal with the data preprocessing, propose an improved mutual information algorithm for feature selection, and develop an improved tf.idf method for characteristic weights evaluation. The proposed method is applied to the benchmark test set Reuters-21578 Top10 to examine its effectiveness. Numerical results show that the precision, the recall and the value of F1 of the proposed method are all superior to those of existing conventional methods.     

基于双通道融合和BiLSTM-attention的评论文本情感分类算法

对在线商业评论文本的情感进行挖掘,融合评论文本不同特征为分类器提供更多的信息量,提出了一种新的在线电商情感分类算法。首先,针对传统词嵌入模型无法很好地融合词语情感信息特征的不足,考虑了词嵌入特征和词性特征的多特征融合方法;其次,在两种特征融合方法的基础上采用了双通道和单通道的对比来比较分类的准确性,提出了并行的CNN和BiLSTM-Attention双通道神经网络模型;最后,使用真实的京东电商评论数据集对所提模型进行了评估,并且在实验中与不同分类算法进行对比。实验结果表明,新的混合方法具有更好的分类准确率、召回率和F1指标。     

基于改进K最近邻算法的中文文本分类

针对文本分类存在的高维文本问题,提出文档频率(DF)-卡方统计量特征提取方式,对特征项进行有效约减,降低文本维度,提高分类精度.在K最近邻(KNN)算法的基础上,针对待分类文本需要和大量训练集样本进行相似度计算的问题,提出一种基于分组中心向量的KNN算法,对类别内的样本集分组求出各组中心向量,使其重新代表训练库计算相似度,降低计算复杂度,提升算法的分类性能.通过实验表明:相较传统KNN算法,改进的算法在准确率、召回率及F值方面都有提升,与其他分类算法相比,具有一定的优势.     

基于双通道融合和BiLSTM-attention的评论文本情感分类算法

对在线商业评论文本的情感进行挖掘,融合评论文本不同特征为分类器提供更多的信息量,提出了一种新的在线电商情感分类算法。首先,针对传统词嵌入模型无法很好地融合词语情感信息特征的不足,考虑了词嵌入特征和词性特征的多特征融合方法;其次,在两种特征融合方法的基础上采用了双通道和单通道的对比来比较分类的准确性,提出了并行的CNN和BiLSTM-Attention双通道神经网络模型;最后,使用真实的京东电商评论数据集对所提模型进行了评估,并且在实验中与不同分类算法进行对比。实验结果表明,新的混合方法具有更好的分类准确率、召回率和F1指标。