An enhanced text categorization method based on improved text frequency approach and mutual information algorithm

Text categorization plays an important role in data mining. Feature selection is the most important process of text categorization. Focused on feature selection, we present an improved text frequency method for filtering of low frequency features to deal with the data preprocessing, propose an improved mutual information algorithm for feature selection, and develop an improved tf.idf method for characteristic weights evaluation. The proposed method is applied to the benchmark test set Reuters-21578 Top10 to examine its effectiveness. Numerical results show that the precision, the recall and the value of F1 of the proposed method are all superior to those of existing conventional methods.     

改进的简单贝叶斯文本分类

对简单贝叶斯分类中的条件概率加权因子进行了改进,引进了体现词语分类贡献大小的类别区别度,新的加权方法为频率与类别区别度的乘积,既强调了区别度高的词语,降低了常见词的影响,又体现了区别度高的词语频次的积极作用.实验证明,在约3万篇测试集上(共15个大类,244个小类),该改进比原来的加权方法提高了分类效果:大类和小类微平均分别提高了约18.9%和7.6%.     

iRIPPER——一种改进的基于规则学习的文本分类算法

基于规则学习的文本分类算法RIPPER具有易理解、易优化、高效率等特点,但是当规则所涉及的特征项很多的时候,上述优点不复存在。基于层次的规则学习算法hRIPPER采用了层次架构对RIPPER进行了改进,但其对特征项的过滤仍然有限。针对RIPPER,hRIPPER在规则学习过程中出现的问题,对规则学习的分类算法进行改进,提出了一种改进的基于规则学习的文本分类算法iRIPPER,在规则学习的同时进一步过滤噪音特征项。实验证明,该方法不但有效地提取了特征项,生成较少的规则,提高了算法的准确率和召回率,而且缩短了生成规则的时间,从而改进了规则学习分类算法的性能。     

基于LSA降维的KNN文本分类算法

针对文本自动分类问题,提出了一种基于LSA降维的KNN改进算法.通过对文本特征向量运用LSA理论进行降维处理,可以有效提高KNN算法的运行效率,提高分类精度.实验证明,改进的KNN算法具有很好的性能.     

基于互信息的文本自动摘要

现有的文本自动摘要技术大多是运用向量空间模型将文本作为一个整体进行处理,忽略了段落及段落之间的关联程度,导致提取的摘要不能够全面反映所包含的主题,针对这一问题,文章提出了基于互信息的文本自动摘要方法。该方法利用互信息对文本中词语、句子及段落之间的关联程度进行计算,依据关联程度将整个文本划分成包含不同主题的较小单元,并针对每一单元运用优化的句子权重计算方法进行主题句提取,然后利用主题句生成文本摘要。实验验证了方法的有效性,在自动摘要提取方面取得了良好效果。     

基于最大熵的文本分类算法的改进

基于最大熵模型的文本分类算法对不同测试文档的训练结果相差较大.利用Boosting机制改进基于最大熵模型的分类算法,以提高该分类算法的稳定性.实验结果表明,该改进方法可以有效改善基于最大熵模型分类算法的稳定性,且分类精度也有一定的提高.     

一种基于VSM文本分类系统的设计与实现

阐述了一个基于改进向量空间模型的中文文本分类系统的设计与实现 ,包括对该系统的结构、预处理、特征提取、训练算法 ,分类算法等关键技术的介绍 .通过引入结构层次权重系数来改进文本特征项权重 ,同时提出一种新的训练算法和文本相似度域值计算方法 .实验结果证明 :该分类系统能有效地提高文本分类效果 ,开放性测试的平均准确率在 80 %以上 ,且平均查全率达到了 86 % .     

基于机器学习的Web文本分类技术及算法

提出了一种基于机器学习的Web文本自动分类的信息检索解决方案。采用层次约束法完成文本自动抓取功能,文本频度与词条频度相结合的文本特征选择算法实现特征提取,并采用特征加权技术进一步提高文本分类性能。该算法不仅实现中文文本的自动分类,有效地提高Web信息检索的精度,而且能大大降低人工二次浏览筛选的工作量,还可用于电子政务和电子商务信息的自动分类。     

一种改进的基于同义词替换的中文文本信息隐藏方法

通过深入分析当前针对中文的基于同义词替换的自然语言信息隐藏算法，发现由于存在大量不完全可替换的同义词词组，经过同义词替换后可能会破坏句子的语义一致性，针对这一缺点，提出了一种改进的基于同义词替换的中文文本信息隐藏算法，该算法利用知网对同义词词组进行分类，对于不完全可替换的同义词词组，通过依存句法分析来获取同义词的上下文搭配词语，根据搭配词语判断是否进行替换，实验结果表明，该算法能有效地排除错误的同义词替换，替换的准确率达到89.1％。     

基于频域的图像增强技术的改进算法

在传输有限的情况下完成图像压缩传输,针对处理后的图像的主观视觉质量较差和低对比度下处理效果不佳的问题,本文提出了一种改进的基于DCT域块分类的CES图像增强算法。改进后的CES算法基于对图像块分类,对每个图像块判定类别,针对平滑块、纹理块、边沿块,分析图像块交界处块效应产生的原因并根据图像块背景特点,结合原CES算法并改进,对不同类型图像块采取合适的改进的图像增强算法,达到图像增强的目的,提高图像的主观视觉质量。仿真结果表明,改进的算法,以牺牲一些算法计算复杂度,针对纹理块和边沿块获得很好的图像增强效果同时,能够最大限度的抑制块效应,大大的提高了图片的视觉效果。     

基于互信息扩散蚁群算法的短波频率优化指配

为提高求解不对等短波网络频率指配问题的速度和效果,基于邻近短波通信频率区域覆盖近似的特点,采用互信息系数描述其近似程度,提出了互信息扩散蚁群算法.蚁群根据当前用频方案的覆盖效果对方案中台站频率组合释放信息素的同时,依据邻近频率的覆盖近似程度即互信息系数对未被选择的台站频率组合进行信息素扩散释放,其效果相当于增加蚂蚁数目以增大对最优解的搜索概率,从而用较短的时间获得更好的解.仿真实验表明:改进算法比常规ACS算法及GA算法在求解问题的效果和速度方面都有较大提高.     

一种基于互信息的粗糙集知识约简算法

针对粗糙集理论核心内容之一的知识约简问题,该文提出了一种改进的互信息的属性约简算法。该算法结合信息论中信息熵与互信息的概念定义了粗糙集里的一种新的属性重要度,并以此属性重要度为启发式信息进行属性约简。实验分析表明:在大多数情况下,该种算法都能够得到决策表的最小约简。     

基于特征词匹配的政策文本分类算法研究与实现

在基于特征词遍历匹配的文本分类算法中,字符串匹配算法的选取及相似度阈值控制对文本分类结果起着决定性的作用。针对三种常用的字符串匹配算法做了分析及对比实验,选取了最适合政策文本分类的一种字符串匹配算法。并通过研究政策文本具有的特征提出了一种基于特征词加权的相似度阈值计算方法,经实验证明相似度阈值符合分类要求。     

基于地图地理信息点的数据融合算法的改进

地图地理信息点的数据描写值滞留在数据的表面级上,数据间缺少必需的相关性和匹配性,从而直接影响用户访问信息的速度和效率,该文提出了一种基于地图地理信息点的数据融合算法(DFGI)。该算法在计算语义相似度的基础上,增加地理信息之间的经纬度距离,以判决地理信息数据之间的相融性,实现地理信息数据之间的目标匹配,提高了单纯相似度匹配不准确的问题。通过实验结果与实际值比较,证明了该算法的有效性,并且能提高地理信息的匹配效率,减少误差值。     

基于信息提取的面向行业应用文本分类算法

目前,传统文本分类算法都是脱离自然语言语意的.该文使用信息抽取进行了中文文本分类的研究,提出了补偿式信息抽取的主题文本分类算法(CIETC),通过分类补偿文档属性,达到行业文档分类的目的.实验中,以将关于一个人名的所有网络文档自动分类为例,验证了这种面向行业的CIETC分类器的分类性能.结果表明该方法的分类准确率要优于Bayes方法,与KNN方法相当;该方法是一种可行的面向行业细分文本分类方法.     

一种改进的文本特征选择方法

随着Internet技术的飞速发展,网页上存在着各种各样、类目繁多的信息,因此网页分类技术就显得越来越有意义。本文使用向量空间模型（VSM）来表示网页文本,提出了一种改进X2的文本特征选择方法,最后通过支持向量机方法进行分类。实验结果表明,相对于传统的X2文本分类统计方法,改进后的特征选择方法的分类效果要好于传统的X2统计方法。     

基于改进蚁群算法的高精度文本特征选择方法

为了反映特征子集对分类结果的整体影响,去除噪声特征项,提出了一种基于改进蚁群算法的高精度文本特征选择方法。建立了特征选择数学模型,实现了特征选择过程与分类器分类过程间的直接关联;设计了特征优选与特征精选相结合的模型求解方案,降低了模型求解过程中的计算复杂度;提出了基于等效路径增强和局部搜索更新相结合的改进蚁群算法,提高了解的质量和稳定性。实验结果表明,与现有文本特征选择方法相比,该方法能大幅提升分类精度。     

一种基于互信息最大化的Raptor码优化设计方法

Raptor码通过级联预编码可以很好地改善错误平层问题,但编译码的复杂度相对较高。为了降低级联Raptor码的复杂度,提出一种基于互信息最大化的Raptor码优化设计方法。该方法基于外部信息转移图的渐进收敛分析,从最大化互信息的角度出发,得到有限迭代次数约束下的校验节点度分布的数学模型。仿真结果表明,当译码迭代次数一定时,基于互信息最大化设计的Raptor码与码率最大化设计的Raptor码相比,具有更好的误码性能。     

基于演化超网络的中文文本分类方法

为了提高中文文本的分类效果,提出了一种基于演化超网络的中文文本分类方法.采用中国科学院计算技术研究所的汉语词法分析系统对中文文本进行分词,保留文本中的名词、动词和形容词作为特征;以X2统计方法进行特征选择;利用布尔权重计算特征权值.经处理后的特征向量作为系统的训练集和测试集数据.运用超边替代策略训练超网络分类模型,并实现对测试集特征向量的分类.对不同阶数设定下的演化超网络模型进行了性能分析,并将其与传统的KNN和SVM算法进行了比较.结果表明,本方法对复旦大学语料和搜狐语料可获得87.2％和72.5％的宏识别率、86.9％和70.5％的宏召回率、87.0％和71.5％的宏F1,接近或优于KNN和SVM分类方法.所提出的方法是一种有效的中文文本分类手段.     

基于模糊聚类的文本分类研究

文本分类是指在给定分类体系下,根据文本的内容自动确定文本类别的过程。如何快速地整理海量信息,对不同的文本进行有效分类,已成为获取有价值信息的瓶颈。本文用模糊聚类分析的方法对文本进行分类,较好地解决了信息的实时分类问题,在实践中收到了良好的效果。