基于两步策略的文本分类方法实验研究

已知朴素贝叶斯分类器使用两步策略的分类方法提高了两类中文文本分类的效率,本文在此基础上,研究3个问题:①可以使用两步策略分类方法的分类器须满足的条件;②3种理论上可用两步策略进行文本分类的分类器;③实验比较Rocchio、朴素贝叶斯、KNN 3种分类器两两组合后应用于多类英语文本分类的效果.实验结果表明:Rocchio...     

一种基于特征置换的朴素贝叶斯分类器

朴素贝叶斯分类方法是一种广泛使用的分类算法,在独立性假设不完全满足的情况下计算效率和分类效果均较为理想.通过分析全局特征向量中各特征与类别属性之间的联系,提出将组合特征置换多源特征,用组合特征的共现率对多源特征进行概率调整的新方法,在不同数据集的实验中,调整后的朴素贝叶斯分类器(FRNB)的分类精度均好于传统朴素贝叶斯分类器.测试结果表明,改进后的算法是有效可行的.     

关系学习中贝叶斯分类算法的比较研究

数据分类是数据挖掘的主要内容之一,通过分析训练数据样本,产生关于类别的精确描述.贝叶斯分类是数据挖掘领域中一种常用的有效分类方法.在关系学习中,贝叶斯分类算法有很多种,对这些算法进行总结、比较,指出其优点与不足,对提高分类效率有很大帮助.本文对已有的关系学习中贝叶斯分类算法作了详细的比较,并进行归纳总结.在单关系学习中重点介绍了几种基于粗糙集的贝叶斯分类器和加权贝叶斯分类算法,并分析了各种方法的模型、权值确定方法、优缺点及进一步工作方向.在多关系学习中主要比较了几种基于语义关系图的贝叶斯分类算法,重点介绍了MI-MRNBC模型.最后对本文工作进行了总结与展望,提出进一步工作方向是研究基于粗糙集的多关系贝叶斯分类算法.     

基于贝叶斯分类器的图像分类

通过对朴素贝叶斯分类器的讨论, 提出将贝叶斯方法应用于医学图像分割后的图像分类思想. 给出一种基于朴素贝叶斯分类器的图像分类方法, 对从尿沉渣图像中识别出的微粒进行正确分割及特征提取与选择, 并利用朴素贝叶斯分类器进行分类. 实验结果表明, 所提出的方法用于解决图像分类有效.     

基于多重假设检验市长公开电话文本的自动分类

提出一种基于多重假设检验的特征加权朴素贝叶斯分类算法, 该算法通过特征选择方法得到多个特征词集合, 再按多重假设检验错误率为每个特征词集合配以不同的权重系数并参与到分类器的构建中. 该方法已经应用到市长公开电话的文本分类中, 通过构建的3个特征加权朴素贝叶斯分类器实现了投诉文本的计算机自动分类, 且相对传统方法提高了分类器的效率和精度.     

基于关联的自适应分类规则挖掘方法

讨论了对分类规则的挖掘采用基于关联的分类方法.关联分类规则挖掘方法主要包括两大处理步骤:第一步利用分类关联规则挖掘算法挖掘出有关的分类关联规则;第二步就是基于所挖掘出的分类关联规则构造一个分类器.详细介绍了该方法的实现算法和部分数据结构.     

一种基于贝叶斯方法的多分类器组合优化算法

提出了一种基于贝叶斯方法的多分类器组合优化算法和阈值改进方法。首先,计算分类器对各个类别的置信度。然后,以各分类器的置信度为先验概率,采用向量求和将各分类器的先验概率向量进行组合,得出最终输出向量,最后通过优化阈值提高综合分类器识别精度。在此后的实验数据表明:该算法具有方法简单、运算速度快、分类精度高等优点。     

基于贝叶斯方法的中尺度对流系统移动方向研究

在朴素贝叶斯分类的基础上建立了一种增强型分类器系统，并在对1997～2002年夏季青藏高原上MCS(Mesoscale Convective System)进行自动追踪的基础上，对MCS的移动方向与其周边环境物理量场的分布特征进行了分类研究.进而，将分类结果与决策树、人工神经网络分类方法进行了比较.研究表明，与其他分类方法相比，使用增强型的贝叶斯分类器预测MCS的移动路径具有较好的效果，这为揭示高原上MCS的移动规律、提高长江中下游地区灾害天气预报的准确率提供了一种有效的方法.     

微博中个人与非个人用户分类方法研究

分别利用用户名和微博文本对个人与非个人两种用户类型进行判别,并对不同的特征(例如:字特征、词特征等)进行研究分析;其次,在针对用户名和微博文本的两个分类器的基础上,使用贝叶斯融合方法进行分类器融合,充分利用两种文本分类信息同时进行用户类型判断。实验结果表明此方法可以达到较高的识别准确率,并且分类器融合方法明显优于仅利用用户名或者微博文本的分类方法。     

采用类别相似度聚合的关联文本分类方法

针对基于关联规则的分类方法在分类时仅考虑规则的置信度并使用规则修剪技术,导致分类器的分类精度难以进一步提高的问题,提出了一种基于类别相似度聚合的关联文本分类方法.该方法采用修改的χ2统计技术提取各类别的特征词;为保证规则匹配的精度和速度,使用CR-tree存储分类规则,并给出了CR-tree的构建与匹配算法;采用向量内积来计算文本类别分量与类别标志向量的相似度,进而使用规则置信度和类别相似度的聚合值作为文本分类的依据.基于实际网络文本的实验表明,该方法仅需提取30个特征词,分类结果的微平均值即可达到92.42%,优于未经剪枝的ARC-BC分类器及KNN、Bayes分类器;在分类耗时方面,该方法与未经剪枝的ARC-BC分类器持平,表明该方法引入的相似度与聚合值的计算开销在可接受的范围内.     

基于属性相关的朴素贝叶斯分类算法

朴素贝叶斯分类器是一种简单、高效的分类算法,它以贝叶斯定理和最大后验假设为理论基础,然而朴素贝叶斯分类器属性之间相互独立的假设,影响了朴素贝叶斯分类器的性能.提出先使用基于相关的属性选择算法进行属性选择,然后在选择的属性集上,用朴素贝叶斯分类器对数据集进行分类.实验证明,与未使用属性选择的实验结果相比,使用基于相关的属性选择算法进行属性选择后,朴素贝叶斯分类器平均分类正确率提高,分类效率显著提升.     

基于尾项加权的自适应文本分类方法研究

基于朴素贝叶斯分类框架,通过添加尾项值对部分严重扭曲的分类结果进行调整,达到提升分类器性能的目的.方法通过增量式自适应学习分类模式,根据历史结果,判断分类器分类质量,进而确定尾项添加区间,对明显产生分类扭曲的区间结果自适应添加尾项补偿,调整分类结果.在Trec05,Trec06,Trec07,Ceas08数据集上的对比实验表明,改进算法在accuracy,Macro F1两个指标上均比朴素贝叶斯分类器和bagging朴素贝叶斯分类器显著提高,且方法简单易行.     

基于代表的交叉验证分类

基于代表的邻域覆盖粗糙集分类算法,在某些数据集上表现良好,数据的类别不平衡问题严重影响算法的分类精度.为尽量消除类别不平衡问题的影响,在k折交叉验证方法的基础上,针对基于代表的邻域覆盖粗糙集分类算法,提出了3种集成策略.策略1依靠k折交叉验证,获得对应的k个基分类器,所有的基分类器组成委员会对未分类样本分类;在策略1的基础上,策略2选择分类精度相对较高的基分类器组成委员会,对未分类的样本进行分类;策略3在前2种策略的基础上,利用主动学习的思想,对训练集进行扩充,得到新的分类器再对未分类样本分类.实验所用数据集为UCI标准数据集,且对k的取值做了对比实验.结果显示,3种策略均有不同程度的提升,且k取5时总能取得较好的提升效果.对于不同数据集,应选择相适应的改进策略.     

基于改进的朴素贝叶斯文本分类研究

文本分类(Text Categorization,TC)指的是把一个自然语言文本,根据其主题归入到预先定义好的类别中的过程.文本分类是自然语言处理的一个基础性工作,也是近年来人们研究的热点话题.针对朴素贝叶斯算法在小样本集分类效果不高的原因进行了分析,对其进行了改进和调整,提出了基于改进的朴素贝叶斯文本分类方法,试验结果表明,该方法取得了更好的效果.     

基于颜色特征和纹理特征的岩屑岩性识别

针对现有条件下的岩屑录井中岩屑识别率低、识别速度慢等问题,从特征提取和分类器方面对岩屑岩性识别进行了分析研究.采用二级分类器的思想,首先通过颜色特征和和差直方图特征采用朴素贝叶斯分类器将岩屑粗分为泥岩和砂岩,然后进一步采用贝叶斯分类器,通过颜色特征和和差直方图特征分别将泥岩和砂岩进行进一步的细分.实验结果表明,粗分的识别率、泥岩细分的识别率和砂岩细分的识别率分别能达到94.79%、97.59%和90.28%.这种识别方法更加符合现实的应用需求,有着更高的识别率,为岩屑岩性分析工作提供了可靠的依据.     

基于领域知识的文本分类

提出了一种基于知识的文本分类方法,其中引入领域知识,利用领域特征作为文本特征,增强文本表示能力,将文本分类过程看作集聚计算过程.文本索引过程采用了改进型特征选取和权重计算方法.提出了一种基于互信息的学习算法,从训练语料中自动学习领域特征集聚计算公式.实验结果显示基于领域知识的文本分类技术总体性能优于传统的贝叶斯分类模型,领域知识的应用能够有效改善对相似主题和相反主题的分类性能.     

基于结果修剪法解决文本分类中属性重叠问题

在文本分类中,当两个多属性类别发生属性重叠时,采用传统的文本分类算法m acro F1值仅为45%左右.为了提高文本分类算法的m acro F1值,提出了基于结果修剪的方法.在该方法中,分类器由多个子分类器组成.每个子分类器对应于类别中的一个属性;在每一个阶段中,每一个子分类器将不属于该属性的文本剔出.当所有子分类器运行结束后,留下的文本即属于该分类的文本.实验数据表明,基于结果修剪的文本分类方法在解决属性重叠问题时能够将m acro F1值提高到65%左右.     

电能质量扰动分类的贝叶斯方法

随着非线性负荷的大量使用,电能质量问题已日益受到关注．对各种电能质量扰动进行分类,是采取适当措施降低扰动带来影响的前提．小波包是在小波变换的基础上发展起来的,能够提供更为丰富的时频信息．为此,对电能质量扰动信号进行小波包分解,分别以小波包分解终结点的能量和熵作为特征向量。用贝叶斯分类器进行分类识别,对扰动分类做出了仿真分析,仿真结果验证了该方法的有效性．通过与Fisher分段线性分类器进行比较,表明以熵为特征向量的贝叶斯分类方法有较高的识别正确率．     

基于朴素贝叶斯的垃圾邮件分类系统的设计

结合垃圾邮件分类系统的具体要求,在传统规则分类方法的基础上引入机器学习的知识,给出了系统体系结构和特征提取算法,试验了一种对新邮件计算所属类别后验概率的方法,并详细讨论了一个基于朴素贝叶斯方法的个性化垃圾邮件分类系统的设计。提出的分TFIDF特征子集提取算法和朴素贝叶斯方法对邮件进行分类具有较好的分类精度,应用朴素贝叶斯方法在新邮件到达的同时对其进行分类,具有较好的分类速度。     

基于内容的短信分类系统的设计与实现

文章提出了一种基于内容的手机短信分类系统的设计方案．该方案根据短信内容,采用分词技术和贝叶斯机器学习方法,设计基于短信接收者个性化分类和短信中心端自主学习的二层分类方法,实现短信个性化内容分类及其分类结果的增值应用．实验结果表明,本方案可以较为精确地实现短信的个性化内容分类,分类结果可以方便地应用于第三方的增值应用．