改进的Naive Bayes技术在反垃圾邮件系统中的应用

目的简化并改进中文反垃圾邮件系统。方法改进Naive Bayes算法且结合利用垃圾邮件规律的规则过滤,这套方案也在Linux/Solaris系统平台下的软件编程。结果在邮件服务器上对本方案进行了测试,结果显示这套方案取得了很好的过滤效果。结论改进的Naive Bayes技术可提高反垃圾邮件过滤器的速度和效率。     

基于生物序列模式提取技术的邮件过滤算法

为了解决垃圾邮件过滤问题,考虑到中文垃圾邮件的特点和过滤系统的效率要求,应用生物信息化技术中模式提取算法TEIRESIAS的原理,设计了基于生物序列模式提取技术的垃圾邮件过滤算法BioMatrix,并实现了基于此算法的中英文邮件过滤系统.过滤系统由数量控制过滤提供垃圾邮件训练集,通过提取其中的特征模式对邮件进行分类,可以识别出约94.2%的垃圾邮件,误过滤率约0.04%.与Bayes过滤算法对比的实验结果表明,将生物序列模式提取技术应用于邮件过滤具有较好的研究和实用价值.     

中文文本分类器的评价

对目前比较流行的4种中文文本分类器(Rocchio、KNN、Naive Bayes、最大熵)进行评价,其中,Naive Bayes和最大熵是基于概率统计的方法,而Rocchio和KNN是基于向量的相似度计算的方法.选用χ2作为文本特征选取方法,对一个中文文本分类语料库进行分类评测.实验结果表明,最大熵和Naive Bayes的分类性能十分接近,处于较好水平,而KNN和Rocchio分类性能稍差一些.     

基于Boosting算法的垃圾邮件过滤方法研究

为解决垃圾邮件过滤的精确度和有效性问题,提出了一种基于邮件内容过滤的垃圾邮件过滤方法,该方法采用Boosting算法构造了一种垃圾邮件过滤器,利用该垃圾邮件过滤器实现对垃圾邮件的过滤. 本文借鉴文本分类和信息检索领域所使用的评价指标,构建了垃圾邮件过滤器的评价体系,利用该评价体系,针对基于Boosting算法所构造的垃圾邮件过滤器对垃圾邮件的过滤实验所得到的数据进行了测试和评估,测试和评估的结果验证了Boosting算法在垃圾邮件过滤中的有效性,其性能优于传统的贝叶斯算法.      

基于在线排序逻辑回归的垃圾邮件过滤

垃圾邮件过滤是网络信息处理中的重要问题,基于机器学习方法的垃圾邮件过滤技术是目前的研究热点。现有研究一般将过滤问题视为二值分类问题进行解决,存在着模型优化目标和性能评价指标1-AUC不一致的问题,导致模型优化结果产生偏差,过滤性能受到很大影响。该文通过直接优化评价指标1-AUC来提升过滤器性能,将垃圾邮件过滤问题转化成排序问题进行建模,提出了在线排序逻辑回归学习算法,解决了在线学习中的邮件得分偏移问题;综合应用TONE算法和重采样技术,提出参数权重更新算法,解决模型学习中在线调整模型参数时的处理速度问题,满足垃圾邮件实时过滤的要求。在垃圾邮件过滤公开评测数据集上的实验结果表明,基于在线排序逻辑回归模型的过滤结果全面优于在线逻辑回归模型的过滤结果。     

中文文本分类器的评价

对目前比较流行的4种中文文本分类器(Rocchio、KNN、Naive Bayes、最大熵)进行评价,其中,Naive Bayes和最大熵是基于概率统计的方法,而Rocchio和KNN是基于向量的相似度计算的方法.选用χ2作为文本特征选取方法,对一个中文文本分类语料库进行分类评测.实验结果表明,最大熵和Naive Bayes的分类性能十分接近,处于较好水平,而KNN和Rocchio分类性能稍差一些.     

信度网分类器

分类问题是人工智能中机器学习研究的一个重要问题,它在模式识别、故障诊断以及数据挖掘等领域有着广泛的应用。利用信度网可以构造出分类性能更好的分类器。文章着重探讨了Naive Bayes分类器,增强的Naive Bayes分类器和通用信度网分类器的构造方法,并分析比较了这三类分类器的优缺点。     

基于多项式朴素贝叶斯算法的垃圾邮件过滤器的设计与实现

基于概率的朴素贝叶斯分类器因其算法复杂度低、分类精度高而被广泛应用于垃圾邮件过滤领域。该文在对传统朴素贝叶斯分类器进行分析的同时,结合垃圾邮件过滤的特性,设计并实现了基于多项式朴素贝叶斯算法的垃圾邮件过滤器。该过滤器引入拉普拉斯平滑因子降低合法邮件被误判为垃圾邮件的概率,得到了较好的分类效果。实验结果验证了方法的有效性。     

中文文本分类器的评价

对目前比较流行的4种中文文本分类器(Rocchio、KNN、Naive Bayes、最大熵)进行评价，其中，Naive Bayes和最大熵是基于概率统计的方法，而Rocchio和KNN是基于向量的相似度计算的方法。选用X2作为文本特征选取方法，对一个中文文本分类语料库进行分类评测。实验结果表明，最大熵和Naive Bayes的分类性能十分接近，处于较好水平，而KNN和Rocchio分类性能稍差一些。     

基于免疫算法的垃圾邮件过滤技术的研究

针对垃圾邮件的过滤,提出了一种基于免疫算法的垃圾邮件过滤方法,并给出相应的实现算法。免疫算法具有很强的学习、识别、容错性、记忆和特征提取的能力,基于免疫算法的垃圾邮件过滤在动态性和自适应性等方面具有明显的优势,因此免疫算法较传统算法更加适用于针对于垃圾邮件的过滤。本文通过仿真实验验证了基于免疫算法的垃圾邮件过滤方法对垃圾邮件过滤的能力,实验结果表明,与传统算法贝叶斯算法的相比,基于免疫算法的垃圾邮件过滤更具有效性。     

基于EM-PLS的加权朴素贝叶斯分类算法

朴素贝叶斯算法是一种简单而高效的分类算法,但是它的条件独立性假设和数据完备性要求,影响了其分类性能;在此提出了一种基于EM算法和偏最小二乘的加权朴素贝叶斯分类算法,实验结果验证了该算法的有效性.     

一种基于最小损失的垃圾邮件屏蔽算法

考虑到反垃圾邮件本身特点,借鉴文本分类中的已有技术,将其应用到垃圾邮件的屏蔽中来.因为将合法邮件判别为垃圾邮件对于邮件用户造成的损失明显大于相反的操作,所以定义了一个损失函数,将其与朴素贝叶斯算法结合,实现了基于最小损失的垃圾邮件屏蔽算法.在一个公认的垃圾数据集上的实验结果验证了引入损失函数的有效性.     

基于相关系数的加权朴素贝叶斯分类算法

朴素贝叶斯分类算法的条件独立性假设在很少情况下能够满足,为了克服该问题,提出了一种基于相关系数的加权朴素贝叶斯分类模型.通过计算条件属性和决策属性之间的相关系数,对不同的条件属性赋予不同的权重,从而在保持简单性的基础上有效地提高了朴素贝叶斯算法的分类性能.首先给出了基于相关系数的属性权值求解方法,然后描述了相应的算法,并对算法原理进行了分析与证明.通过在中医小儿肺炎病例数据集和UCI数据集上的仿真实验,验证了该方法的有效性.     

一种新的朴素贝叶斯属性选择算法

贝叶斯分类算法存在一个不足之处,即在搜索空间添加属性时与属性的顺序无关,导致在添加几个相关的属性时留下的属性不能具有最优的分类性能.提出的一种选择性朴素贝叶斯算法,先按照属性信息增益值的大小对属性进行排序,然后再对属性进行选择,从而能够提高分类的准确率.     

对改进的联想记忆器的研究

运用统计物理学的平均场理论来研究改进的联想记忆器问题。通过对三阶输出函数的有关网络状态的稳定性讨论,提出了一种对伪态的影响加以削弱的方法,并与Ｈｏｐｆｉｅｌｄ联想记忆网络进行了比较以及给出模拟结果来验证理论分析。     

一种基于相对特征的文本分类算法

针对文本分类问题,将朴素贝叶斯分类与自组织特征映射网络分类相结合,提出了基于相对特征的文本分类算法.该算法具有很快的速度和较高的准确率,从而为构建高效的搜索引擎提供支撑.     

基于Morphology处理和主题词抽取的垃圾邮件过滤方法

考虑到垃圾邮件预处理的重要性,提出了利用Morphology对垃圾邮件内容进行还原．为了提高邮件分类的性能,对邮件进行主题词抽取,并且结合邮件其他的属性特征,利用贝叶斯方法对邮件进行分类．实验表明,这种基于Morphology处理和主题词抽取的垃圾邮件过滤方法十分有效．     

基于属性相关的朴素贝叶斯分类算法

朴素贝叶斯分类器是一种简单、高效的分类算法,它以贝叶斯定理和最大后验假设为理论基础,然而朴素贝叶斯分类器属性之间相互独立的假设,影响了朴素贝叶斯分类器的性能.提出先使用基于相关的属性选择算法进行属性选择,然后在选择的属性集上,用朴素贝叶斯分类器对数据集进行分类.实验证明,与未使用属性选择的实验结果相比,使用基于相关的属性选择算法进行属性选择后,朴素贝叶斯分类器平均分类正确率提高,分类效率显著提升.     

垃圾邮件并行过滤模型的设计

随着网络的日益普及,垃圾邮件问题日趋严重,各种过滤垃圾邮件的算法也应运而生。简单贝叶斯方法计算简便,但受算法假设条件的限制,查全率和正确率都难以达到更高的层次;其他几种方法计算太复杂。将计算机理论中的“流水”概念引入到垃圾邮件分类器中,建立并行过滤模型,查全率和准确率都比较令人满意。     

混合式朴素贝叶斯分类模型

为了降低朴素贝叶斯分类模型的独立性假设约束,提出一种混合式朴素贝叶斯分类模型(MBN:Mixed Naive Bayes)。通过分析贝叶斯定理,把条件属性集合划分成若干个独立的属性子集,用树增广朴素贝叶斯分类对属性子集分别进行分类学习,通过公式进行整合。将该模型算法与朴素贝叶斯及树增广朴素贝叶斯进行实验比较,实验结果表明MBN分类器在多数数据集上具有较高的分类正确率。