基于贝叶斯增量分类的邮件过滤研究

随着internet的快速发展,垃圾邮件泛滥成灾.面对垃圾邮件日益严重的现状,提出了贝叶斯邮件过滤模型并讨论了贝叶斯分类方法在垃圾邮件过滤中的应用.针对难以获得大量有类别标签的邮件训练集问题,利用贝叶斯具有增量学习特征,分析并提出了基于小规模训练集的贝叶斯增量邮件过滤方法,通过最小化当前邮件分类器的分类损失,来选择有利于提高分类器性能的邮件加入训练集.实验结果表明,该方法是切实可行的并具有良好的效果.     

一种基于加权支持向量机的垃圾邮件过滤方法

基于内容的垃圾邮件过滤本质上是文本分类问题,支持向量机分类器非常适合于垃圾邮件过滤这一二分类问题,但标准的支持向量机是基于分类精度进行优化的,对两类邮件的重要性未以区别,造成了邮件分类时虽然整体精度较高,但对正常邮件的误判率也较高.据此笔者提出了一种基于加权支持向量机的垃圾邮件过滤算法,通过增加两类邮件的类别权重及反映每封邮件重要性的权重,对支持向量机分类器进行训练,在保证分类精度的同时,尽可能地降低对正常邮件的误判率.实验表明该算法取得了很好的过滤效果.     

基于信息增益的LDA模型的短文本分类

在基于LDA的短文本分类基础上进行改进,提出信息增益结合LDA的短文本分类方法.该方法采用信息增益计算词汇对于文本分类的贡献度,提高＂作用词＂的权重,过滤掉＂非作用词＂,最后对过滤后的短文本进行LDA主题建模,并采用中心向量法建立文本类别模型.实验证明,该方法随着作用词比例的减少,分类性能有较大的提高.     

基于信息增益的LDA模型的短文本分类

在基于LDA的短文本分类基础上进行改进,提出信息增益结合LDA的短文本分类方法.该方法采用信息增益计算词汇对于文本分类的贡献度,提高＂作用词＂的权重,过滤掉＂非作用词＂,最后对过滤后的短文本进行LDA主题建模,并采用中心向量法建立文本类别模型.实验证明,该方法随着作用词比例的减少,分类性能有较大的提高.     

代价敏感多主题学习的邮件过滤算法

针对传统邮件分类模型中较少对邮件主题进行描述和分析的问题,提出一种代价敏感多主题学习的邮件分类算法,用以实现垃圾邮件过滤.首先,基于LDA(潜在狄利克雷分布)对邮件的多个主题进行提取,对邮件语义进行描述;其次,利用CS-SVM(代价敏感支持向量机)对邮件进行代价敏感学习,实现对不同类别邮件的惩罚;最后,结合MI-SVM(多示例支持向量机)进行代价敏感的多主题学习,实现邮件分类.实验采用四组ling-spam处理数据集.实验结果证明:该分类算法较比传统邮件分类算法,可以取得更高的准确性、特异性与敏感性.     

基于知识积累方法的垃圾邮件过滤算法

由于垃圾邮件类型的不断变化,超出现有过滤算法模型中所采用的训练样本范围,造成过滤性能不断下降。因此,提出了一种基于知识积累方法的垃圾邮件过滤算法。利用KNN方法的惰性学习机制,将新型的垃圾邮件动态加入训练样本集中,以实现知识的不断积累过程。在此基础上,应用KNN方法对未知邮件样本进行精确匹配,以排除合法邮件的误判结果。实验表明算法具有较好的过滤性能。     

基于类别层次结构的多层文本分类样本扩展策略

针对大规模多层文本分类训练样本获取代价高、类别分布不均衡等问题, 提出并比较几种基于类别层次结构的大规模多层文本分类样本扩展策略, 即利用类别层次体系中蕴含的类别名称、描述以及类别间的层次结构关系, 从内涵和外延两方面入手构造或扩展类别训练样本。在首次大规模中文新闻信息多层分类评测数据集上, 基于外延的局部样本扩展策略取得较好的性能。参测系统在第一级类别和第二级类别上宏平均F1分别为0.8413和0.7139, 在10个参赛系统中位列第二。     

基于模糊聚类SVM的混合像元分类方法

针对遥感影像分类过程中混合像元难判别的问题, 提出一种基于Gustafson-Kessel模糊聚类算法的支持向量机（SVM）分类模型. 以Gustafson-Kessel算法优选训练样本方式提高支持向量机的分类性能. 为验证其有效性, 将该模型应用于森林覆盖类别分类, 并与标准支持向量机模型分类结果对比. 实验结果表明, 该方法能提高支持向量机对混合像元划分的精度.     

垃圾邮件过滤研究与实现

系统以垃圾邮件过滤为目标，设计并实现了一个垃圾邮件过滤系统SpamBlocker.该系统整合规则过滤、贝叶斯分类、病毒检测和黑/白名单等垃圾邮件检测技术，采用评分方法判断邮件的垃圾性，并利用规则过滤给贝叶斯分类提供学习样本，提高了系统对新垃圾邮件的适应性.     

邮件过滤Agent的设计

为实现对电子邮件中垃圾邮件的过滤,提出一种新的邮件过滤算法和邮件过滤Agent的设计方法.Agent通过算法学习用户接收邮件的信息及用户对邮件的处理习惯,据此最终确定邮件是否为垃圾邮件或病毒邮件,从而过滤掉非正常邮件.实验测试表明,Agent对邮件过滤的正确率可达85%,为现有电子邮件系统提供了一种改进方法.