垃圾邮件过滤研究与实现

系统以垃圾邮件过滤为目标，设计并实现了一个垃圾邮件过滤系统SpamBlocker.该系统整合规则过滤、贝叶斯分类、病毒检测和黑/白名单等垃圾邮件检测技术，采用评分方法判断邮件的垃圾性，并利用规则过滤给贝叶斯分类提供学习样本，提高了系统对新垃圾邮件的适应性.     

贝页斯垃圾邮件分类系统成本参数调整对系统精度的影响

为降低垃圾邮件系统分类计算的误码率,分析了贝页斯垃圾邮件过滤系统对目标邮件的自动检测过程,从系统过滤质量和用户容错两个方面研究系统成本定义.在不同样本集合及其属性空间内,对于词语还原和间断表的开启与关闭,重点分析成本参数λ,通过调整成本参数分析贝页斯过滤系统在多种假定下邮件处理结果,完善系统建模定义标准,优化应用系统建模,提高系统过滤质量.实验结果证明该解决方案是可行的.      

中文垃圾邮件过滤系统的实现和评估

垃圾邮件是长期以来困扰电子邮件使用者的一个问题,反垃圾邮件技术除了可以抑制垃圾邮件,对反垃圾短信和垃圾VoIP电话等问题也有借鉴意义. 为此,对使用贝叶斯方法过滤垃圾邮件进行了介绍,阐述了中文垃圾邮件过滤系统的实现,并给出了评估结果. 结果表明,在过滤中计算最终概率的特征数目以及用于训练的样本个数都存在某个最优值,当用于训练的样本个数逐渐超过这个最优值时,过滤效果会略微下降并趋于一致.     

基于贝叶斯概率理论的防火墙技术研究

为解决在网络应用中垃圾邮件占用大量网络资源,并威胁邮件系安全的问题,根据垃圾邮件体的特点,在对大量垃圾邮件进行统计分析的基础上,依据贝叶斯理论,研究了垃圾邮件关键词统计概率的分布规律,并提出了在Solaris系统平台上使用SMTP协议服务器端垃圾邮件的过滤算法.LAN仿真测试结果表明,贝叶斯垃圾邮件概率公式的应用提高了垃圾邮件命中率.     

用于邮件过滤的标准样本生成系统研究

由于缺乏标准的中文邮件样本集，无法评测不同垃圾邮件过滤系统的性能.通过 分析邮件样本收集过程中存在的各种问题，研究了生成标准样本涉及的问题，设计了一个基于真实环境的标准邮件样本生成系统结构，并希望以此推出一个用于衡量邮件过滤系统性能的标准的邮件样本集，最终作为邮件过滤技术研究的基本语料.     

基于改进的Nave Bayes和BP神经网络的垃圾邮件过滤

不同用户对垃圾邮件的判定有所差别,考虑到同一用户的自认垃圾邮件相似度较大,提出对特定用户进行针对性的垃圾邮件过滤方法.系统除重点利用邮件正文信息外,还尝试加入发件人、群发信息和主题相关度信息,改进朴素贝叶斯公式用于邮件正文的概率计算,基于BP神经网络构造垃圾邮件判别系统.实验表明,改进的朴素贝叶斯公式用于本文的系统是可行的,基于BP神经网络的垃圾邮件过滤系统能有效综合以上四项数值进行全局判别,进而对特定用户的邮件产生不错的过滤效果.     

垃圾邮件过滤中特征选择方法研究

文章对垃圾邮件过滤中的特征选择问题进行了研究,引入"词共现模型"考虑词语之间的语义联系信息,和传统的信息增益特征选择方法结合表示邮件,采用神经网络方法对邮件进行分类得到垃圾邮件过滤器.实验表明,文章提出的将词共现对和信息增益结合的特征选择方法能够提高垃圾邮件过滤的精确度.     

基于生物序列模式提取技术的邮件过滤算法

为了解决垃圾邮件过滤问题,考虑到中文垃圾邮件的特点和过滤系统的效率要求,应用生物信息化技术中模式提取算法TEIRESIAS的原理,设计了基于生物序列模式提取技术的垃圾邮件过滤算法BioMatrix,并实现了基于此算法的中英文邮件过滤系统.过滤系统由数量控制过滤提供垃圾邮件训练集,通过提取其中的特征模式对邮件进行分类,可以识别出约94.2%的垃圾邮件,误过滤率约0.04%.与Bayes过滤算法对比的实验结果表明,将生物序列模式提取技术应用于邮件过滤具有较好的研究和实用价值.     

垃圾邮件过滤中潜在语义索引的应用

将潜在语义索引(LSI)应用于垃圾邮件过滤领域,并将其与向量空间模型(VSM)和经典的邮件过滤器Spa-mAssassin系统进行比较.另外,对基于词提取技术的邮件文本特征集合和SpamAssassin系统提取的邮件"元特征"集合进行了对比.实验结果表明,LSI与VSM均取得了较SpamAssassin系统更优的分类效果.     

基于改进的Na(l)ve Bayes和BP神经网络的垃圾邮件过滤

不同用户对垃圾邮件的判定有所差别,考虑到同一用户的自认垃圾邮件相似度较大,提出对特定用户进行针对性的垃圾邮件过滤方法.系统除重点利用邮件正文信息外,还尝试加入发件人、群发信息和主题相关度信息,改 进朴素贝叶斯公式用于邮件正文的概率计算,基于BP神经网络构造垃圾邮件判别系统.实验表明,改进的朴素贝叶斯公式用于本文的系统是...     

基于模拟退火算法和发送行为的垃圾邮件检测模型

垃圾邮件给当今人们的生活带来严重的负面影响.虽然已经有很多过滤方法,但大多存在一定的不足之处,如检测时间长、召回率低等问题.本文提出了一种基于模拟退火算法和发送行为的垃圾邮件检测模型,旨在弥补已有检测方法的不足.模拟退火算法可能找到全局最优解,且收敛性强;而基于发送行为的垃圾邮件检测技术能显著提高服务器处理垃圾邮件的速度.本文尝试将二者相结合,以提高垃圾邮件的召回率及服务器处理能力.通过实验结果可以看出,该方法在垃圾邮件的召回率上有较大提升,较适于部署在小型邮件服务器上.     

基于疫苗机制的垃圾邮件过滤模型

针对传统的垃圾邮件过滤方法不能有效阻止出现的新型垃圾邮件的问题,借鉴生物免疫系统中疫苗的概念和免疫记忆功能,提出了一种基于疫苗机制的垃圾邮件过滤模型SFM-V(spam filtering model based on vaccine mechanism).该模型详细描述了垃圾邮件检测器的演化和抗原提呈的过程,通过疫苗控制器实现疫苗提取和疫苗接种,新生成的免疫记忆细胞作为疫苗实现信息交互,共享抗体.并引入小生境免疫记忆与共享机制,增加检测器的多样性及稳定性,促进免疫记忆库及原始抗体库中优良个体的保存,有效地提取和记忆垃圾邮件的未知特征和变异特征.利用CCERT(china education and research network)的邮件样本集对该模型进行训练和检测,仿真实验结果表明该模型有效地提高了垃圾邮件的正确率、召回率等特性,降低了垃圾邮件的虚报率.     

基于知识积累方法的垃圾邮件过滤算法

由于垃圾邮件类型的不断变化,超出现有过滤算法模型中所采用的训练样本范围,造成过滤性能不断下降。因此,提出了一种基于知识积累方法的垃圾邮件过滤算法。利用KNN方法的惰性学习机制,将新型的垃圾邮件动态加入训练样本集中,以实现知识的不断积累过程。在此基础上,应用KNN方法对未知邮件样本进行精确匹配,以排除合法邮件的误判结果。实验表明算法具有较好的过滤性能。     

基于用户反馈和增量学习的垃圾邮件识别方法

为了提高垃圾邮件识别的准确度,减少识别中的错判,提出了一种交互式垃圾邮件识别方法。该方法用一组具有特定权重的规则识别垃圾邮件,规则权重分布用改进遗传算法训练得到。增加用户与服务器间的交互,收集用户反馈的错判信息,根据反馈信息用增量学习动态调整规则权重。通过对SpamA ssass in扩展实现了该方法,并应用在邮件服务器上进行了测试。实验中在不影响垃圾邮件识别率的前提下,降低误判率约10%。实验结果表明:该方法不但能有效减少识别中的误判,而且避免了繁琐的重新训练,加快了规则权重的更新速度。     

基于多视角特征融合的中文垃圾微博过滤

微博中隐含着舆论热点等与特定话题相关的有价值的信息。因此,针对微博数据分析（如话题发现等）的工作成了当前的研究热点。由于微博内容和形式的高度自由,使得相关的研究工作面临着垃圾数据噪声大、有用数据提取难的问题。然而,目前针对非公共话题的中文垃圾微博过滤尚无有效方法。提出一种基于多视角特征融合的垃圾微博过滤方法。该方法首先从微博的结构和内容两个视角建立规则,再与微博文本分词结果进行融合构造复合特征,并以此对垃圾微博进行过滤。通过在真实数据集上的实验表明多视角融合的特征使得过滤效果有明显提升。     

基于贝叶斯统计法的垃圾邮件过滤研究

介绍了采用贝叶斯统计法过滤垃圾邮件的算法,通过简单贝叶斯过滤算法的研究,引入了派生的贝叶斯过滤算法——零散二元多项式散列法过滤技术,它能够处理单个的特征词和变异的特征词汇．零散二元多项式散列法和贝叶斯统计法的整合,可以建立一个功能强大的垃圾邮件过滤器．     

垃圾邮件并行过滤模型的设计

随着网络的日益普及,垃圾邮件问题日趋严重,各种过滤垃圾邮件的算法也应运而生。简单贝叶斯方法计算简便,但受算法假设条件的限制,查全率和正确率都难以达到更高的层次;其他几种方法计算太复杂。将计算机理论中的“流水”概念引入到垃圾邮件分类器中,建立并行过滤模型,查全率和准确率都比较令人满意。     

大数据环境下的微信息蜜罐监测

互联网自媒体呈现大数据特征,负能量言行时常爆发,舆情检测已经成为网络监管的重大难点问题.本文基于软件定义网络、蜜罐技术和分布式架构,综合"流量级"检测和"进程级"检测2个层面,通过构造异常行为数据集和敏感文本类型数据集,设计负能量舆情倾向的检验算法,搭建虚拟蜜罐式主动性舆情检测系统.实践证明,虚拟蜜罐式主动舆情检测系统,能较好地完成自媒体圈的主题倾向监测任务,为自媒体圈舆情检测技术提供新的研究视角.     

垃圾邮件行为过滤技术研究

分析目前基于邮件内容过滤技术存在的缺陷,根据垃圾邮件的大量发送和不请自来的行为特征,提出了一种垃圾邮件行为过滤技术.该技术将各邮件服务器组成一个垃圾邮件协作过滤网络,邮件服务器发送邮件时判断其发送行为,然后将发送行为信息加密;在MTA会话阶段,接收方先解密邮件发送行为信息,然后将不请自来的群发行为垃圾邮件进行过滤.实验结果表明,该技术在MTA会话通信阶段能过滤大量不请自来的垃圾邮件,具有较高的准确率和查全率,处理速度也较快,节省大量的网络资源,具有良好的过滤性能.