基于在线排序逻辑回归的垃圾邮件过滤

垃圾邮件过滤是网络信息处理中的重要问题,基于机器学习方法的垃圾邮件过滤技术是目前的研究热点。现有研究一般将过滤问题视为二值分类问题进行解决,存在着模型优化目标和性能评价指标1-AUC不一致的问题,导致模型优化结果产生偏差,过滤性能受到很大影响。该文通过直接优化评价指标1-AUC来提升过滤器性能,将垃圾邮件过滤问题转化成排序问题进行建模,提出了在线排序逻辑回归学习算法,解决了在线学习中的邮件得分偏移问题;综合应用TONE算法和重采样技术,提出参数权重更新算法,解决模型学习中在线调整模型参数时的处理速度问题,满足垃圾邮件实时过滤的要求。在垃圾邮件过滤公开评测数据集上的实验结果表明,基于在线排序逻辑回归模型的过滤结果全面优于在线逻辑回归模型的过滤结果。     

反垃圾邮件技术综述

垃圾邮件已成为互联网上巨大的危害之一,引起了社会的广泛关注和研究人员的深入研究．企业消耗在垃圾邮件上的成本逐日攀升。本文首先介绍了垃圾邮件发送手段,然后综述了目前反垃圾邮件常用的五种技术．它们分别是：基于规则的垃圾邮件过滤,基于贝叶斯理论的垃圾邮件过滤,基于支持向量机的垃圾邮件过滤．基于决策树的垃圾邮件过滤．基于数据挖掘的垃圾邮件过滤。分析各项技术的优劣。     

反垃圾邮件技术综述

垃圾邮件已成为互联网上巨大的危害之一,引起了社会的广泛关注和研究人员的深入研究．企业消耗在垃圾邮件上的成本逐日攀升。本文首先介绍了垃圾邮件发送手段,然后综述了目前反垃圾邮件常用的五种技术．它们分别是：基于规则的垃圾邮件过滤,基于贝叶斯理论的垃圾邮件过滤,基于支持向量机的垃圾邮件过滤．基于决策树的垃圾邮件过滤．基于数据挖掘的垃圾邮件过滤。分析各项技术的优劣。     

基于生物序列模式提取技术的邮件过滤算法

为了解决垃圾邮件过滤问题,考虑到中文垃圾邮件的特点和过滤系统的效率要求,应用生物信息化技术中模式提取算法TEIRESIAS的原理,设计了基于生物序列模式提取技术的垃圾邮件过滤算法BioMatrix,并实现了基于此算法的中英文邮件过滤系统.过滤系统由数量控制过滤提供垃圾邮件训练集,通过提取其中的特征模式对邮件进行分类,可以识别出约94.2%的垃圾邮件,误过滤率约0.04%.与Bayes过滤算法对比的实验结果表明,将生物序列模式提取技术应用于邮件过滤具有较好的研究和实用价值.     

关于垃圾邮件的几点思考

垃圾邮件是一个普遍存在的问题，垃圾邮件对网络环境及社会环境带来很多消极影响，更为重要的是侵犯了网络用户的隐私权，浪费和侵犯了网络用户的存储空间和私人空间。垃圾邮件的泛滥主要是经济驱使和群发邮件技术的发展。针对垃圾邮件的相应对策除了网民加强自我保护，采取垃圾过滤等防范措施外，更为重要的是要加强行业自律及立法规制。     

垃圾邮件行为过滤技术研究

分析目前基于邮件内容过滤技术存在的缺陷,根据垃圾邮件的大量发送和不请自来的行为特征,提出了一种垃圾邮件行为过滤技术.该技术将各邮件服务器组成一个垃圾邮件协作过滤网络,邮件服务器发送邮件时判断其发送行为,然后将发送行为信息加密;在MTA会话阶段,接收方先解密邮件发送行为信息,然后将不请自来的群发行为垃圾邮件进行过滤.实验结果表明,该技术在MTA会话通信阶段能过滤大量不请自来的垃圾邮件,具有较高的准确率和查全率,处理速度也较快,节省大量的网络资源,具有良好的过滤性能.     

垃圾邮件过滤研究与实现

系统以垃圾邮件过滤为目标，设计并实现了一个垃圾邮件过滤系统SpamBlocker.该系统整合规则过滤、贝叶斯分类、病毒检测和黑/白名单等垃圾邮件检测技术，采用评分方法判断邮件的垃圾性，并利用规则过滤给贝叶斯分类提供学习样本，提高了系统对新垃圾邮件的适应性.     

邮件过滤Agent的设计

为实现对电子邮件中垃圾邮件的过滤,提出一种新的邮件过滤算法和邮件过滤Agent的设计方法.Agent通过算法学习用户接收邮件的信息及用户对邮件的处理习惯,据此最终确定邮件是否为垃圾邮件或病毒邮件,从而过滤掉非正常邮件.实验测试表明,Agent对邮件过滤的正确率可达85%,为现有电子邮件系统提供了一种改进方法.     

基于Boosting算法的垃圾邮件过滤方法研究

为解决垃圾邮件过滤的精确度和有效性问题,提出了一种基于邮件内容过滤的垃圾邮件过滤方法,该方法采用Boosting算法构造了一种垃圾邮件过滤器,利用该垃圾邮件过滤器实现对垃圾邮件的过滤. 本文借鉴文本分类和信息检索领域所使用的评价指标,构建了垃圾邮件过滤器的评价体系,利用该评价体系,针对基于Boosting算法所构造的垃圾邮件过滤器对垃圾邮件的过滤实验所得到的数据进行了测试和评估,测试和评估的结果验证了Boosting算法在垃圾邮件过滤中的有效性,其性能优于传统的贝叶斯算法.      

垃圾邮件并行过滤模型的设计

随着网络的日益普及,垃圾邮件问题日趋严重,各种过滤垃圾邮件的算法也应运而生。简单贝叶斯方法计算简便,但受算法假设条件的限制,查全率和正确率都难以达到更高的层次;其他几种方法计算太复杂。将计算机理论中的“流水”概念引入到垃圾邮件分类器中,建立并行过滤模型,查全率和准确率都比较令人满意。     

一种基于内容的广告垃圾图像过滤方法

垃圾邮件制造者为了躲避基于文本的垃圾邮件过滤器的过滤，常常将文字嵌入到图像中，产生了大量的广告垃圾图像.为解决这一问题，提出了基于图像内容的垃圾图像过滤方法.首先提取出图像中的文字区域，再利用广告垃圾图像中的文字区域特征进行广告垃圾图像过滤.实验结果表明利用文字区域特征过滤广告垃圾图像是行之有效的.     

基于贝叶斯统计法的垃圾邮件过滤研究

介绍了采用贝叶斯统计法过滤垃圾邮件的算法,通过简单贝叶斯过滤算法的研究,引入了派生的贝叶斯过滤算法——零散二元多项式散列法过滤技术,它能够处理单个的特征词和变异的特征词汇．零散二元多项式散列法和贝叶斯统计法的整合,可以建立一个功能强大的垃圾邮件过滤器．     

自愈网中空闲容量分配算法的研究

网络自愈功能的实现离不开空闲资源的合理有效配置,自愈网中的空闲容量分配是网络自愈策略中一个至关重要的问题。提出了两种不同类型的网络空闲容量分配算法,分析了它们的分配原则,并通过网络模拟研究了两者各自的特点及它们与网络恢复算法之间的关系。     

Prioritizing Maintenance Spare Parts Based on Supportability Analysis and Neural Network

In order to facilitate spare parts management,an integrated approach of BP neural network and supportability analysis(SA)was proposed to evaluate the criticality of spare parts as well as to prioritize spare parts.Influential factors of prioritizing spare parts were detailedly analyzed.Framework of the integrated method was established.The modelling process based on BP neural network was presented.As the input of the neural network,the values of influential factors were determined by supportability analysis data.Based on the presented method,spare parts could be automatically prioritized after supportability analysis for a new system.A case study results showed that the new method was applicable and effective.     

一种P2P结构的协作式反垃圾邮件模型

垃圾邮件已成为当今邮件系统的主要问题,垃圾邮件发送者通过伪装邮件来逃避反垃圾邮件系统的检测.建议用一种健壮的摘要算法来识别相似垃圾邮件,并利用在邮件服务器之间建立一种带索引的结构化P2P网络来共享垃圾邮件的知识.仿真结果表明,该系统结构以及摘要算法有效地实现了相似邮件的聚集,从而达到了过滤垃圾邮件的目的.     

基于主成分分析-BP神经网络的风电备件需求预测

风电机组具有结构复杂,运维困难,且长期处于恶劣的工作环境的特点。风电备件的需求预测有助于为风电场配备最合适的备件数,以确保风电场的平稳、高效运行。本文以某企业近五年的齿轮需求数据为例,应用主成分分析(PCA)降低几个影响因素的维度,得到复合变量,然后应用BP神经网络算法,构建预测模型;比较ARIMA模型、BP神经网络预测和PCA-BP神经网络预测的结果。表明：主成分分析法(PCA)能显著降低神经网络预测误差,预测的精度为93.94%,高于BP神经网络预测的88.39%和ARIMA模型的85.31%,所以PCA-BP神经网络模型的预测精度准确且有可靠结果,能够适用风机备件的需求预测。     

浅析当前网络信息检索与过滤技术

通过对网上信息检索技术发展现状的概述,分析了当今网上信息检索、信息过滤所采用的技术与方法,阐述了存在的问题,重点介绍了网上信息检索与过滤中新出现的一些智能技术,如智能Agent、聚类、网络自组织等。     

基于虚通道的ATM自愈网及其空闲容量的分配

讨论了基于虚通道的ＡＴＭ（异步转移模式）自愈网的结构、自愈算法及其特点，同时对自愈网的空闲容量进行了分配和设计。