搜索引擎垃圾网页检测模型研究

搜索引擎垃圾网页的检测已经成为近年来机器学习领域的研究热点.在对搜索引擎垃圾网页及其使用的各种作弊技术进行介绍的基础上,针对各种垃圾网页检测模型进行综述,分别介绍和分析基于网页内容特征的检测模型、基于链接结构的检测模型、结合网页内容特征和链接特征的检测模型以及各种其它类型的检测模型,并对搜索引擎垃圾网页检测的未来研究方向进行了展望.     

基于KNN及相关链接的中文网页分类研究

提出了中文网页相关链接提取算法,能够较好地抽取出中文网页中的相关链接,算法的时间复杂性低,准确率和召回率都令人满意.基于向量空间模型,采用KNN对中文网页进行分类,比较了基于网页标题分类、基于网页正文分类,以及将正文与相关链接结合分类、将标题与相关链接结合分类的分类效果,印证了中文网页中相关链接对网页分类具有积极影响的...     

搜索引擎垃圾网页检测模型研究

搜索引擎垃圾网页的检测已经成为近年来机器学习领域的研究热点.在对搜索引擎垃圾网页及其使用的各种作弊技术进行介绍的基础上,针对各种垃圾网页检测模型进行综述,分别介绍和分析基于网页内容特征的检测模型、基于链接结构的检测模型、结合网页内容特征和链接特征的检测模型以及各种其它类型的检测模型,并对搜索引擎垃圾网页检测的未来研究方...     

基于支持向量机的搜索引擎垃圾网页检测研究

搜索引擎垃圾网页作弊的检测问题一般被视为一个二元分类问题,基于机器学习的分类算法建立分类器,将网页分成正常网页和垃圾网页2类.现有的基于内容特征的垃圾网页检测模型忽略了网页之间的链接关系,故构建了软间隔支持向量机分类器,以网页的内容特征作为支持向量,根据网页之间的链接具有相似性的特点定义了惩罚函数,使用样本集学习,得出了线性支持向量机网页分类器,并对分类器的分类效果进行了测试.实验结果表明基于支持向量机的分类器的效果明显好于使用内容特征构建的决策树分类器.     

多策略网页恶意代码检测算法的实现

随着互联网的迅速发展,人们在浏览网页的时候容易受到网页恶意代码的攻击.针对这些问题,提出了一种基于多策略的网页恶意代码检测方法.对恶意网页代码特征进行分析,通过运用词频统计的方法对网页代码进行特征挖掘,获取关键特征值后,分别利用支持向量机算法、朴素贝叶斯算法、神经网络算法和多策略的算法建立分类模型,设计实验对4种分类模型进行性能测试.实验表明,提出的基于多策略的网页恶意代码检测方法比单一的检测方法准确率和精准率要高,召回率较低.     

基于频繁子树挖掘算法的网页木马检测技术

针对目前互联网安全的主要威胁之一网页木马,基于网页木马的树状链接结构特征,引入频繁子树挖掘算法,对前期积累的4万多个恶意网页木马场景进行子树模式挖掘,提取了35个网页木马场景共同子树结构特征,利用这些特征在网页木马动态分析过程中辅助检测。实验表明:在加入基于子树特征的检测方法判定的网页木马中,动态检测方法有近20%的漏报。因此,基于子树特征的检测方法有效地提高了动态检测的检测能力和效率,同时挖掘出的典型子树模式提供了网页木马分类和溯源的依据。     

基于序列比对的动态Web信息抽取算法

基于对深网(DeepWeb)网页公共框架的定义,提出一种在信息抽取算法中增加公共框架检测阶段,采用序列比对算法提取公共框架的方法.与原始网页数据相比,去除公共框架的数据域信息对模板抽取更有利.基于真实网站的数据密集型网页集合,测试和对比了序列比对算法中参数不同取值以及公共框架检测阶段在数据量和抽取准确率等方面对信息抽取算法的影响.实验结果表明了算法的有效性.     

基于分块的网页主题文本抽取

根据网页文本信息的结构和内容特征,提出一种网页主题文本信息的抽取策略,将网页文档表示为DOM标签树的形式,然后根据Web页面的结构特征进行内容块的分割,以网页的文本内容特征为依据识别链接型和主题型内容块,并提取主题型网页的文本信息块.实验结果表明:基于分块的方法有效地实现了链接型和主题型网页的分类,并准确地完成主题型网页的文本信息块的抽取任务,是一种简单、准确的网页信息抽取方法.     

基于多特征融合的恶意网页检测方法研究

随着恶意网页数量的逐年递增,传统恶意网页检测技术表现出了较大的局限性.因而基于机器学习的检测技术被引入,该技术的关键是有效网页特征的选取.在分析提取传统网页特征URL、HTML和JavaScript代码特征的基础上,融合网页文本内容特征(Text特征),基于机器学习提出一种多特征融合的恶意网页检测方法.通过互信息法、F-检验法、递归特征消除法3种特征选择算法验证得到所提Text特征更具强相关性.其中,RF算法在URL、HTML、JavaScript与Text特征的混合特征集上对恶意网页检测的效果最好,该方法与前人工作相比具有更高的准确性与可靠性.     

模板化网页主题信息的提取方法

为了消除网页噪音,有效地提取基于模板的网页主题信息,提出了一种新的信息提取方法.该方法采用机器自动学习方式生成网页集的模板;以网页链接关系中的锚点文本作为提取目标对模板进行标记,生成对应模板的提取规则;依据模板的提取规则对网页主题信息进行提取.对国内2 588个新闻网页进行了检测.实验结果表明,该方法可以快速、有效地提取模板生成的网页集主题信息,准确率达99.5%.将该方法应用于搜索引擎系统(木棉检索)中,与原来的检索系统相比较,索引文件的大小减少约50%,检索的速度和精确度也得到提高.     

一种基于启发式规则的半监督垃圾评论分类方法

互联网业已深入每个人的生活,团购平台、在线商店、在线消费等形式的电子商务平台已成为人们时下最流行的消费方式。几乎所有的电商平台都允许和鼓励用户在消费之后对产品或者服务进行评论,而且用户评论对潜在消费者和商家都具有极高的价值。这使得广告、虚假评论等形式的垃圾评论被人为地夹杂在用户评论中,以期达到虚假宣传、推广产品或者诋毁其他商家信誉的目的。垃圾评论检测和分析便是在这样一种应用背景下,研究如何有效地排除垃圾评论干扰,发挥有效评论价值的方法。针对COAE2015设定的垃圾评论识别任务,利用其提供的语料资源,设计了一种基于启发式规则的半监督垃圾评论分类方法。实验结果证明,提出的方法可以有效地识别垃圾评论,同时能够保持对有效评论的识别精度。     

基于多视角特征融合的中文垃圾微博过滤

微博中隐含着舆论热点等与特定话题相关的有价值的信息。因此,针对微博数据分析（如话题发现等）的工作成了当前的研究热点。由于微博内容和形式的高度自由,使得相关的研究工作面临着垃圾数据噪声大、有用数据提取难的问题。然而,目前针对非公共话题的中文垃圾微博过滤尚无有效方法。提出一种基于多视角特征融合的垃圾微博过滤方法。该方法首先从微博的结构和内容两个视角建立规则,再与微博文本分词结果进行融合构造复合特征,并以此对垃圾微博进行过滤。通过在真实数据集上的实验表明多视角融合的特征使得过滤效果有明显提升。     

智能化小区网站建设的思考与实践

从智能小区建设的角度出发，讨论了网站的基本结构、建站的方式、Web页面的实现技术，分析了智能小区网站规划与设计的一般思路和总体框架，提出了网页制作中一些值得注意的问题。     

基于行为与时间特征的垃圾邮件检测方法

垃圾邮件数量庞大、伪装形式多种多样,给反垃圾邮件带来了巨大的挑战。提出了一个基于行为和时间特征的垃圾邮件检测方法。根据邮件收发记录分析基于社会网络的行为特征和基于邮件发送间隔的时间特征,采用步进式判别分析方法,选择具有较强判别能力的行为特征,形成特征子空间,将训练样本投影到特征子空间。使用带标签的训练样本训练支持向量机SVM,形成邮件决策信息,以此检测出垃圾邮件。利用最近3年真实邮件数据,从不同的角度进行了对比实验。结果证明,提出的行为与时间特征能有效提升垃圾邮件检测的准确率和查全率,其整体性能优于其他的基于行为的垃圾邮件检测方法。     

实用高效的垃圾邮件过滤算法

为了提高电子邮件中垃圾邮件的过滤准确率和效率,以朴素贝叶斯算法和K最近邻(KNN：K-Nearest Neighbors)算法为基础,对传统垃圾邮件过滤算法进行改进,给出邮件的合法属性和非法属性的概念,并提出一种新的分类算法--基于邮件合法属性和非法属性的分类算法（SEASF：Simple and Efficient Algorithm to Spam Filter based on legitimate attribute and nonlicet attribute)。SEASF计算复杂度较低,可适用于大规模场合及邮件的在线过滤。将SEASF算法应用于垃圾邮件过滤的结果表明,该算法可大幅度提高分类精度,分类速度也令人满意。     

基于图像相似性检测的图像垃圾邮件过滤方法

日益泛滥的图像垃圾邮件给互联网用户带来极大的不便,如何对其实施有效过滤成为亟待解决的问题.分析图像垃圾邮件过滤中的关键问题邮件图像的特征提取.利用垃圾邮件重复发送、内容高度相似的特点,提出一种过滤图像垃圾邮件的新方法:提取邮件图像的综合特征值,以此作为目标邮件图像与垃圾邮件图像样本库相似性度量的依据,通过检测其是否相似来实现垃圾邮件图像的过滤.实验中,提取邮件图像的颜色、纹理和形状3种底层特征,其描述方法分别为颜色矩、共生矩阵统计量和不变矩.结果表明该方法对图像垃圾邮件的召回率达到95%以上.     

一种基于内容的广告垃圾图像过滤方法

垃圾邮件制造者为了躲避基于文本的垃圾邮件过滤器的过滤，常常将文字嵌入到图像中，产生了大量的广告垃圾图像.为解决这一问题，提出了基于图像内容的垃圾图像过滤方法.首先提取出图像中的文字区域，再利用广告垃圾图像中的文字区域特征进行广告垃圾图像过滤.实验结果表明利用文字区域特征过滤广告垃圾图像是行之有效的.     

以Google AMP为例的网页加速技术研究

网页的加载速度与用户体验紧密相关,决定着用户的去留。本研究以Google AMP网页加速技术为例,对网页加速技术展开研究,并借助其关键技术,对腾讯新闻、CNBC新闻和VOX等网站进行改造,提出基于流行度分布和链路带宽的网页加载时间(Page Load Time, PLT)分析模型。结果表明,Google AMP能有效降低网页加载时间,相对于原版网页,最高可降低4.17%,即使在总体网络环境为最小往返时间(Minimum Round Trip Time, min_RTT)和丢包率较高、网络带宽较低的情况下,网页加载时间最高仍能降低92.46%;同时在启用流行度缓存机制的情况下,最高可再降低44%。本研究对进一步研究其他网页加速技术具有参考价值。