Web日志挖掘中的数据预处理技术

用户访问网站,Web日志中会记录下大量的用户访问信息,通过挖掘这些日志数据可以获得相关页面、相似用户群体和用户访问模式等信息,Web日志挖掘对于优化网站结构、提供个性化服务和构建智能化网站具有重要作用.数据预处理是保证Web日志挖掘质量的重要基础,预处理主要包括数据清洗、用户识别、会话识别、路径补充和结果评价等工作.概述了数据预处理技术,重点介绍了目前常用的会话划分算法和评价标准,并实现了一个数据预处理系统.     

Web用户访问模式挖掘

随着网站内容的不断丰富和访问量的增加,网站结构变得越来越复杂,导致信息获取和推送都比较困难.将数据挖掘技术应用于用户访问模式,形成了Web访问模式挖掘.Web访问模式挖掘是从Web访问日志中挖掘有用的用户访问信息,据此可以形成关联规则、序列模式、聚类模式和分类模式等4类信息,这对于优化站点结构、为不同类别的用户提供个性化服务,有效地实现信息获取和信息推送是非常必要的.Web访问模式挖掘是目前数据挖掘领域的一个重要研究课题,结合研究工作,从概念、方法、任务、过程、应用及面临的挑战等方面对其进行了较详细的评述.     

基于多层次关联规则的Web日志挖掘

经典关联规则挖掘在Web日志挖掘应用中已经比较成熟。在此基础上,针对某些商业网站的商品板块间存在层次关系,将多层次关联规则挖掘引入Web日志挖掘,能够在细节程度更低的层次或不同的细节层次间深入、全面地提供用户浏览商品过程中的频繁访问路径和频繁访问页组,以优化网站链接,为访问网站的用户提供更能满足需求的服务。本文以淘宝网女装/女士精品销售版块的链接页面为例进行验证说明。     

基于最长前缀频繁子路径树的Web日志挖掘算法

现有的Web日志频繁访问路径挖掘算法往往不能在追求时间效率的同时准确挖掘出符合用户浏览顺序的频繁路径.提出了有效挖掘Web日志中频繁访问路径的算法,将事务数据库转换为Web访问路径树,根据支持度进行剪枝构造最长前缀频繁子路径树,然后进行频繁路径挖掘,实验证实了此方法的有效性,并分析了支持度设置对频繁路径生成的影响.     

基于多层次关联规则的Web日志挖掘

经典关联规则挖掘在Web日志挖掘应用中已经比较成熟。在此基础上,针对某些商业网站的商品板块间存在层次关系,将多层次关联规则挖掘引入Web日志挖掘,能够在细节程度更低的层次或不同的细节层次间深入、全面地提供用户浏览商品过程中的频繁访问路径和频繁访问页组,以优化网站链接,为访问网站的用户提供更能满足需求的服务。本文以淘宝网女装/女士精品销售版块的链接页面为例进行验证说明。     

基于DWLMS模型的分布式Web用户访问模式挖掘

大型网站为了提高访问效率,通常建立多个镜像站点,这导致获取网站全局的用户访问模式知识变得困难.该文提出一种分布式Web日志挖掘模型DWLMS,并以路径分析技术为例,提出了基于DWLMS的局部频繁路的更新算法LFP和全局频繁路径的更新算法GFP,解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难.对提出的算法进行了实现和实际日志数据的测试,结果证明了算法的有效性.     

基于Web的数据挖掘在电子商务中的应用

Web数据挖掘应用于电子商务系统,已成为数据挖掘热点研究.Web服务器日志中保存了大量的用户访问电子商务系统的记录,运用数据挖掘技术对数据进行处理和分析,构造频繁访问路径挖掘算法,获取用户的购物特性和习惯,达到向每个用户推荐产品的目的,进一步指导电子商务网站建设.     

Web日志挖掘技术应用研究

随着Internet的迅速发展,Web在人们的日常生活和工作中的地位日益显著.Web日志挖掘就是通过对Web日志记录的挖掘,发现用户访问的Web页面的浏览模式,从而进一步分析和研究Web日志记录中的规律,改进Web站点的性能和组织结构,提供个性化服务.本文首先分析了Web日志的分布和特点,再对Web日志挖掘中的两个阶段即数据预处理和日志挖掘算法做了详细介绍,最后对Web日志挖掘技术做了展望.     

Web日志挖掘技术在电子商务网站中的应用

在电子商务网站中,根据客户的访问日志挖掘出有价值的信息,划分客户群体和发现潜在的客户,使网站可以提供个性化信息服务.Web日志挖掘是数据挖掘在Web页面上的应用,给出Web日志挖掘的步骤和方法,对Web日志挖掘工具进行分析,并应用到电子商务网站中,取得较好的效果.     

基于web日志挖掘构建个性化推荐系统

本文介绍Web日志挖掘和个性化推荐系统概念,对日志挖掘出访问网站的相似爱好的用户群体、页面之间的内在联系,以此改进网站性能和组织结构,提高用户查找信息的质量和效率。     

基于XML的Web日志预处理

提出使用XML文件的方法存储不同Web日志的格式,采用一个通用的方法分析原始的Web日志,并对日志做预处理、产生Web日志挖掘系统所需的数据,从而使Web日志挖掘更快速和准确。     

Web日志挖掘中重构网站结构技术

提出了一种重构网站结构的方法，并将此方法应用于Web日志挖掘的数据预处理中．实验表明，本方法能够更好地还原用户访问情景，为Web日志挖掘提供有效数据。     

Web挖掘技术及其在网络教学评价中的应用

结合Web日志挖掘技术和数据立方体技术应用于网络教学评价体系,以网络教学体系的Web服务端和客户端的日志作为数据源,使用数据挖掘技术采集有用的数据进行分析抽取,建立数据库,再应用数据立方体技术、OLAP进行分析处理,得到所需的评价结果.结果表明,此算法可以客观的评价网络教学结果.     

一种改进的Web日志预处理技术及其实现

本文针对Web日志挖掘问题的困难和现状,提出了一种Web日志预处理结果的框架页面筛选技术（Frame Page Filtering Technology以下简称FPFT）。传统的日志预处理技术并不能将框架页面（Frame Page以下简称FP）和子框架页面（Subset Frame Page以下简称SFP）作为一个整体考虑,结果导致FP和SFP大量出现在挖掘结果中,使得挖掘结果的兴趣性降低。为了消除FP和SFP带来的负面作用,本文提出日志预处理阶段的FPFT技术,以消除FP对挖掘算法的影响,发现用户真正感兴趣的挖掘结果。     

Web日志中挖掘用户浏览模式的研究

研究了Web日志挖掘的机理,提出了使用频繁遍历径作为用户浏览模式,并在分析挖掘频繁遍历路径的问题特征和对其进行形式化描述的基础上,进一步提出了一种在Web日志中挖掘频繁遍历路径的类Apriori算法,该算法能够正确、快速地从Web日志中抽取频繁遍历路径。     

基于改进的MapReduce模型的Web挖掘

基于单一服务器的Web挖掘系统在处理海量数据集时计算能力不足,针对该问题,提出了一种基于云计算的挖掘方法。将大数据集和挖掘任务分解到多台计算机上并行处理。实现了一个基于Hadoop开源框架的并行Web挖掘平台,同时提出了一种改进的MapReduce模型——MapReduce-LP。并通过对电子商务系统中Web日志的挖掘工作验证了系统的有效性和新模型的高效性。实验表明,在集群中使用云计算技术处理大数据集,可以明显提高挖掘效率。     

Web日志挖掘在中小型电子商务网站中的应用探析

介绍了Web日志挖掘过程,对Web日志挖掘结果对改进电子商务的作用进行了分析,从应用的角度将Web日志挖掘技术与电子商务结合进行探讨。     

Web日志挖掘中数据预处理方法研究

数据预处理在Web日志挖掘过程中起着至关重要的作用,直接影响日志挖掘的质量和结果。 文中分析了数据预处理的主要过程,并用站点首页结合动态时间阈值的方法对会话识别进行了改进。实验结果表明, 改进后的会话识别方法能更有效的识别出用户的真实会话。     

Frame页面过滤算法在Web日志挖掘预处理中的应用

W eb日志挖掘是将数据挖掘技术应用到W eb服务器的日志中,发现web用户的行为模式.在介绍了典型的数据预处理技术的基础之上,指出Fram e页面降低了挖掘结果的兴趣性,并提出相应的解决方法-Fram e页面过滤算法消除其影响.通过实验数据对该算法进行验证,说明Fram e页面过滤算法可以显著地提高W eb日志挖掘结果的兴趣性.