Web日志挖掘中的数据预处理技术

用户访问网站,Web日志中会记录下大量的用户访问信息,通过挖掘这些日志数据可以获得相关页面、相似用户群体和用户访问模式等信息,Web日志挖掘对于优化网站结构、提供个性化服务和构建智能化网站具有重要作用.数据预处理是保证Web日志挖掘质量的重要基础,预处理主要包括数据清洗、用户识别、会话识别、路径补充和结果评价等工作.概述了数据预处理技术,重点介绍了目前常用的会话划分算法和评价标准,并实现了一个数据预处理系统.     

基于web日志挖掘的数据预处理研究

Web日志信息的预处理是Web日志挖掘任务中的重要阶段,也是工作量较大的一部分.Web服务器上的数据是半结构化的,而且含有大量和挖掘无关的记录和冗余项.这就需要对其进行处理以得到适合挖掘的数据事务(Transaction)形式.Web日志预处理就是通过一系列的清洗、集成、转换等来得到合适的待挖掘数据.本文重点介绍了数据清理、用户识别、会话识别、路径补充、事务识别等过程.     

WEB使用挖掘中的数据预处理分析与算法研究

数据预处理是Web使用挖掘的第一阶段,完整的数据预处理过程包括数据净化、用户识别、会话识别、事务识别和路径补充五个环节.在每个环节中,首先给出了详细的过程定义,接着给出了每个环节的数据处理方法或算法,最后指出了未来研究方向.     

Web日志挖掘中数据预处理技术研究

Web日志挖掘的基本思想是将数据挖掘技术应用于Web日志数据源。在数据挖掘研究领域中,数据预处理起着至关重要的作用。Web日志挖掘的数据源最主要的是Web日志,根据Web日志的特点,在预处理过程中的会话识别阶段给出一种基于过滤框架网页与页面访问时间阈值相结合的会话识别方法,实验数据验证说明该方法可以显著地提高Web日志挖掘结果的兴趣性。     

Web日志挖掘数据预处理中的会话识别技术

会话识别是Web日志挖掘的关键步骤,会话识别的质量直接影响后续挖掘的准确性。本文分析了Web日志挖掘的数据预处理过程中的三种会话识别算法,最终选用时间阈值法对安徽国防科技职业学院服务器日志文件进行会话识别。     

Web日志挖掘中数据预处理的研究

Web日志挖掘是Web使用挖掘一个最重要研究领域,数据预处理是Web日志挖掘中的关键技术之一。论述了数据预处理各主要步骤的方法和技术,重点研究了用户识别和会话识别。     

Web日志挖掘中数据预处理方法研究

数据预处理在Web日志挖掘过程中起着至关重要的作用,直接影响日志挖掘的质量和结果。 文中分析了数据预处理的主要过程,并用站点首页结合动态时间阈值的方法对会话识别进行了改进。实验结果表明, 改进后的会话识别方法能更有效的识别出用户的真实会话。     

Web使用记录挖掘前的事务识别方法

Web使用记录挖掘是采用数据挖掘技术对Web服务器上日志文件中的数据进行挖掘,以发现用户访问Web的方式及页面间存在的某种关联,从而可以为网站设计、提供网络个性化服务及其他电子商务活动提供决策依据.事务识别是Web使用记录挖掘前的一种数据预处理技术,本文介绍事务识别的基本方法,并给出一个最大前向引用序列事务识别新方法.     

基于模糊聚类的网站用户分类

文章给出了模糊聚类在网站用户分析中的应用。首先对web日志挖掘作了系统的介绍,包括对服务器上日志结构的分析和对数据预处理过程的描述,然后讨论了用户模糊聚类的算法,并用实例证明了模糊聚类在web用户聚类应用中的可行性。为web站点的个性化服务提供了基础。     

面向敏捷制造的MMS集成通信系统

敏捷制造的发展需要网络支撑,借助Ｉｎｔｅｒｎｅｔ和Ｗｅｂ可以将分立的局域网造成的“信息孤岛”加以集成,从而真正解决“自动化孤岛”问题。本文简要介绍了ＭＭＳ协议和Ｗｅｂ应用技术,提出了传统ＭＭＳ局域网应用系统连入Ｉｎｔｅｒｅｎｔ／Ｉｎｔｒａｎｅｔ并实现基于Ｗｅｂ控制的策略,在此基础上,结合单元式空调机远程监控系统的应用实例,实现了基于Ｗｅｂ的ＭＭＳ集成监控系统。     

一种分布式Web使用模式挖掘模型及算法

给出了一种分布式Web日志挖掘模型DWLMS. 根据对挖掘过程及算法进行分析,提出了一种基于DWLMS的局部频繁路径的更新算法LFP和全局频繁路径的更新算法GFP,较好地解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难. 在实验室对该方法进行了简单实现和实际日志数据的测试,结果表明了算法的有效性.     

Web日志挖掘改进网站结构的研究

Web日志挖掘是目前Web挖掘研究的一个热点课题.针对Web日志挖掘中存在的问题,研究和分析了一个基于网站访问矩阵的路径挖掘算法.在此基础上设计和实现了一个Web日志挖掘系统(WLMS),通过发现用户访问的最优路径和网站访问的统计结果,改进网站性能和组织结构,提高用户查找信息的质量和效率.     

一种有效的Web使用挖掘体系结构

对Web挖掘的特征、分类及与其相关的技术和工具进行了分析,针对现有的Web使用挖掘研究中缺乏统一而有效的结构模型的问题,提出了一种有效的Web使用挖掘的体系结构,并详细地分析了利用该结构模型处理Web使用挖掘的过程,最后,利用某大学网站的Web日志数据验证了该结构的有效性.     

网络教育资源浏览的导航模型及其挖掘算法

将Web使用挖掘应用到网络教育领域,分析了其挖掘过程,包括数据采集、数据预处理、模式发现和模式分析;通过建立网络教育资源导航模型,并利用蚁群算法对Web日志数据中使用者的浏览行为进行挖掘;提出一个新的导航路径挖掘算法,可以发现有价值的用户浏览模式,指导用户对教育资源作进一步的搜索,还可以将训练好的网络图用于用户的个性化定制服务。     

基于Web挖掘的用户个性化服务研究

随着WWW的广泛应用及相应的Web技术的出现．使数据挖掘的研究进入了一个新的阶段。Web日志挖掘就是运用数据挖掘的思想来对服务器日志进行分析处理，解决网络用户的个性化服务问题。论文主要论述了一个更新的频繁路径集的Web挖掘算法在网络用户个性化服务中的应用。     

基于蚁群算法的用户导航模式挖掘的研究

Web使用挖掘是将数据挖掘技术应用于Web日志数据,从而发现用户行为模式的过程;在电子商务的发展进程中,Web使用挖掘的重要性与日俱增;用户导航模式的挖掘是Web使用挖掘的一个重要研究领域,是优化Web站点框架设计的根本方法;该文首先介绍了用户导航模式挖掘的现状,然后探讨了蚁群算法用于用户导航模式挖掘的可行性,最后对应用的步骤提出了构想。     

Web日志挖掘技术应用研究

随着Internet的迅速发展,Web在人们的日常生活和工作中的地位日益显著.Web日志挖掘就是通过对Web日志记录的挖掘,发现用户访问的Web页面的浏览模式,从而进一步分析和研究Web日志记录中的规律,改进Web站点的性能和组织结构,提供个性化服务.本文首先分析了Web日志的分布和特点,再对Web日志挖掘中的两个阶段即数据预处理和日志挖掘算法做了详细介绍,最后对Web日志挖掘技术做了展望.     

基于Web日志的高精度聚类算法

提出一种Web日志挖掘算法,该算法首先以Web站点的URL为行、以用户的UserID为列,建立URL- UserID关联矩阵,元素值为用户的访问次数;然后,对行向量进行相似性度量获得用户会话粗聚类,最后,利用层次结构对比聚类算法,对用户会话粗聚类进行进一步地处理得到更高精度的聚类,实验表明该算法在提高聚类精度方面卓有成效。     

Web日志挖掘

提出了一种新颖的MBP算法，它利用关联规则挖掘发现的频繁项目集以加快速度，能找出所有满足阀值约束的频繁浏览路径，该算法是有很效的，同时，针对Web浏览和日志文件固有的模糊性和不确定性，还讲座了Web面面的模糊聚类问题，最后，对发现的知识讨论了其在推荐系统及自适应Web站点中的应用并给出了相应算法。     

Web日志挖掘中重构网站结构技术

提出了一种重构网站结构的方法，并将此方法应用于Web日志挖掘的数据预处理中．实验表明，本方法能够更好地还原用户访问情景，为Web日志挖掘提供有效数据。