基于XML的Web日志预处理

提出使用XML文件的方法存储不同Web日志的格式,采用一个通用的方法分析原始的Web日志,并对日志做预处理、产生Web日志挖掘系统所需的数据,从而使Web日志挖掘更快速和准确。     

高校图书馆Web日志分析研究

高校图书馆Web日志数据库中记录着大量的读者信息,对Web日志进行分析有助于图书馆获取读者需求信息,提高服务质量和效率。介绍了Web日志的格式、日志分析的原理和使用的分析软件,论述了日志分析在高校图书馆中的具体应用。     

基于XML的网络日志分析

针对日志分析软件发展过程中面临的问题,提出了用JAVA语言,XML(可扩展标志语言),以及XSL(可扩展样式语言)进行日志分析的设计方法,运用JAVA语言把网络日志转换为XML的标准格式,通过XSL对XML文件进行统计分析,提取日志中有价值的信息,方便地完成对日志文件的分析,并使日志分析的程序与数据能够在平台间进行无缝移植。     

面向Windows平台的日志远程采集系统研究

对日志进行远程集中化管理是日志管理的有效手段.但由于日志格式不统一,传统上很难将大型网络中Windows系统上的各类日志远程采集到集中的日志服务器.介绍了Windows平台上常见系统日志的概况,以及一种新的支持多平台且功能强大的日志采集工具nxlog,它可以非常方便地部署到Windows系统上并以客户端代理或者服务器模式运行,以此提出了基于nxlog的日志远程采集系统方案.实际运行结果表明,该方案具有实用、高效的特点,可有效解决大型网络中Windows系统日志远程采集的问题.     

基于日志定制的Web使用数据挖掘预处理研究

Web使用数据挖掘是为网站经营管理和结构调整提供决策支持的主要手段，其中的数据预处理工作关系到挖掘的质量。本文首先针对各类数据分别定义其数据模型；然后根据服务器托管网站的实际工作环境，针对现有预处理工具仅仅局限于固定的日志格式的不足，提出了定制日志的思想，并结合前面定义的数据模型，详细描述了一个预处理工具原型WUMPA。     

统一身份认证日志集中管理与账号风险检测

为提升统一身份体系的安全性,检测账号异常登录和盗用事件,以上海交通大学为例,梳理了接受统一身份账号登录的所有网络服务,对各入口认证日志做分布式采集和格式统一,实现了身份认证日志的集中审计管理.基于对用户校园网服务使用习惯的分析,设计了基于行为的账号风险评估算法,利用地址数据和威胁情报对日志进行扩充,根据用户使用模式分析标注正常登录和风险访问行为,对账户提取16种特征后使用机器学习方法进行异常检测.实验结果表明,使用随机森林算法分类可在0.1%的低误报率条件下取得89.5%的检出率,效果明显优于传统基于异地登录检测的方法.将检测模型应用于实际日志1个月,发现了375个存在风险的账号.     

InnoDB重做日志深入分析

在Inno DB的引擎实现中,为了实现事务的持久性,针对重做日志深入分析,构建了重做日志系统。重做日志由内存日志缓冲区(redo log buffer)和重做日志文件两部分组成,日志缓冲区是为了加快写日志的速度,而重做日志文件是为日志数据提供持久化的作用。     

用Fluent与MongoDB构建高效海量日志采集系统

由于传统方法不能满足海量日志存储的需求,对于海量日志的分析传统方法也出现了瓶颈问题,所以本文通过不同类型存储介质对海量日志读写性能实验,并与日志采集软件相结合提出了解决存储海量日志的一种方案:用Fluent(日志采集软件)与MongoDB来构建日志采集系统。实验表明:这种方式与传统存储方式相比,突破单机环境下日志存取的瓶颈,大幅度提高海量日志的存取速度,简化了日志分析与统计操作。在MongoDB集群环境下,高并发的读写满足了海量日志存取的需求,并且这种集群具有可扩展性和高可用性。     

基于插件技术的日志采集Agent系统的设计与实现

为了从多源日志信息中灵活地采集数据,在代理技术的基础上提出采用插件技术来实现多源日志采集Agent系统.日志采集工作由多个采集代理来完成,每个代理可以完成一个或多个日志源的数据采集,同时每个日志源被当作代理上的一个插件.基于此设计了日志采集Agent系统的体系结构和工作流程,并通过插件配置和正则表达式来实现各日志源的采集知识定义,从而使多源日志的采集问题得到较好地解决.与其他日志采集系统相比,该Agent系统不仅可以解决多源日志的采集工作,而且具有良好的扩展性和高效性.     

指导学生正确撰写顶岗实习日志

实践日志在高职学生实践过程中起着非常重要的作用。针对目前实践日志存在的问题,从目的、要求和记录内容三方面阐述了实践日志和施工日志的不同之处,进而指出实践日志记录的要点。     

基于大数据技术的高校图书馆电子资源访问日志分析

传统图书馆电子资源访问日志工具采集周期长、处理效率低下,无法支持高校图书馆大规模电子资源的日志采集和分析需求。大数据技术为图书电子资源的访问日志分析提供了值得借鉴的方法和手段。本文研究了一种采用Web日志工具LogStash和Elasticsearch设计实现的高校图书电子资源访问日志的实时采集和快速查询分析方法;给出了日志采集的大数据工具的选择、索引的建立方法,以及日志分析的处理流程,文中采用Kibana工具实现日志可视化分析。     

基于ELKB日志管理系统的应用

针对现阶段云平台应用日志运维效率低的问题,研究一种基于ELKB架构的日志管理方案。该方案可实现对日志数据的高效采集和统一存储,并提供日志查询和可视化分析的功能。详细阐述日志的采集和存储方案,提出优化采集器Filebeat基础参数的方法,日志存储过程部署Elasticsearch集群模式,并总结Elasticsearch集群节点的性能提高方法,以此为基础搭建日志可视化管理系统。实验结果表明：参数优化后的Filebeat进行日志采集时,内存占用率与默认配置相比降低47%;Elasticsearch集群模式在进行关键字查询时的数据吞吐率高于单机服务器250req/s,且集群节点的段合并优化有效降低了日志的索引内存占用率,内存优化百分比介于11.9%和22.1%之间。可见日志管理系统部署方式灵活,有效提高了日志采集和检索效率,为云平台日志管理提供了可行的方案。     

基于IDA技术的Honeynet日志挖掘研究

在构建Honeynet原型系统和安全可靠的远程日志服务器的基础上,对远程日志服务器上的日志数据进行分析和挖掘.将对Honeynet日志挖掘分析架构进行设计,实现对日志数据的预处理,并通过IDA对预处理的日志数据进行挖掘.最后对挖掘结果进行分析,达到有效防止网络攻击的目的.     

基于Linux的日志分析

日志是进行系统和网络诊断的重要依据,尽管日志文件中包含着大量有用的信息,但这些信息只有在经过深入挖掘之后才能够最大限度地发挥作用。本文首先讨论了能够从日志的用途入手,介绍了日志的一些类型。然后又从具体的HTTP和FTP服务中产生的日志进行分析,详细讨论了日志文件的使用。     

基于关联规则的虚拟主机网站日志挖掘

网站日志记录了用户的浏览行为，通过挖掘网站日志，可以分析用户行为，为优化网站结构提供有价值的数据．但是很多虚拟主机网站没有日志记录功能，这给日志挖掘带来了极大的不便．本文介绍一种生成日志的方法，并利用关联规则算法对其进行日志挖掘，发现用户的访问模式，帮助网站改进页面结构．     

基于TCM的可信事件日志生成方法

系统事件日志记录是系统安全审计最重要的数据源.现有的日志保护机制主要解决事件日志生成后的数据完整性保护方面的问题,但对于日志数据生成阶段的可信生成方面还没有解决.本文主要贡献是提出了一种基于TCM模块的可信事件日志生成方法,为事件日志提供了生成时的数据完整性、可认证性等安全特性,增强了事件日志数据的可信性,通过分析证明了本方法的有效性和可实施性.     

基于虚拟机的多个安全级别的日志生成方法

该文的研究目的是提高日志在计算机系统中安全,为数据追踪和分析提供数据的修改情况的可靠依据。与数据类似,日志也有不同的安全级别(SL)。当不同权限的访问者做日志分析、审计等工作时,需要不同SL的日志,可以用多个虚拟机(VM)得到多个SL的数据文件日志。为此,根据数据文件受保护程度,把它们隔离存放在多个SL的工作VM内。当数据文件被访问时,用虚拟机监视器截取每个访问操作,并在日志VM内生成相应的日志。由于工作VM的SL不同,对应的日志VM的SL不同,所得到的日志的SL也各不相同。当VM之间共享文件或者由工作VM向日志VM传递数据时,访问控制模块按规则控制数据的流向。在带有sHype的虚拟机监视器xen的基础上所做实验表明:用多个VM生成多级安全日志的方法对数据文件访问性能的影响比较低。     

Web日志挖掘中数据预处理技术研究

Web日志挖掘的基本思想是将数据挖掘技术应用于Web日志数据源。在数据挖掘研究领域中,数据预处理起着至关重要的作用。Web日志挖掘的数据源最主要的是Web日志,根据Web日志的特点,在预处理过程中的会话识别阶段给出一种基于过滤框架网页与页面访问时间阈值相结合的会话识别方法,实验数据验证说明该方法可以显著地提高Web日志挖掘结果的兴趣性。     

基于关联规则的虚拟主机网站日志挖掘

网站日志记录了用户的浏览行为，通过挖掘网站日志，可以分析用户行为，为优化网站结构提供有价值的数据．但是很多虚拟主机网站没有日志记录功能，这给日志挖掘带来了极大的不便．本文介绍一种生成日志的方法，并利用关联规则算法对其进行日志挖掘，发现用户的访问模式，帮助网站改进页面结构．     

基于Hadoop与Storm的日志实时处理系统研究

日志数据记录着丰富的信息,具有较高的实用价值,但在当今大数据时代环境下,数据量的陡增为日志数据的处理带来了挑战.为了有效地解决海量日志数据处理面临的瓶颈问题,本文整合Hadoop和Storm分布式框架,构建一种融合了实时计算与离线计算的分布式日志实时处理系统.系统架构由数据服务层、业务逻辑层和Web展示层组成,数据服务层使用Flume实时采集日志数据,并分别采用Kafka与HBase完成实时日志流数据的缓冲和系统数据的持久化存储;业务逻辑层利用Storm对实时日志流数据进行实时分析,并使用Hadoop的计算引擎MapReduce结合数据挖掘技术完成对海量历史日志数据的离线分析,离线分析的结果为实时分析提供支持、参考;Web展示层负责日志数据及其分析结果的展示.实验结果表明,系统能有效地解决日志数据的采集存储、实时日志流数据的实时分析和历史日志数据的离线分析等问题,并成功地融合了Hadoop与Storm各自的优势,为日志数据的采集和分析系统的构建提供新的技术参考.