高校图书馆Web日志分析研究

高校图书馆Web日志数据库中记录着大量的读者信息,对Web日志进行分析有助于图书馆获取读者需求信息,提高服务质量和效率。介绍了Web日志的格式、日志分析的原理和使用的分析软件,论述了日志分析在高校图书馆中的具体应用。     

基于大数据技术的高校图书馆电子资源访问日志分析

传统图书馆电子资源访问日志工具采集周期长、处理效率低下,无法支持高校图书馆大规模电子资源的日志采集和分析需求。大数据技术为图书电子资源的访问日志分析提供了值得借鉴的方法和手段。本文研究了一种采用Web日志工具LogStash和Elasticsearch设计实现的高校图书电子资源访问日志的实时采集和快速查询分析方法;给出了日志采集的大数据工具的选择、索引的建立方法,以及日志分析的处理流程,文中采用Kibana工具实现日志可视化分析。     

基于IDA技术的Honeynet日志挖掘研究

在构建Honeynet原型系统和安全可靠的远程日志服务器的基础上,对远程日志服务器上的日志数据进行分析和挖掘.将对Honeynet日志挖掘分析架构进行设计,实现对日志数据的预处理,并通过IDA对预处理的日志数据进行挖掘.最后对挖掘结果进行分析,达到有效防止网络攻击的目的.     

基于Hadoop与Storm的日志实时处理系统研究

日志数据记录着丰富的信息,具有较高的实用价值,但在当今大数据时代环境下,数据量的陡增为日志数据的处理带来了挑战.为了有效地解决海量日志数据处理面临的瓶颈问题,本文整合Hadoop和Storm分布式框架,构建一种融合了实时计算与离线计算的分布式日志实时处理系统.系统架构由数据服务层、业务逻辑层和Web展示层组成,数据服务层使用Flume实时采集日志数据,并分别采用Kafka与HBase完成实时日志流数据的缓冲和系统数据的持久化存储;业务逻辑层利用Storm对实时日志流数据进行实时分析,并使用Hadoop的计算引擎MapReduce结合数据挖掘技术完成对海量历史日志数据的离线分析,离线分析的结果为实时分析提供支持、参考;Web展示层负责日志数据及其分析结果的展示.实验结果表明,系统能有效地解决日志数据的采集存储、实时日志流数据的实时分析和历史日志数据的离线分析等问题,并成功地融合了Hadoop与Storm各自的优势,为日志数据的采集和分析系统的构建提供新的技术参考.     

基于XML的Web日志预处理

提出使用XML文件的方法存储不同Web日志的格式,采用一个通用的方法分析原始的Web日志,并对日志做预处理、产生Web日志挖掘系统所需的数据,从而使Web日志挖掘更快速和准确。     

用Fluent与MongoDB构建高效海量日志采集系统

由于传统方法不能满足海量日志存储的需求,对于海量日志的分析传统方法也出现了瓶颈问题,所以本文通过不同类型存储介质对海量日志读写性能实验,并与日志采集软件相结合提出了解决存储海量日志的一种方案:用Fluent(日志采集软件)与MongoDB来构建日志采集系统。实验表明:这种方式与传统存储方式相比,突破单机环境下日志存取的瓶颈,大幅度提高海量日志的存取速度,简化了日志分析与统计操作。在MongoDB集群环境下,高并发的读写满足了海量日志存取的需求,并且这种集群具有可扩展性和高可用性。     

Web日志挖掘技术应用研究

随着Internet的迅速发展,Web在人们的日常生活和工作中的地位日益显著.Web日志挖掘就是通过对Web日志记录的挖掘,发现用户访问的Web页面的浏览模式,从而进一步分析和研究Web日志记录中的规律,改进Web站点的性能和组织结构,提供个性化服务.本文首先分析了Web日志的分布和特点,再对Web日志挖掘中的两个阶段即数据预处理和日志挖掘算法做了详细介绍,最后对Web日志挖掘技术做了展望.     

监理日志填写现状及对策

本文在工程监理日志填写现状的基础上,分析了监理日志填写不规范的主要原因,提出了监理日志记录的方法和记录内容,并结合实践,指出了监理日志的记录重点和注意点。     

基于Linux的日志分析

日志是进行系统和网络诊断的重要依据,尽管日志文件中包含着大量有用的信息,但这些信息只有在经过深入挖掘之后才能够最大限度地发挥作用。本文首先讨论了能够从日志的用途入手,介绍了日志的一些类型。然后又从具体的HTTP和FTP服务中产生的日志进行分析,详细讨论了日志文件的使用。     

日志服务器的构建及自动化存储

从系统安全管理和服务器日志的特点着手,分析了构建日志服务器的重要性.依据不同的操作系统平台,讨论并设计了日志自动化存储的方法.     

邮件服务器日志分析的原理与实现

安全审计是安全系统中一项必要的安全机制,对邮件系统,可以采用对邮件服务器日志分析的方法来进行安全审计．通过对邮件服务器日志分析原理的分析与研究,给出了邮件服务器日志分析的实现过程和方法．     

NOSQL在WEB日志分析中的应用

本文主要分析NOSQL在WEB日志分析中的应用,使用MongoDB数据库和HadOOP进行系统架构,使用Map Reduce方法处理分析WEB日志数据。在WEB前台显示中,本文将WEB日志统计分为若干个核心模块,并使用jQuery技术进行WEBUI的设计。     

基于ELKB日志管理系统的应用

针对现阶段云平台应用日志运维效率低的问题,研究一种基于ELKB架构的日志管理方案。该方案可实现对日志数据的高效采集和统一存储,并提供日志查询和可视化分析的功能。详细阐述日志的采集和存储方案,提出优化采集器Filebeat基础参数的方法,日志存储过程部署Elasticsearch集群模式,并总结Elasticsearch集群节点的性能提高方法,以此为基础搭建日志可视化管理系统。实验结果表明：参数优化后的Filebeat进行日志采集时,内存占用率与默认配置相比降低47%;Elasticsearch集群模式在进行关键字查询时的数据吞吐率高于单机服务器250req/s,且集群节点的段合并优化有效降低了日志的索引内存占用率,内存优化百分比介于11.9%和22.1%之间。可见日志管理系统部署方式灵活,有效提高了日志采集和检索效率,为云平台日志管理提供了可行的方案。     

基于数据中台的日志解析技术

数据中台是一种利用数据技术为客户提供高效服务的模式.日志是数据中台记录系统运行状态的一种方式，它可以为故障诊断、性能优化、系统安全等任务提供支持，分析日志中的信息对中台日常运维具有重要意义.日志解析是日志挖掘的重要步骤，它将非结构化的日志文本转换为结构化的数据.综述了日志解析算法和评估方法，分析了工业界和学术界的解决方案，总结了日志解析算法的主要类别和特点，比较了不同算法在不同数据集上的性能和效果.发现日志解析算法缺乏统一的标准和数据集，导致结果难以对比和验证.针对这种情况，对未来的研究方向提出建议，应关注建立统一的评估指标和日志数据集，促进工业界和学术界的交流，以提高日志解析算法的适用性和可靠性，对日志解析领域的研究具有参考价值.     

基于虚拟机的多个安全级别的日志生成方法

该文的研究目的是提高日志在计算机系统中安全,为数据追踪和分析提供数据的修改情况的可靠依据。与数据类似,日志也有不同的安全级别(SL)。当不同权限的访问者做日志分析、审计等工作时,需要不同SL的日志,可以用多个虚拟机(VM)得到多个SL的数据文件日志。为此,根据数据文件受保护程度,把它们隔离存放在多个SL的工作VM内。当数据文件被访问时,用虚拟机监视器截取每个访问操作,并在日志VM内生成相应的日志。由于工作VM的SL不同,对应的日志VM的SL不同,所得到的日志的SL也各不相同。当VM之间共享文件或者由工作VM向日志VM传递数据时,访问控制模块按规则控制数据的流向。在带有sHype的虚拟机监视器xen的基础上所做实验表明:用多个VM生成多级安全日志的方法对数据文件访问性能的影响比较低。     

基于Windows日志的安全审计技术研究

事件日志记录着操作系统或应用程序中重要的事件。通过对日志进行分析,发现所需事件信息和规律是安全审计的根本目的。文章讨论了对Windows系统日志文件进行集中式统一管理,采用API钩子技术实现Windows下的审计数据的获取,并通过对Windows日志的分析给出了一种基于主机日志分析的安全审计通用模型。     

基于TCM的可信事件日志生成方法

系统事件日志记录是系统安全审计最重要的数据源.现有的日志保护机制主要解决事件日志生成后的数据完整性保护方面的问题,但对于日志数据生成阶段的可信生成方面还没有解决.本文主要贡献是提出了一种基于TCM模块的可信事件日志生成方法,为事件日志提供了生成时的数据完整性、可认证性等安全特性,增强了事件日志数据的可信性,通过分析证明了本方法的有效性和可实施性.     

基于SN并行结构的网络取证日志隐匿安全管理

针对目前应用于网络取证的日志结构多样,存贮分散,缺乏证据能力保证和难以进行综合取证分析的问题,提出并建立一种基于无共享资源SN(shared nothing)并行结构的安全日志隐匿管理系统.该系统将分散的异构的日志记录由日志代理和管理网关收集并转发到多个存贮节点.各存贮节点采用信息分配算法IDA(information dispersal arithmetic)将日志记录分散为n份并存贮相应分片,计算所有分片单向散列值并保存.取证分析时,管理网关利用任意m(m相似文献   

基于XML的网络日志分析

针对日志分析软件发展过程中面临的问题,提出了用JAVA语言,XML(可扩展标志语言),以及XSL(可扩展样式语言)进行日志分析的设计方法,运用JAVA语言把网络日志转换为XML的标准格式,通过XSL对XML文件进行统计分析,提取日志中有价值的信息,方便地完成对日志文件的分析,并使日志分析的程序与数据能够在平台间进行无缝移植。     

基于关键属性约束的关联规则挖掘在日志分析中的应用

日志是计算机取证,入侵检测分析的重要数据来源,运用关联规则挖掘算法对日志进行分析是获取日志中所蕴含有用信息的重要方法.针对基于置信度一支持度框架的常用关联规则挖掘算法在日志分析中存在的不足,引入日志关键属性的概念,提出了基于关键属性约束的关联规则挖掘算法.实验结果表明,该算法能有效阻止无趣规则的产生,提高挖掘结果的有效性.