基于Hadoop的分布式日志分析系统

就如何防御泛洪攻击问题,建立了基于Hadoop的分布式日志分析系统.通过快速提炼访问日志中每个IP地址的请求次数,获取其中请求频率较大的异常IP以有效甄别攻击源,进而为解决泛洪攻击提供重要的现实依据.通过实验,我们不仅验证出分布式日志分析模式较单机模式的巨大时效性优势,还搭建由不同文件系统为基底的虚拟机担当Slaves...     

基于Hadoop的校园网站日志系统的设计与实现

每所高校校园网内成百上千的网站每天产生的Web访问日志量级都以千万计.利用大数据技术对这些海量、实时的数据进行集中搜集和长期存储,并通过后期大数据分析来挖掘这些日志的价值,无论从管理运维角度,还是从信息安全视角都具有实际意义.本文以上海交通大学为例,介绍了利用Hadoop大数据平台,存储并分析校园网内数千网站日志的系统设计和实现.     

基于Hadoop与Storm的日志实时处理系统研究

日志数据记录着丰富的信息,具有较高的实用价值,但在当今大数据时代环境下,数据量的陡增为日志数据的处理带来了挑战.为了有效地解决海量日志数据处理面临的瓶颈问题,本文整合Hadoop和Storm分布式框架,构建一种融合了实时计算与离线计算的分布式日志实时处理系统.系统架构由数据服务层、业务逻辑层和Web展示层组成,数据服务层使用Flume实时采集日志数据,并分别采用Kafka与HBase完成实时日志流数据的缓冲和系统数据的持久化存储;业务逻辑层利用Storm对实时日志流数据进行实时分析,并使用Hadoop的计算引擎MapReduce结合数据挖掘技术完成对海量历史日志数据的离线分析,离线分析的结果为实时分析提供支持、参考;Web展示层负责日志数据及其分析结果的展示.实验结果表明,系统能有效地解决日志数据的采集存储、实时日志流数据的实时分析和历史日志数据的离线分析等问题,并成功地融合了Hadoop与Storm各自的优势,为日志数据的采集和分析系统的构建提供新的技术参考.     

基于IIS和web日志的关联关系的挖掘

针对隐藏在web日志的大量记录中的规律性开展研究，提出了一种基于微软的ⅡS合理构建web日志并进行数据预处理的方案，在此基础上运用Apriori算法挖掘用户访问的页面间的关联关系，将数据预处理过程提前到web日志的建立过程中，可极大地降低数据准备的复杂性，将日志数据导入关系数据库中进行净化处理，大幅度减少了工作量，该方案可用于ⅡS下的商业网站。     

Web日志挖掘系统

针对Web的日志记录进行分析,建立一个Web日志挖掘系统．网络管理人员根据Web日志的分析结果改进网站的设计,实现网站的有效管理以保证网络的安全．     

基于关联规则web日志挖掘方法的研究

传统的关联规则挖掘技术是从包含一组事务记录的数据库中发现一些事务项目间关系的信息。本文的工作,是致力于将关联规则的概念引入到Web日志挖掘系统中,将用户的访问路径以关联规则的形式表现出来,其目的在于从用户访问超文本系统的行为中发现用户的访问模式。将超文本系统看成是一种有向加权图,经过对可信度和支持度的重新定义,使之适合于用来表示用户的访问路径,并引出复合关联规则挖掘算法。     

基于Hadoop建立云计算系统

云计算是2007年底正式提出的一个新概念,本文分析了云计算的特征和Hadoop的作用地位.针对Hadoop这样一个在集群上运行大型数据库处理应用程序的开放式源代码框架进行了云计算平台的实现,并进行了实验验证.     

基于Hadoop集群的分布式日志分析系统研究

当数据存储和计算遇到瓶颈时,分布式技术相对于传统的向上扩展技术在伸缩性和成本上都具有巨大的优势。本文介绍了开源的分布式编程框架Hadoop,并通过具体的代码说明了基于Hadoop集群的分布式日志分析系统的工作方式。     

基于Hadoop的分布式智能推荐系统

通过对云计算平台相关技术的分析研究,结合目前智能推荐系统的应用情况,采用Hadoop、Mahout、Sqoop以及Oozie等云计算相关技术构建一个海量数据智能推荐系统。与传统的数据存储处理相比,可以提高资源的利用率,降低成本,同时也保证了速度。     

基于web日志挖掘构建个性化推荐系统

本文介绍Web日志挖掘和个性化推荐系统概念,对日志挖掘出访问网站的相似爱好的用户群体、页面之间的内在联系,以此改进网站性能和组织结构,提高用户查找信息的质量和效率。     

基于Hadoop的Web文本分类系统设计研究

针对传统Web文本分类方法无法解决大规模分类问题,在深入分析当前主流并行计算平台Hadoop的基础上,提出基于Hadoop的Web文本分类系统,该系统主要包括文本预处理、向量表示、文本分类、结果评价等模块.真实数据集上的比较实验表明所建系统的有效性.     

一个实用硬件防火墙日志审计系统的设计

如何感知用户网络行为,实现对用户网络行为的审计,并根据审计结果对用户网络行为进行控制,一直是网络管理者关注却难以解决的问题.针对硬件防火墙系统的特点,设计了一个安全,实用的日志审计系统.系统的设计原则是以日志的形式详细记录用户的网络活动.该系统的审计目的是监视、记录和控制用户网络行为,为管理员提供决策依据,并且提供日志作为事后追查的证据.应用结果表明,该系统能帮助管理员有效地管理网络,提高系统的安全性能.     

基于代理的web服务发现系统的设计

随着网络规模的快速增长,如何高效地找到符合用户需求的web服务是影响网络应用发展的重要因素。本文提出了一种基于代理机制的web服务发现系统的实现方案,该方案以web服务发现技术的研究现状为基础,给出了用户代理、服务器代理和目录代理三者之间的关系;从分析服务发现系统的使用者入手,设计了收集用户请求和构造查询信息的功能;应用连接池技术实现了转发用户请求到目录代理的功能,设计了以聚类思想为基础的最短路径服务信息请求的转发算法。最后,给出了服务发现系统的部分运行结果、测试了服务发现系统的查准率和查全率,并对转发算法进行了测试,验证了基于聚类的最短路径转发算法的优势。     

基于Web体系结构中的组件设计

提高软件重用度和可维护性一直是软件开发者所遵循的目标，以往的组件技术由于受到编译环境的限制而不能跨平台使用。本文以仓储物流管理信息系统(LSMIS)为例，介绍应用JavaBeans组件技术实现基于Web体系结构中业务逻辑层的设计，它由一些封装的类组成，通过类间的调用实现系统的功能，体现了新一代组件的可移植、可重用，可被替换的特性。     

基于SOA通用身份登录系统分析与设计

阐述了当前常用的单点登录技术,并简述了各自的优缺点,为了用户方便使用多个应用系统,设计了基于SOA的通用登录系统,通过通用登录系统验证的用户可实现多系统的单点登录目的。     

基于Web的考试系统设计与实现

本文简述了基于Web的考试系统的功能及目标,描述了系统的结构、工作环境流程和工作流程,并举例说明了功能模块的ASP编程与应用,给出了系统的一种实现方法,该系统的部分主要功能已实现。     

基于插件技术的日志采集Agent系统的设计与实现

为了从多源日志信息中灵活地采集数据,在代理技术的基础上提出采用插件技术来实现多源日志采集Agent系统.日志采集工作由多个采集代理来完成,每个代理可以完成一个或多个日志源的数据采集,同时每个日志源被当作代理上的一个插件.基于此设计了日志采集Agent系统的体系结构和工作流程,并通过插件配置和正则表达式来实现各日志源的采集知识定义,从而使多源日志的采集问题得到较好地解决.与其他日志采集系统相比,该Agent系统不仅可以解决多源日志的采集工作,而且具有良好的扩展性和高效性.     

基于Web services的信息服务系统设计与实现

Web services是一种新型的分布计算技术，是解决传统中间件技术问题的重要方法。信息服务是Web services软件框架的重要组成部分，它为分布环境中信息的有效处理奠定了重要的基础。本文从介绍Web services中信息服务系统的基本内容入手，并以此为基础设计了信息服务系统，论述了信息服务系统的功能、特点和执行过程。最后，对基于Web services的信息服务系统进行评价并指出了今后的研究方向。     

基于Hive的性能优化研究

主要从Map Reduce作业调度和Hive性能调优两个方面对Hive的性能优化进行研究.对于Map Reduce主要从编程模型切入,分析其执行过程,并从map端、reduce端进行参数调优.接着从Hive框架角度入手,分别从分区表和外部表以及常用数据文件的压缩、行式存储与列式存储等方面进行深入研究.实验结果表明,snappy压缩、orcfile/parquet存储格式对于列式查询,提高查询效率,对于大数据分析平台有较好的兼容性.