基于Hadoop与Storm的日志实时处理系统研究

日志数据记录着丰富的信息,具有较高的实用价值,但在当今大数据时代环境下,数据量的陡增为日志数据的处理带来了挑战.为了有效地解决海量日志数据处理面临的瓶颈问题,本文整合Hadoop和Storm分布式框架,构建一种融合了实时计算与离线计算的分布式日志实时处理系统.系统架构由数据服务层、业务逻辑层和Web展示层组成,数据服务层使用Flume实时采集日志数据,并分别采用Kafka与HBase完成实时日志流数据的缓冲和系统数据的持久化存储;业务逻辑层利用Storm对实时日志流数据进行实时分析,并使用Hadoop的计算引擎MapReduce结合数据挖掘技术完成对海量历史日志数据的离线分析,离线分析的结果为实时分析提供支持、参考;Web展示层负责日志数据及其分析结果的展示.实验结果表明,系统能有效地解决日志数据的采集存储、实时日志流数据的实时分析和历史日志数据的离线分析等问题,并成功地融合了Hadoop与Storm各自的优势,为日志数据的采集和分析系统的构建提供新的技术参考.     

一种分布式Web使用模式挖掘模型及算法

给出了一种分布式Web日志挖掘模型DWLMS. 根据对挖掘过程及算法进行分析,提出了一种基于DWLMS的局部频繁路径的更新算法LFP和全局频繁路径的更新算法GFP,较好地解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难. 在实验室对该方法进行了简单实现和实际日志数据的测试,结果表明了算法的有效性.     

基于DWLMS模型的分布式Web用户访问模式挖掘

大型网站为了提高访问效率,通常建立多个镜像站点,这导致获取网站全局的用户访问模式知识变得困难.该文提出一种分布式Web日志挖掘模型DWLMS,并以路径分析技术为例,提出了基于DWLMS的局部频繁路的更新算法LFP和全局频繁路径的更新算法GFP,解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难.对提出的算法进行了实现和实际日志数据的测试,结果证明了算法的有效性.     

构建基于Snort的入侵检测系统

Snort是一个强大的轻量级的网络入侵检测系统。它具有实时数据流量分析和日志IP网络数据包的能力,能够进行协议分析,对内容进行搜索/匹配。它能够检测各种不同的攻击方式,对攻击进行实时报警。介绍了一个使用Snort,PostgreSQL数据库,Apache,PHP,ACID和Razorback搭建入侵检测系统的解决方案。     

异构数据库间主动式差异数据同步模型研究

随着各类信息管理系统的广泛应用, 解决异构数据库间数据集成和数据同步就成了当前的研究热点. 针对目前数据集成中主要存在的差异更新难以实现和不能实时同步更新两个主要的技术难题,在充分研究数据集成的基本理论和相关技术的基础上,提出了异构数据库间进行差异数据主动式数据同步的模型, 该模型利用Java,XML,ODS等技术, 通过在异构数据节点上部署数据包装器和日志监视器, 完成异构数据库间主动式双向点对点数据差异实时同步.     

基于数字图书馆公共资源管理平台的实时日志分析系统的设计与应用

数字图书馆作为一种全面、高效、便捷的公共资源管理平台正在得到广泛的应用,随之而来网络用户访问流量的不断增大,让数字图书馆公共资源管理平台面临了巨大的网络安全风险.为解决数字图书馆公共资源管理平台在投入使用过程中遭受网站恶意攻击、网页挂马等系统安全问题,使用Spark Streaming技术设计一个实时日志分析系统,对网站平台进行实时日志分析.该系统具有实时性、功能针对性强、操作简便等特点.经过运行测试,能够对数字图书馆公共资源管理平台的运行起到保驾护航的作用.     

面向交易实时内存数据库的故障恢复方法

论述交易事务更新交易数据的update-in-place和append-only特征,提出了面向交易主存数据库的一种故障恢复方法,给出恢复管理机构的模型,并讨论了该模型的工作机制 .采用活动一致检查点技术和重做事务日志技术,实现了基于数据镜像和可恢复事务日志的故障恢复措施,解决了系统故障恢复的正确性和一致性问题.结果表明,该方法满足面向交易主存数据库失败恢复的需要.     

研究生信息平台中运维系统的设计与实现

现代软件系统大多采用基于日志收集与分析的运维模式,帮助系统管理人员确保业务系统的安全性与稳定性.本文首先讨论了现有基于日志分析的运维方案.接下来,基于开源的ELK框架,设计了华东师范大学研究生院信息平台中的运维子系统.通过实时交互可视化的数据分析方式,有效地解决了研究生院业务人员在系统使用中遇到的性能与负载监控,用户行为分析以及服务异常调试等方面的问题.最后针对不同类型的业务运维场景,给出了基于交互式仪表盘的运维服务实现.     

面向不稳定日志的一致性异常检测方法

系统日志被用作系统异常检测的主要数据源.现有的日志异常检测方法主要利用从历史日志中提取的日志事件数据构建检测模型，即假设日志数据随时间的推移其分布规律具有稳定性.然而，在实践中，日志数据往往包含以前未出现过的事件或序列.这种不稳定性有两种来源：1）日志发生了概念漂移；2）日志处理过程中引入了噪声.为缓解日志中出现的不稳定问题，设计了基于置信度协同多种算法的异常检测模型EBCAD（Ensemble-Based Conformal Anomaly Detection）.首先，用统计量p值度量日志之间的不一致性，选择多个合适的集成算法作为不一致性度量函数计算不一致性得分进行协同检测；然后，设计了基于置信度的更新机制来缓解日志不稳定问题，将新日志的不一致性得分添加到已有得分集，更新日志异常检测的经验；最后，根据协同检测得到的置信度与预设置信水平大小来判断不稳定日志是否异常.实验结果表明，在HDFS日志数据集中，当不稳定数据注入率从5%增加到20%时，EBCAD模型的F1值仅从0.996降低到0.985；在BGL_100K日志数据集中，当不稳定数据注入率从5%增加到20%时，EBCAD的F1值仅从0.71降低到0.613.证明EBCAD在不稳定日志中可以有效检测到异常.     

基于区块链的链下数据库高吞吐量数据可信保障方法

传统结构的区块链在保证系统去中心化需求的同时占用了大量存储空间,且吞吐量无法得到提升.为了更加高效、安全地存储海量数据,提出了一种区块链结合数据库的架构,它可以提高系统整体的吞吐量.此外,区块链适用于云存储环境下日志型数据的存储,如视频日志、音频日志、图像日志等日志型数据,但不适合常规内容频繁更新的使用场景,如数据库应用场景.基于此,提出了一种数据可信保障方法,通过验证事务日志是否发生改变推导出数据是否被恶意篡改.采用Hyperledger Fabric结合MySQL的实例,通过实验说明该方法可验证频繁更新的数据库数据是被正常更新还是被异常篡改,并且可恢复数据库的安全.     

关于农业区划地图集中的统一协调问题

图集的统一协调,对图集质量有很大影响。本文是作者在编制北京市农业区划地图集的实践基础上,根据地图信息传输论的观点,对农业区划地图集的统一协调的内容及方法进行了探讨。试图总结编制这类图集的统一协调模式,以供读者编图时参考。     

民间法正义观的转型

研究了国家法的抽象正义观与民间法的情理正义观,认为西方国家法的抽象正义观与东方民间法的情理正义观存在实质的不同,原因在于思维方式、超验与经验传统、政治结构的差别。在现代法治理念下,传统民间法所代表的正义观将向混合正义观转型,西方法治所代表的国家法抽象正义观是其骨架。     

关于一维非自治时滞系统点态退化一例

给出了一维非自治时滞系统点态退化的一个例子,拓宽了该领域的研究。     

十二烷基苯硝化选择性的测定

利用对位异构体的对称性由核磁共振氢谱测定了工业十二烷基苯在硝硫混酸中的硝化选择性，发现一硝化产物中对位异构体的比例为７５％￣８０％。以月桂酸和苯为原料，经氯化、酰化和还原合成了正十二烷基苯。在同样条件下研究了正十二烷基苯的硝化，由核磁共振氢谱和气相色谱分析，发现一硝化产物中对位异构体的比例仅为６０％。根据空间位阻效应，对结果进行了讨论，并与甲苯，乙苯，异丙苯等短链烷基苯的硝化结果进行了比较。     

YBCO掺杂效应研究

介绍了YBCO掺杂的基础知识,总结了YBCO各个位置采用典型元素掺杂而导致的超导电性和结构的变化,阐述了掺杂对YBCO的重要影响,并简介了当前YBCO掺杂效应研究中的几个热点问题.     

A_5的一类12阶子群的构造

由于有限群的Lagrange定理的逆不成立,因此,n较大时要确定n次交代群An的所有子群或对An阶数的每一个正因数,确定是否存在这个阶数的子群是较困难的问题.文章通过对5-循环置换各次方幂的计算及其研究,构造出了A5的5个12阶子集,并证明了每一个子集都是A5的12阶子群,最后对A5的部分阶的子群做了总结.     

“真空的真空”的存在性问题

许多科学家包括诺贝尔奖获得者李政道教授都预言,真空是未来物理学的一个重要研究对象.十七世纪的伽利略时代人们曾讨论过"真空"是否存在的问题.当时的学术界分成两派,一派以帕斯卡为代表,认为真空存在,另一派以笛卡尔为代表,认为真空不存在,最后实验证明"真空存在派"正确.现代研究表明,真空并非一无所有,这样就产生了一个新的问题"排除了真空物质后的空间",即"真空的真空"是否存在.本文探讨了与"真真空"有关的问题,提出了一些观测实验方法,这些方法可以帮助我们最终解答"真真空"的存在性问题.     

高频机组基础振动检测分析

为了找出诱发高频机组基础不良振动的原因，从基础计算模型方面对基础激励与响应进行了分析，以两个高频机组基础为动测实例，经模态分析得出钢筋混凝土构架式基础竖向1阶振动与电机产生共振；应用功率谱法对动力机组及基础平台进行动测，得出平台异常响应频率66Hz为水泵工作频率，调整机器的工作频率可避开不良振源影响，达到明显的减振效果。由此而知，动力机器基础出现不良振动时，不可盲目改变结构的动力特性，应在机器不同工况比如：停机、起机及正常转速下，对机器及基础进行动测并对振动信号进行比较分析，以制定出行之有效的减振方法。     

圈幂补图的树宽

基于“前沿分支”的观点研究了圈幂补图的树宽，首先确定了它的树宽下界，又给出了达到此下界的标号，从而得到了它的树宽表达式。