用Fluent与MongoDB构建高效海量日志采集系统

由于传统方法不能满足海量日志存储的需求,对于海量日志的分析传统方法也出现了瓶颈问题,所以本文通过不同类型存储介质对海量日志读写性能实验,并与日志采集软件相结合提出了解决存储海量日志的一种方案:用Fluent(日志采集软件)与MongoDB来构建日志采集系统。实验表明:这种方式与传统存储方式相比,突破单机环境下日志存取的瓶颈,大幅度提高海量日志的存取速度,简化了日志分析与统计操作。在MongoDB集群环境下,高并发的读写满足了海量日志存取的需求,并且这种集群具有可扩展性和高可用性。     

基于插件技术的日志采集Agent系统的设计与实现

为了从多源日志信息中灵活地采集数据,在代理技术的基础上提出采用插件技术来实现多源日志采集Agent系统.日志采集工作由多个采集代理来完成,每个代理可以完成一个或多个日志源的数据采集,同时每个日志源被当作代理上的一个插件.基于此设计了日志采集Agent系统的体系结构和工作流程,并通过插件配置和正则表达式来实现各日志源的采集知识定义,从而使多源日志的采集问题得到较好地解决.与其他日志采集系统相比,该Agent系统不仅可以解决多源日志的采集工作,而且具有良好的扩展性和高效性.     

蜜罐系统中日志服务器的安全性研究及实现

蜜罐技术是一种主动防御的网络安全技术．针对蜜罐系统中日志服务器的功能和特点,提出了采用伪装数据包进行日志传输的思想,能更好地隐藏日志服务器,提高其安全性．在详细描述了日志文件伪装传输的实现过程的同时,对伪装结果进行了测试．测试表明,所提方法达到了预期的效果．     

Web日志挖掘系统

针对Web的日志记录进行分析,建立一个Web日志挖掘系统．网络管理人员根据Web日志的分析结果改进网站的设计,实现网站的有效管理以保证网络的安全．     

日志分析系统的任务调度体系结构研究

任务调度作为日志分析系统的核心模块决定着整个系统性能,本文总结了现有调度模块的问题,并提出采用任务收集器、中央调度器和计算节点所构成的Collector-Master-Slave三层结构来接收、处理、监控任务,从根本上优化了计算节点间负载均衡,提高了日志分析系统效率。最后通过实验证明了设计方案的可行性与有效性。     

采用FIFO技术Windows环境下的高速实时采集

比较了几种常见的数据采集卡的构成及其在 Windows环境下的采集方法 ,分析了各自的优缺点 ,简要介绍了 Win-dows的底层接口和 F IFO的结构原理 ,给出了采用 FIF O技术设计高速实时数据采集系统的方法。 FIF O技术的采用 ,既保证了 windows的多任务操作系统的特点 ,又保证了数据采集的可靠性 ,使在 Windows环境下无论对高速大容量数据采集还是对单次瞬变信号的实时捕获都提供了一种行之有效的方法。     

管道远程自动控制采集系统

针对目前国内供热系统出现的众多问题，介绍了可用于供热系统的管道远程自动控制采集系统及相应配套的局域网数据采集系统、管道远程自动控制器。管道远程控制采集系统利用信号传输技术和通讯技术，对受控地区的每个阀门进行控制和数据采集。整个控制系统可采用中心控制式、车载移动控制式，网络控制方式，实现了对管道的远程监测、控制及数据采集。     

校园网日志挖掘平台研究

随着学校信息化建设水平的不断提升,校园网内大量的数据信息不停地产生并囤积在服务器中.如何从这些数据里提取出有用的知识,已经成为计算机技术研究的热门课题.     

基于Windows日志的安全审计技术研究

事件日志记录着操作系统或应用程序中重要的事件。通过对日志进行分析,发现所需事件信息和规律是安全审计的根本目的。文章讨论了对Windows系统日志文件进行集中式统一管理,采用API钩子技术实现Windows下的审计数据的获取,并通过对Windows日志的分析给出了一种基于主机日志分析的安全审计通用模型。     

日志分析及其在入侵检测系统中的应用

指出了日志分析是入侵检测系统中的一项重要内容，在分析现有的基于日志分析的入侵检测方法的基础上，提出了一种新的基于日志分析的入侵检测模型。该模型综合采用了基于入侵知识和入侵行为的分析，因而具有此两种检测方法的优点，实践证明这是一种有效的方案。     

系统集成技术之探索

以系统集成为基础，讨论和研究了系统集成技术的特点、内涵和方法。     

Windows系统进程运行监控

随着Internet的普及,计算机安全问题成为研究的重点。在众多系统中,Windows是目前世界上用户最多、兼容性最强的操作系统,绝大部分用户,尤其是非IT行业的用户,用的全部是Windows操作系统。但是,网络上是没有绝对安全的。进程监控是一种较为方便、易懂的监控方式,可通过C#语言设计与实现Windows下的进程监控软件。     

IDS的数据收集

对IDS的数据收集的各种方法进行了详细的描述和比较，介绍了各种数据收集方法的优点和缺点。     

基于广域网的柱状图及测井曲线远程绘制系统

目前大部分柱状图及测井曲线绘制软件只能应用于单机或局域网范围.实际应用中,岩心扫描与柱状图绘制人员通常处于不同局域网,迫切需求基于广域网的柱状图及测井曲线远程绘制系统.运用微软.NET平台和Web Services分布式应用技术实现的远程绘制系统已在多个地质石油部门得到广泛应用.介绍了它的设计思路和实现方式,并着重阐述了系统的数据传输和柱状图及测井曲线绘制部分     

Windows下实时数据处理系统的若干问题

以某试验数据采集及处理系统为例,通过对两套不同设计方案的分析比较,对Ｗｉｎｄｏｗｓ操作系统下实时数据处理的若干问题进行讨论     

基于无线电台联网的电能表远程数据采集系统的应用

介绍了基于无线电台联网的电能表远程数据采集系统的配置、工作原理以及能够实现的功能。     

银行电费代收系统的设计与实现

通过软件工程思想完成前置端软件的开发,将银行发行的借计卡与当地供电公司的电卡有机结合起来,开发一套使用方便的电费代收系统,使客户使用银行的借计卡通过电话就可以实现购电。     

Windows 下数据采集系统的人机界面设计

研究利用ＢｏｒｌａｎｄＣ＋＋４．５的ＯＷＬ２．０类库,在Ｗｉｎｄｏｗｓ下设计界面和如何利用Ｃ语言在Ｗｉｎｄｏｗｓ下编写硬件中断服务程序的方法。在完全脱离Ｗｉｎｄｏｗｓ传统设备驱动程序开发软件包ＤＤＫ的情况下,充分利用Ｃ语言的库函数在Ｗｉｎｄｏｗｓ环境下直接对硬件进行操作;利用Ｗｉｎｄｏｗｓ的系统资源使高速数据采集系统与用户之间的界面更直观,使数据采集系统的使用更为方便,以求达到使用化的程度。