一个实用硬件防火墙日志审计系统的设计

如何感知用户网络行为,实现对用户网络行为的审计,并根据审计结果对用户网络行为进行控制,一直是网络管理者关注却难以解决的问题.针对硬件防火墙系统的特点,设计了一个安全,实用的日志审计系统.系统的设计原则是以日志的形式详细记录用户的网络活动.该系统的审计目的是监视、记录和控制用户网络行为,为管理员提供决策依据,并且提供日志作为事后追查的证据.应用结果表明,该系统能帮助管理员有效地管理网络,提高系统的安全性能.     

基于关联规则的虚拟主机网站日志挖掘

网站日志记录了用户的浏览行为，通过挖掘网站日志，可以分析用户行为，为优化网站结构提供有价值的数据．但是很多虚拟主机网站没有日志记录功能，这给日志挖掘带来了极大的不便．本文介绍一种生成日志的方法，并利用关联规则算法对其进行日志挖掘，发现用户的访问模式，帮助网站改进页面结构．     

基于关联规则的虚拟主机网站日志挖掘

网站日志记录了用户的浏览行为，通过挖掘网站日志，可以分析用户行为，为优化网站结构提供有价值的数据．但是很多虚拟主机网站没有日志记录功能，这给日志挖掘带来了极大的不便．本文介绍一种生成日志的方法，并利用关联规则算法对其进行日志挖掘，发现用户的访问模式，帮助网站改进页面结构．     

基于安卓系统的移动办公系统架构设计

构建基于安卓系统的移动办公系统,就是用户能够随时随地处理各项办公事务,并降低企业的办公成本,大大增强企业的市场竞争力。该文从移动办公系统需求分析和总体架构设计方面入手,在充分利用移动无线网络的基础上,将安装Android平台的各类智能手机终端做为文本信息的载体,从而最终设计出能够提供中小型企业管理服务的高效自动化办公系统,通过移动智能平台,真正实现"公文管理""个人办公"以及"工作流转"等具体实用的现代化办公应用功能服务,从而有效提高现代企业的办公效率。     

Web日志挖掘中的数据预处理技术

用户访问网站,Web日志中会记录下大量的用户访问信息,通过挖掘这些日志数据可以获得相关页面、相似用户群体和用户访问模式等信息,Web日志挖掘对于优化网站结构、提供个性化服务和构建智能化网站具有重要作用.数据预处理是保证Web日志挖掘质量的重要基础,预处理主要包括数据清洗、用户识别、会话识别、路径补充和结果评价等工作.概述了数据预处理技术,重点介绍了目前常用的会话划分算法和评价标准,并实现了一个数据预处理系统.     

面向终端的移动用户行为可视化分析

该文面向移动门户网站设计实现了一个日志数据统计与挖掘系统,给出了实时的访问用户日志数据与获取的用户群体的网络行为数据的关联机制,实现了定性描述该机制的终端发售事件捕捉功能,建立了用户群体点击预制入口转化率提取模型,用以描述关联效率和价值,并得到了用户群体访问行为的分布。研究工作将为相关运营商提供有益的参考。     

多版本视频点播流媒体服务器集群资源分配方法

针对大规模移动学习应用背景下流媒体服务器集群资源分配过量或不均的问题,提出了一种面向移动学习系统的多版本视频点播流媒体服务器集群资源分配方法。该方法通过用户历史点播行为日志分析,挖掘在不同终端环境下用户点播行为的特征和规律,在此基础之上,采用排队论理论进行多版本视频点播中流媒体服务器集群资源分配建模,并通过实时预测用户请求到达率的变化情况,动态调整资源的分配,从而实现了集群资源的动态配置。实验结果表明,所提方法的平均服务拒绝率和资源利用率分别在1%和80%左右,既保证了用户体验满意度,又降低了系统服务成本。     

基于广义序列方法的科学平台用户浏览方式挖掘

为了分析网络用户的浏览行为特征,实现科学平台的网络个性化服务,用广义频繁子序列挖掘算法,该算法挖掘Web服务器日志中的用户浏览路径,设计科学平台用户的浏览模式,为用户提供主动式信息服务.经过对日志文件的预处理,得到用户会话文件,然后采用广义频繁子序列挖掘算法对用户浏览模式进行识别.实际应用表明,这种广义频繁子序列识别方法能够有效地发现用户的兴趣所在,从而更好地为用户在线浏览提供帮助.     

基于关联规则的Web使用挖掘系统

通过分析Web日志记录来发现用户访问行为等,进而识别电子商务中的潜在客户,提高网络信息服务的质量,优化站点结构以及得到对于个性化系统有用的信息.提出一个Web使用挖掘系统的设计方案,包括系统的体系结构、功能结构及每个功能点的详细设计.为Web使用系统开发人员提供有价值的参考信息.     

研究生信息平台中运维系统的设计与实现

现代软件系统大多采用基于日志收集与分析的运维模式,帮助系统管理人员确保业务系统的安全性与稳定性.本文首先讨论了现有基于日志分析的运维方案.接下来,基于开源的ELK框架,设计了华东师范大学研究生院信息平台中的运维子系统.通过实时交互可视化的数据分析方式,有效地解决了研究生院业务人员在系统使用中遇到的性能与负载监控,用户行为分析以及服务异常调试等方面的问题.最后针对不同类型的业务运维场景,给出了基于交互式仪表盘的运维服务实现.     

面向Windows平台的日志远程采集系统研究

对日志进行远程集中化管理是日志管理的有效手段.但由于日志格式不统一,传统上很难将大型网络中Windows系统上的各类日志远程采集到集中的日志服务器.介绍了Windows平台上常见系统日志的概况,以及一种新的支持多平台且功能强大的日志采集工具nxlog,它可以非常方便地部署到Windows系统上并以客户端代理或者服务器模式运行,以此提出了基于nxlog的日志远程采集系统方案.实际运行结果表明,该方案具有实用、高效的特点,可有效解决大型网络中Windows系统日志远程采集的问题.     

An Improved String-Searching Algorithm and Its Application in Component Security Testing

Mass monitor logs are produced during the process of component security testing. In order to mine the explicit and implicit security exception information of the tested component, the log should be searched for keyword strings. However, existing string-searching algorithms are not very efficient or appropriate for the operation of searching monitor logs during component security testing. For mining abnormal information effectively in monitor logs, an improved string-searching algorithm is proposed. The main idea of this algorithm is to search for the first occurrence of a character in the main string. The character should be different and farther from the last character in the pattern string. With this algorithm, the backward moving distance of the pattern string will be increased and the matching time will be optimized. In the end, we conduct an experimental study based on our approach, the results of which show that the proposed algorithm finds strings in monitor logs 11.5% more efficiently than existing approaches.     

基于WEB的物流服务监控技术研究

物流服务监控的目的是帮助企业及时了解物流运行情况,传统的方法都是以设计调查问卷、制定周期报告表等手工方式进行,它无法确保客户对此有良好的配合,缺乏客观性和实时性.因此,本文提出了一种将多属性综合评价技术和WEB日志挖掘技术相结合的求解方法,实现了物流企业利用现有的     

面向不稳定日志的一致性异常检测方法

系统日志被用作系统异常检测的主要数据源.现有的日志异常检测方法主要利用从历史日志中提取的日志事件数据构建检测模型，即假设日志数据随时间的推移其分布规律具有稳定性.然而，在实践中，日志数据往往包含以前未出现过的事件或序列.这种不稳定性有两种来源：1）日志发生了概念漂移；2）日志处理过程中引入了噪声.为缓解日志中出现的不稳定问题，设计了基于置信度协同多种算法的异常检测模型EBCAD（Ensemble-Based Conformal Anomaly Detection）.首先，用统计量p值度量日志之间的不一致性，选择多个合适的集成算法作为不一致性度量函数计算不一致性得分进行协同检测；然后，设计了基于置信度的更新机制来缓解日志不稳定问题，将新日志的不一致性得分添加到已有得分集，更新日志异常检测的经验；最后，根据协同检测得到的置信度与预设置信水平大小来判断不稳定日志是否异常.实验结果表明，在HDFS日志数据集中，当不稳定数据注入率从5%增加到20%时，EBCAD模型的F1值仅从0.996降低到0.985；在BGL_100K日志数据集中，当不稳定数据注入率从5%增加到20%时，EBCAD的F1值仅从0.71降低到0.613.证明EBCAD在不稳定日志中可以有效检测到异常.     

基于ELKB日志管理系统的应用

针对现阶段云平台应用日志运维效率低的问题,研究一种基于ELKB架构的日志管理方案。该方案可实现对日志数据的高效采集和统一存储,并提供日志查询和可视化分析的功能。详细阐述日志的采集和存储方案,提出优化采集器Filebeat基础参数的方法,日志存储过程部署Elasticsearch集群模式,并总结Elasticsearch集群节点的性能提高方法,以此为基础搭建日志可视化管理系统。实验结果表明：参数优化后的Filebeat进行日志采集时,内存占用率与默认配置相比降低47%;Elasticsearch集群模式在进行关键字查询时的数据吞吐率高于单机服务器250req/s,且集群节点的段合并优化有效降低了日志的索引内存占用率,内存优化百分比介于11.9%和22.1%之间。可见日志管理系统部署方式灵活,有效提高了日志采集和检索效率,为云平台日志管理提供了可行的方案。     

政府网站搜索系统的日志挖掘、行为分析及改进

 为提高政府网站的搜索质量并优化网站内容, 对某政府网站现有搜索系统进行二次开发, 增加了日志挖掘模块、行为分析模块、系统改进模块, 实现了对搜索系统日志挖掘和用户行为的分析处理。日志挖掘模块负责收集、过滤和识别用户的搜索操作记录;在行为分析模块, 根据操作记录从查询过程、聚类分析和查询热词3 个角度, 分析用户行为的特点和规律, 得到了待调整权重的网页和热点查询词等分析结果;在系统改进模块, 通过调整网页的权重使查询结果更加精准, 改善了搜索系统, 根据统计查询热词, 既提供了搜索热点等新功能, 又为用户提供了个性化网页并优化了政府网站的内容, 实现了与舆情系统的数据交互。通过这些优化和改进, 从多方面使搜索系统和政府网站能更好的为用户服务。     

用AOP技术实现Web系统中的日志管理

面向方面编程是一种新型的软件设计模式,它在很大程度上使得系统以模块化方面作为目标而进行设计和开发。在Web系统中,通过面向方面编程技术应用日志的管理,能实现对关注点的分离和非核心模块集中化。介绍一种AOP技术在Web系统中对日志管理的实现方式,并通过在项目开发中的实例应用证明它的可行性。     

粮食进出口环节存在的质量安全问题与对策

＂粮食安全就是国家安全＂.中国作为粮食生产和进出口大国,粮食进出口环节中的安全问题越来越重要,我国进出口食品安全管理与发达国家比较,在法律法规标准、食品安全监管体制、农药残留限量、检测技术等方面存在差距.因此,有必要研究粮食进出口环节中存在的安全问题并提出相应的对策.     

基于特征融合的安全审计分析

分析了传统的安全审计分析方法，发现传统方法没有利用主机日志和网络数据特征之间的联系。通过分析主机日志得到可疑安全事件，再进一步融合主机日志和网络数据的有关特征作为一个整体进行分析。比较当前安全事件与正常历史事件、异常历史事件的相似度，审计出异常可疑事件。实验证明了该方法的可行性和有效性     

基于特征融合的安全审计分析

分析了传统的安全审计分析方法，发现传统方法没有利用主机日志和网络数据特征之间的联系。通过分析主机日志得到可疑安全事件，再进一步融合主机日志和网络数据的有关特征作为一个整体进行分析。比较当前安全事件与正常历史事件、异常历史事件的相似度，审计出异常可疑事件。实验证明了该方法的可行性和有效性。