基于关键属性约束的关联规则挖掘在日志分析中的应用

日志是计算机取证,入侵检测分析的重要数据来源,运用关联规则挖掘算法对日志进行分析是获取日志中所蕴含有用信息的重要方法.针对基于置信度一支持度框架的常用关联规则挖掘算法在日志分析中存在的不足,引入日志关键属性的概念,提出了基于关键属性约束的关联规则挖掘算法.实验结果表明,该算法能有效阻止无趣规则的产生,提高挖掘结果的有效性.     

应用个性化推荐的Web日志关联规则挖掘算法研究

对传统的关联规则挖掘算法FP-Growth方法进行改进,提出FP-Mine算法,并应用该算法对Web日志进行挖掘,探寻用户访问站点页面之间的关联规则,来帮助管理员改善站点的设计和企业改进市场商务决策.实验结果证明FP-Mine算法在生成频繁项集及关联规则的过程中,只需存储i-size和(i+1)-size频繁项集的节点的Freq-Set-Tree,且立即在其之上生成规则,所以缩短规则生成的时间,提高规则生成效率,同时释放i-size项集的节点,有效地节省内存空间.     

改进加权方法的告警关联分析算法

以往告警关联分析算法中将告警重要性视为相同,为区分不同告警的重要性差异,以及告警中包含信息量的差异性,提出一种改进加权方法的告警关联分析算法。首先将告警信息中有关告警重要性的属性量化,并使用极端梯度提升(XGBoost:eXtreme Gradient Boosting)集成学习模型训练,得到告警属性的权重值,并对告警数据赋予权重;然后,将网络拓扑数据加入滑动窗口中,改进传统滑动窗口划分事务存在的问题,改进后的滑动窗口划分的事务集更加真实可靠;最终将加权后的告警事务集使用加权FP-Growth(Frequent Pattern Growth)算法挖掘频繁告警和关联规则。通过实验验证了该改进加权方法的告警关联分析算法在挖掘频繁告警、重要关联规则和时间上都有很好的性能。     

审计日志的关联规则挖掘

研究了在入侵检测系统中利用数据挖掘技术从审计日志中挖掘关联规则的方法，针对现有关联规则算法应用于入侵检测系统引起的问题，提出了利用本质属性限制无趣规则的产生、利用行向量的位运算提高Apriori算法时间性能的一种高效改进算法。该算法不需生成候选频繁集和剪枝操作，避免了因无趣规则引起的大量运算。因而能提高入侵检测系统的效率。     

数据挖掘在入侵检测中的应用

本文研究了数据挖掘在入侵检测领域中的应用,对一种关联规则Apriori算法进行了分析,并提出了一种改进的算法,实现了对审计日志等大量数据进行数据处理,可以在检测系统对各种攻击方法的本质了解较少时,从安全审计数据本身的数据中发现异常。     

改进的Apriori算法在IDS中的应用

在入侵检测研究领域中,提高检测模型的检测率并降低误报率是一个重要的研究课题.提出了一种针对网络入侵检测事务流日志数据库的关联规则挖掘改进算法,它采用事务压缩和属性压缩相结合,解决了当前主流关联规则算法应用到入侵检测过程中存在的多遍扫描、大量无效规则和算法复杂度过高等问题.实验结果表明,文中所提出的方法在规则生成和对网络异常情况的检测方面都显示出比较好的性能,提高了系统效率,使其更适用于入侵检测系统.     

基于关联规则挖掘的网络安全审计技术研究

针对现有的安全审计规则及审计模型存在的准确率不高、检测效率低、规则适应性差等问题,本文设计了一种基于关联规则挖掘的网络安全审计模型,并在该模型中引入FP-Growth算法自动生成审计规则。该模型提高了安全审计的准确率以及规则的自适应能力,不仅能审计己知的异常行为,也能审计出未知的异常行为。     

基于Web日志的数据挖掘的研究及应用

Web日志挖掘是Web数据挖掘中非常重要的一个研究领域和研究方向,首先介绍了Web日志挖掘的过程,然后介绍了关联规则及关联规则算法——FP-growth算法,最后将关联规则中的FP-growth算法应用在网上书店系统中,实现对客户数据的关联规则挖掘。     

基于布尔矩阵和MapReduce的FP-Growth算法

关联规则挖掘是数据挖掘的一个重要组成部分.为提高关联规则的挖掘效率,提出了一种基于布尔矩阵和MapReduce的FP-Growth算法(BPFP),分析了算法的时间和空间复杂度.该算法使用Hadoop框架和布尔矩阵以减少对事务数据的扫描次数,利用两次MapReduce来实现频繁项集的挖掘.在多个数据集上的实验结果表明,与原FP-Growth算法相比,BPFP算法具有更高的执行效率、更好的加速比.     

一种多维关联规则算法的研究

针对目前很少有一整套能同时处理量化属性和分类属性字段的多维关联规则的解决方法,对将单维关联规则的Aprior算法改进为量化属性的静态离散化多维关联规则的算法进行了研究,并以实例阐述了该算法在电子商店中的应用,分析了其商业价值。     

FP-Growth的并行加权关联规则挖掘算法

基于FP-Growth算法,提出一种并行加权的关联规则挖掘(PWARM)算法,证明其满足加权向下封闭性.使用MapReduce计算模型,在分布式集群中并行挖掘出关联规则.实验结果表明:该算法可以满足数据权重不同的需求,且在处理大数据集时能有效地提高挖掘的效率.     

一种挖掘大型数据库的关联规则新算法

关联规则挖掘算法FP-Growth在挖掘大型数据库时,占用内存大、运行速度慢或根本无法构造基于内存的FP-tree。针对这些问题,文章提出一种适合于挖掘较大型数据库的新的关联规则挖掘算法DFP-Growth,新算法将数据库分解,然后对分解得到的各个数据库子集用FP-Growth算法进行约束频繁项集挖掘,以满足大型数据库挖掘的需求。     

基于数据库用户行为分析的改进FP-Growth算法

数据库是信息系统的核心,是最吸引攻击者的目标,其用户行为记录是一种特定的类型,有相对固定的成份。FP-Growth算法在规则挖掘时会产生一些冗余的、无意义的规则。本文首先给出数据库用户行为的定义,将数据库的用户行为属性按重要性阈值排序,并从中选取关键属性或属性组,在FP-Growth算法的基础上提出一种基于用户行为分析的BFP-Growth算法,避免产生无意义的规则,节省了存储空间和时间,提高了挖掘效率。     

Web日志挖掘及AprioriAll算法的改进

阐述了利用数据挖掘技术对Web日志进行挖掘的可能性及其重要作用.通过用户维的引入,对已有的Apri-oriAll算法进行了改进,改进后的算法降低了原算法的时空复杂度,特别是在新算法中可以对Web日志数据按用户维进行切片,消除了原算法中的I/O相关性.这不仅使对Web日志数据进行的挖掘活动可以分散地进行,而且使多机连网分布式挖掘成为可能,同时还可以实现对Web日志的增量挖掘和动态挖掘.此外,该改进算法的特殊意义还在于它不仅可以将所有用户看作一个整体进行挖掘,而且还可以对不同的用户个体的行为进行独立地挖掘,使挖掘出的结果能够满足对用户个性化使用的需求.     

面向目标的关联规则挖掘的一个FP增长算法

将FP-Growth算法应用于面向目标的关联规则（OOA）挖掘，对FP-Tree的结点进行了修改，增加了目标支持度计数和效用度累计两个字段，对FP-Growth算法进行了改进．实验结果表明，改进后的方法比基于Apriori算法和基于Dfree算法的OOA挖掘效率更高。     

基于哈希和合并技术的FP-Growth新算法

对频繁模式增长(FP-Growth)算法进行了改进,用哈希头表代替头表.通过合并频繁模式树(FP-Tree)中支持数相同的结点,压缩了树的规模,有效地节省了空间.实验结果表明,改进后的算法在查找效率上有了大幅度的提高,可以更好地适用于大规模数据集的关联规则挖掘.     

基于关联规则的入侵检测系统

为提高入侵检测系统的智能性、准确性和检测效率,针对入侵检测系统的特点,将数据挖掘技术应用于入侵检测系统。阐述了使用关联规则及其优化算法,对日志文件进行特征分析与知识发掘的入侵检测系统的设计与实现。实验表明,优化后的算法在对某一日志文件的入侵检测中,准确率平均提高45%,检测效率平均提高50%,大大增强了入侵检测系统的性能。     

基于线程并行计算的Apriori算法

针对数据挖掘中经典的Apriori算法在计算频繁项目集时需消耗大量的时间缺点,文中利用多线程并行计算的特点,提出了基于线程并行计算的Apriori算法,该算法是将统计候选项目个数的任务交给多线程来执行,从而达到减少Apriori算法的运行时间。通过实验数据分析,该算法对减少Apriori算法的运行时间有很大的提高。