基于关联规则挖掘的VANET环境下车辆路径预测

通过关联分析法构建相关模式数据挖掘算法,实用性强,但对具有时空动态性的车载自组织网络VANET进行车辆路径预测仍具有局限性,根据VANET环境下车辆数据特点,提出一种基于强关联规则频繁模式的车辆路径的挖掘优化算法.序列模式以有序的方式描述了事件的发生,在VANET环境中,车辆路径序列表达为车辆从起点到目的地行程中经过的路段顺序列表.首先提出基于安全认证的车辆数据采集方案,将收集的数据存储于路边单元RSU中,然后采用频繁模式数据挖掘方法分析了收集到的车辆路径,确定了某一区域内车辆选择的常见路径和频繁路径,最后本文算法与中间节点选择算法INSA进行了比较,对车辆在异常情况下选择的路径进行了评估与预测,分析结果表明:本文算法在网络通信开销、吞吐量和数据包传送率方面优于INSA算法,具有较好的置信度,有助于用户减少紧急情况下和正常情况下的等待时间.     

网络入侵检测中群关联模型的设计与分析

为了解决网络入侵检测中的特征建模与发现的问题,在总结常规入侵数据的采集存储特征的基础上,提出入侵数据的抽象表示形式,指出对于由特征属性值组成的不等长符号序列,围绕序列种群的深度挖掘可获得频繁子模式,进而可揭示子模式间的关联关系。同时,为提高新生异常入侵模式的预测匹配精度,结合群智能优化算法的技术优势,设计了基于序列种群的遗传关联规则挖掘算法MGASP,其关联分析过程可解决入侵模型的特征拟合,遗传进化过程可解决异常模式的增量式预测,将MGASP算法应用于KDD99抽样数据集,所得关联规则的定性解释结果验证了算法对于网络入侵行为的分析具有高可信度。     

基于FP-tree挖掘密集型数据最大频繁模式算法

Fp-growth算法是当前挖掘频繁项目集算法中速度最快,应用最广,并且不需要候选集的一种挖掘关联规则的算法.但是,Fp-growth算法也存在着算法结构复杂和空间利用率低等缺点.在FP-tree结构的基础上提出了密集型数据最大频繁模式挖掘算法FP-DMax.算法FP-DMax只需要2次扫描数据库,在挖掘过程中不产生候选项集,大大提高了算法的时空效率.实验表明,算法FP-DMax在挖掘密集型数据最大频繁模式方面是高效的.     

基于时空因素的水路短期货运量预测

考虑货运网络港口间空间关联能提高短期预测精度,但是不同于公路网络中通过交叉路口形成简单明确的上下游空间关系,超高维的水运货运空间关系数据难以直接利用,为此,基于频繁港口和神经网络(FR-NN)构建考虑时空因素的水路货运量预测模型.该模型基于频繁模式的思想挖掘出目标港口在货运空间网络中的频繁港口,利用频繁港口提取货运网络的主要空间关系,用低维数据保留高维网络主要空间特征,再利用神经网络拟合频繁港口与目标港口货运量间的时空关系.实例分析表明,考虑时空关系有助于提高预测精度,模型能提高不同粒度的短期货运量预测精度,尤其是能够预测采用时间序列方法不理想的周、日货运量.     

基于最长频繁序列挖掘的恶意代码检测

基于动态API序列挖掘的恶意代码检测方法未考虑不同类别恶意代码之间的行为差别,导致代表恶意行为的恶意序列挖掘效果不佳,其恶意代码检测效率较低.本文引入面向目标的关联挖掘技术,提出一种最长频繁序列挖掘算法,挖掘最长频繁序列作为特征用于恶意代码检测.首先,该方法提取样本文件的动态API序列并进行预处理;然后,使用最长频繁序列挖掘算法挖掘多个类别的最长频繁序列集合;最后,使用挖掘的最长频繁序列集合构造词袋模型,根据该词袋模型将样本文件的动态API序列转化为向量,使用随机森林算法构造分类器检测恶意代码.本文采用阿里云提供的数据集进行实验,恶意代码检测的准确率和AUC(Area Under Curve)值分别达到了95.6%和0.99,结果表明,本文所提出的方法能有效地检测恶意代码.     

关联规则研究综述

关联规则挖掘是近年来数据挖掘研究中一个相当活跃的领域.本文给出了关联规则及相关术语的定义,对关联规则挖掘中的频繁模式、频繁闭模式、最大频繁模式、并行/分布式挖掘及增量挖掘算法作了简单评述,着重介绍了近三年来发表的一些新算法,并对未来的发展趋势进行了预测和展望.     

时空轨迹频繁模式挖掘研究进展

时空轨迹频繁模式挖掘旨在从大规模轨迹数据中发现频繁时序模式,其过程主要包括数据处理和频繁行为发现2个阶段。综述了近年时空轨迹频繁模式挖掘的研究进展,首先对挖掘的过程进行概述;然后将挖掘算法按照轨迹维度特征分为基于位置的轨迹频繁模式挖掘、基于活动周期的轨迹频繁模式挖掘和基于语义的轨迹频繁模式挖掘3类,并分别展开论述;最后讨论了这些算法的基本思想和优缺点,并从挖掘方式、适用范围等方面进行对比分析。     

基于数据挖掘的异常入侵检测系统

在分析现有入侵检测技术和系统的基础上,提出了一种基于数据挖掘和可滑动窗口的异常检测模型,该模型综合利用了关联规则和序列模式算法对网络数据进行充分挖掘,分别给出了基于时间窗口的训练阶段和检测阶段的挖掘算法,并建立贝叶斯网络,进一步判定规则挖掘中的可疑行为,提高检测的准确率.     

基于数据流MSW算法在BBS舆情分析系统中的应用

基于传统关联规则分析技术的舆情分析系统难以反映网络数据模式的行为特征,利用动态的数据流关联规则技术构建舆情分析系统更有意义。文章提出了一种基于数据流频繁模式的舆情分析入侵检测系统模型(BBS public opinion analysis system based on MSW algorithm,BPOAS-MSW),依据滑动窗口频繁模式(mining sliding window,MSW)算法,挖掘经过训练学习后的合法言论模式、异常言论模式和当前言论模式频繁项集,建立系统的合法言论模式、异常言论模式和当前言论模式,达到提高系统的响应速度和系统的检测精度。理论与实验结果表明,BPOAS-MSW舆情分析系统具有较好的性能。     

量化概念格上网络盗窃行为拟合预测

时间序列挖掘是在经典的数据关联分析过程中加入时间戳印记,从而发现一定时间间隔内事物对象不同行为模式之间的关联关系。网络盗窃是一针对不特定多数人实施的短期多发性犯罪活动,其原始数据记录形式为多属性关联信息表,数据分布因具有时间顺序特征而符合时间序列挖掘分析的基本条件,为对该类数据进行频繁序列模式提取。首先论述了建立量化概念格数学模型的知识表示优势,证明了该格结构对原始数据表的完备性,其次提出了量化概念格上的频繁序列生成算法AMSP,最后在网络盗窃行为的拟合分析中对AMSP算法加以验证,说明该算法对于时间序列分析具有直观高效性,同样可应用于与网络盗窃案件具有相似数据特征的其他网络犯罪行为的预测分析。     

最小频繁相关模式的挖掘

频繁模式不能反映模式内部各项目之间的关联和相关关系，频繁关联模式挖掘与孥繁相关苎式兰苎已越来越受到人们的重视．按照相关模式定义，如果一个模式是相关模式，其超模式一定是相关模式,最小频繁相关模式挖掘将大大减少挖掘出来的数量，有利于用户分析．给出最小频繁相关模式挖掘算法，并在标准数据挖掘数据集蘑菇数据上测试，实验证明算法是正确有效的．     

基于哈希和合并技术的FP-Growth新算法

对频繁模式增长(FP-Growth)算法进行了改进,用哈希头表代替头表.通过合并频繁模式树(FP-Tree)中支持数相同的结点,压缩了树的规模,有效地节省了空间.实验结果表明,改进后的算法在查找效率上有了大幅度的提高,可以更好地适用于大规模数据集的关联规则挖掘.     

基于数据挖掘的金融时序频繁模式的快速发现

针对金融时间序列分析中注重快速作出趋势判断的特点,利用数据挖掘的思想和工具,提出一种金融时间序列模式快速发现算法.与传统的预测算法相比较,该算法对数据的分布和平稳性等方面的要求不高,不基于任何假设,能够非常快速地发现时间序列中的频繁模式,经过模式匹配后,可以用于金融时间序列的分析与预测.以实际汇率数据为例,证明了该算法的有效性.     

一种时序关联规则挖掘算法的研究与实现

针对时间序列,研究和分析时序关联规则挖掘,提出时序关联规则数据挖掘的基于滑动窗口和时序树特殊结构的新的挖掘算法,并利用该算法挖掘超过给定支持数阈值频繁时序,为用户的决策支持及趋势预测提供支持,并通过实验验证算法的有效性和实用性。     

回归法挖掘超期望模式

在交易数据库的挖掘研究中,模式未来行为的预测已成为用户关注的焦点。通常是通过分析和挖掘历史交易数据库中的数据得到模式未来行为——频繁出现程度,以便帮助用户决策。为解决这类问题,设计一个基于回归法的算法挖掘一类新模型超期望模式。实验结果表明这种模式在模式评价和模式预测方面很有效,它同时为减少冗余规则提供了一种可行的方法。     

数据流挖掘算法在网络安全中的应用研究

入侵检测技术是网络安全中的核心技术,把数据流中频繁项集的挖掘应用于入侵检测系统中正常和异常数据分析已是当前网络安全中的一个重要发展方向.流入网络流中的数据高速并且无限到达,所以利用传统多遍扫描数据库的挖掘技术来构建入侵检测模型已受到局限.针对频繁模式多维的特点,提出了一种新型数据结构SW.Tree,并给出了一种高效的挖掘网络访问数据流的挖掘算法,把这种算法应用于网络入侵检测模型中频繁模式的挖掘,取得了较好的成效.     

基于并行模式挖掘和路径匹配的用户位置预测

为了提高移动用户位置预测的精度,提出了基于并行模式挖掘和路径匹配的移动用户位置预测方法,对传统的FP-GROWTH算法作了并行化处理,优化了节点负载分配方法,在Spark平台下挖掘用户移动频繁模式.改进了基于索引的路径相似度算法,提出基于路径最短距离的相斥度算法,提高了对轨迹数据缺失的适用性.在真实的用户轨迹数据集上实验表明,提出的基于轨迹相斥度预测方法相比马尔可夫模型和卡尔曼滤波模型拥有更高的预测精度,预测精确度平均提升7%左右.     

Incremental frequent tree-structured pattern mining from semi-structured data

The paper studies the problem of incremental pattern mining from semi-structrued data. When a new dataset is added into the original dataset, it is difficult for existing pattern mining algorithms to incrementally update the mined results. To solve the problem, an incremental pattern mining algorithm based on the rightmost expansion technique is proposed here to improve the mining performance by utilizing the original mining results and information obtained in the previous mining process. To improve the efficiency, the algorithm adopts a pruning technique by using the frequent pattern expansion forest obtained in mining processes. Comparative experiments with different volume of initial datasets, incremental datasets and different minimum support thresholds demonstrate that the algorithm has a great improvement in the efficiency compared with that of non-incremental pattern mining algorithm.     

事务模式树分层挖掘算法及其应用

从事务数据、时间序列数据等数据库中挖掘频繁模式已在数据挖掘领域中得到了广泛地研究．针对目前已有的Apriori算法和频繁模式增长算法在时间和空间等方面的复杂性和低效性，提出了一种新的数据结构——事务模式树，用来存放待挖掘的事务信息，同时给出一种基于该数据结构的挖掘算法——事务模式树分层挖掘算法．最后，把该算法应用于保险业务．结果表明,该算法简单高效，值得推广.