基于滑动窗口的含负项高效用模式挖掘方法

现有的面向数据流的高效用模式挖掘方法局限性之一在于假定数据都带有正的效用值,且在挖掘过程中使用效用列表会消耗大量的时间和内存.为了解决以上问题,首次提出在数据流中挖掘含负项的高效用模式挖掘算法,在算法中设计了一种新颖的列表索引结构(list index structure,LIS),LIS包括数据段和索引段,依据索引段...     

基于事务型滑动窗口的数据流中高效用项集挖掘算法

由于能反映用户的偏好,可以弥补传统频繁项集挖掘仅由支持度来衡量项集重要性的不足,高效用项集正在成为当前数据挖掘研究的热点.为使高效用项集挖掘更好地适应数据流环境,提出了一种基于事务型滑动窗口的数据流中高效用项集挖掘算法MHUIDS.首先在二进制向量的基础上,提出了高事务加权效用项集树(HTWUI-树)的结构.进而分别给出了事务型滑动窗口初始化与滑动的算法描述.最后,提出了高效用项集的剪枝策略与挖掘算法.实验结果表明,MHUIDS算法具有较高的挖掘效率及较低的存储开销.     

面向复杂高效用模式的挖掘算法综述

复杂高效用模式挖掘是当前研究的一个新兴主题。本文首次从高效用融合模式和衍生模式2个角度进行讨论。首先，对于融合模式，根据数据结构的不同对高效用序列模式进行分类论述；按照时间顺序对高效用片段模式、周期高效用模式进行概述。针对衍生模式，从数据结构角度对高平均效用模式、带有负项的高效用模式、on-shelf高效用模式进行总结；从精简类型角度概述精简高效用模式，并对现有融合模式和衍生模式挖掘算法的优缺点、上边界等进行对比分析。最后，针对现阶段研究缺陷与不足，给出了下一步研究方向，包括不确定数据中的高效用模式挖掘方法、数据流上的高效用on-shelf模式挖掘方法和大数据环境下的并行高效用模式挖掘方法。     

基于索引效用的Top-k高效用项集挖掘方法

已有的Top-k高效用项集挖掘为了保持向下封闭性,利用项集的事务效用代替其真实效用,使得项集效用被估计得过大,导致剪枝效果不好,挖掘效率较低.针对这一问题,提出了索引效用的概念,在此基础上建立两级索引,并进行索引剪枝,增强了挖掘中剪枝的效果,提高了Top-k高效用项集挖掘的效率;此外,通过建立效用矩阵,支持对项集效用的快速计算,进一步提高了挖掘效率.不同类型数据集上的实验验证了所提出的Top-k高效用项集挖掘方法的有效性和高效性.     

一种垂直结构的高效用项集挖掘算法

挖掘高效用项集已成为关联分析中的热点问题之一.多数高效用项集挖掘算法需要产生大量的候选项集,影响了算法性能.HUI-Miner是一个不需要产生候选项集就能发现事务数据库中所有高效用项集的算法.但其需要产生大量效用列表,不仅消耗了过多的存储空间,而且影响了算法的运行性能.针对此问题,提出一个新的数据结构,称为项集列表,用于存储事务和项的效用信息.提出3种剪枝策略,减少项集列表的数量,通过扫描一次事务数据库完成所有项集列表的构建.提出算法MHUI,直接从项集列表中挖掘所有的高效用项集而不产生任何候选项集.在3个不同的稀疏数据集上和最新的算法进行对比实验证明,MHUI算法的运行时间和内存消耗优于其他算法.     

衍生高效用模式挖掘算法综述

在数据挖掘领域中,高效用模式挖掘任务具有较高的理论研究价值和广泛的实际应用场景。针对多变的应用场合,提出了一系列衍生高效用模式。首先从关键技术的角度对高平均效用模式挖掘算法进行了分类论述,主要包括基于先验、基于树、基于列表、基于投影和基于数据格式的方法。其次,分析讨论了基于全集、精简集以及融合模式的含有负效用的高效用模式挖掘算法。再次,从模糊高效用模式、相关高效用模式和其他新兴高效用模式三个方面概述和总结了扩展高效用模式算法。最后,针对现阶段研究方向的不足,给出下一步的研究方向。     

转换时间数据流的加权FP-Tree挖掘算法

数据流中的数据分布随着时间动态变化.为了解决传统基于事务的挖掘算法较难建立时间特征和关系特征的相关性,事务和时间作为不同维度的基本单元耗费较高数据存储量的问题,基于事务的FP-Tree挖掘算法,提出了时间间断度的概念.引入了FP-Tree结点权重的概念,将时间数据进行动态转换,设计了基于加权FP-Tree的挖掘算法,对时间数据流关联规则挖掘.在实际数据集上完成了挖掘试验.结果表明,该算法相对传统FP-Growth算法能在计算效率降低约20%的情况下,提高10%以上的平均查全率和5%以上的平均查准率.     

快速挖掘频繁模糊项集

针对模糊频繁集的挖掘问题,提出一种有效的算法FMF.该算法采用FFP-树结构,将与模糊项目相关的事务的序号保存在树结点中.算法通过直接找到所有包含模糊项集的全部事务来计算该项集的支持度,不必扫描整个数据库,提高了模糊频繁项集挖掘的速度.     

基于数据流的序列模式挖掘算法

为了实现对数据流的序列模式挖掘，提出了基于数据流的序列模式挖掘算法MFSDS-1和MFSDS-2，它们均通过调整入选度的大小来调整保存信息的粒度．算法MFSDS-2利用分层存储结构，不仅能更好地保存序列信息，而且可以通过与全局序列模式的对比得到当前活动的一些异常序列模式．实验结果表明，基于分层存储的算法MFSDS-2的效率比算法MSFDS-1高．     

基于数据流的序列模式挖掘算法

为了实现对数据流的序列模式挖掘,提出了基于数据流的序列模式挖掘算法MFSDS-1和MFSDS-2,它们均通过调整入选度的大小来调整保存信息的粒度.算法MFSDS-2利用分层存储结构,不仅能更好地保存序列信息,而且可以通过与全局序列模式的对比得到当前活动的一些异常序列模式.实验结果表明,基于分层存储的算法MFSDS-2的效率比算法MSFDS-1高.     

数据流分类研究综述

数据流挖掘技术近年来正成为数据挖掘领域的研究热点,并有着广泛的应用前景。数据流具有数据持续到达、到达速度快、数据规模巨大等特点,因此需要新颖的算法来解决这些问题。而数据流分类技术更是当前的研究热点。本文综述了当前国际上关于数据流挖掘分类算法的研究现状,并进行分析,最后对数据流挖掘分类技术当前所面临的问题和发展趋势进行了总结和展望。     

基于模糊关联迭代分区的挖掘优化方法研究

由于数据库存在数据量大、多维性的特点,传统挖掘方法在对数据进行处理时,无法构建精准的数学模型,容易出现部分信息丢失、分区过硬的问题。提出一种基于模糊关联迭代分区的挖掘优化方法,通过模糊C均值聚类算法对原始数据集进行预处理,过滤冗余数据,获取原始数据集的模糊分区;利用模糊关联挖掘算法获取感兴趣规则,实现数据的优化挖掘。实验结果表明,针对不同的数据集,改进的方法均具有很好的分区性能,且时间复杂性低,挖掘精度高。     

基于DSCFCI_tree的带项目约束的数据流频繁闭合模式挖掘算法

根据数据流的特点,提出了一种挖掘约束频繁闭合项集的算法,该算法将数据流分段,用DSCFCI_tree动态存储潜在约束频繁闭合项集,对每一批到来的数据流,首先建立局部DSCFCI_tree,进而对全局DSCFCI_tree进行有效更新并剪枝,从而有效地挖掘整个数据流中的约束频繁闭合模式.实验表明,该算法具有很好的时间和空间效率.     

基于FP-tree挖掘密集型数据最大频繁模式算法

Fp-growth算法是当前挖掘频繁项目集算法中速度最快,应用最广,并且不需要候选集的一种挖掘关联规则的算法.但是,Fp-growth算法也存在着算法结构复杂和空间利用率低等缺点.在FP-tree结构的基础上提出了密集型数据最大频繁模式挖掘算法FP-DMax.算法FP-DMax只需要2次扫描数据库,在挖掘过程中不产生候选项集,大大提高了算法的时空效率.实验表明,算法FP-DMax在挖掘密集型数据最大频繁模式方面是高效的.     

基因表达数据的频繁闭合模式挖掘新算法

基因表达数据集与传统事务数据集相比呈现出新的特征,由于其项目数远远大于事务数,使得大量现有的基于项目枚举的频繁闭合模式挖掘算法不再适用.为此提出一种频繁闭合模式挖掘新算法TPclose,使用TP-树(tidset-prefix tree)保存项目的事务集信息.该算法将频繁闭合模式挖掘问题转换成频繁闭合事务集挖掘问题,采取自顶向下分而治之的事务搜索策略,并组合了高效的修剪技术和有效的优化技术.实验表明,TPclose算法普遍快于自底向上事务搜索算法RERⅡ,最高达2个数量级以上.     

异质数据集关联规则挖掘

针对存在的关联规则挖掘算法不能有效地在异质数据集中进行,本文首先使用领域本体方法处理数据集中的异质现象,然后提出了一种有效的XML异质数据集关联规则挖掘算法,实验结果表明该算法在挖掘速度和挖掘时在对内存的占用方面都优于现有的算法。     

数据流时间窗口中闭频繁项集的在线挖掘

在数据流闭频繁项集挖掘过程中,常忽略历史模式对挖掘结果的影响,并采用一种结构来标记闭频繁项集的类型,导致算法的效率不高.为此提出一种挖掘数据流时间窗口中闭频繁项集的方法NEWT-moment.该方法能在单遍扫描数据流事务的条件下完整地记录模式信息.同时,NEWT-moment提出的剪枝方法能很好地降低滑动窗口树F-tr...     

基于频繁闭项目集的关联规则挖掘算法

提出一种有效的基于频繁闭项目集的关联规则挖掘算法RIFCI．该算法采用挖掘频繁项目闭集取代传统的频繁项目集，同时在项目集和事务集中展开搜索．通过对UCI机器学习库中10个数据集的测试，与工业标准C4.5比较，错误率低于19．48％，在准确度不变的情况下，生成规则数目低于传统算法，提高了算法的效率．     

基于数据中台的日志解析技术

数据中台是一种利用数据技术为客户提供高效服务的模式.日志是数据中台记录系统运行状态的一种方式，它可以为故障诊断、性能优化、系统安全等任务提供支持，分析日志中的信息对中台日常运维具有重要意义.日志解析是日志挖掘的重要步骤，它将非结构化的日志文本转换为结构化的数据.综述了日志解析算法和评估方法，分析了工业界和学术界的解决方案，总结了日志解析算法的主要类别和特点，比较了不同算法在不同数据集上的性能和效果.发现日志解析算法缺乏统一的标准和数据集，导致结果难以对比和验证.针对这种情况，对未来的研究方向提出建议，应关注建立统一的评估指标和日志数据集，促进工业界和学术界的交流，以提高日志解析算法的适用性和可靠性，对日志解析领域的研究具有参考价值.     

基于前缀树的数据流频繁模式挖掘算法

针对数据流的无限性和流动性特点,提出了一种基于前缀树的数据流频繁模式挖掘算法(Prefix-stream).该算法将对数倾斜时间窗口划分为若干个子窗口,以子窗口为单位,利用提出的数据结构Prefix-tree进行挖掘,在整个数据流的频繁模式挖掘中,使得频繁模式挖掘和更新能在Prefix-tree中同时进行.该算法应用对数倾斜时间窗口逐步降低历史事务的权重,从而区分最近事务与历史事务.实验结果表明Prefix-stream具有较高的效率与较好的可扩展性.