属性受限状态下低维冗余聚类数据快速挖掘方法研究

针对传统数据挖掘方法存在挖掘精度低、速度慢、占用内存多而不适于实际应用等缺点,提出一种属性受限状态下低维冗余聚类数据挖掘方法。通过计算低维冗余聚类数据的支持度,把低维冗余聚类数据挖掘问题转变成频繁项集挖掘问题;利用支持度与可信度对关联规则产生结果进行评价,并添加属性对其进行限制,以减少无用规则的产生。通过属性位复用方法建立候选区域,产生关联规则集,对符合关联规则集的低维冗余数据进行聚类,实现对其挖掘。实验结果表明,通过所提方法对属性受限状态下低维冗余数据进行挖掘,挖掘速度快,结果可靠。     

基于关联规则与相似度的数据挖掘算法研究

针对使用传统关联规则算法挖掘大数据集时,挖掘过程中效率不高,挖掘出大量冗余规则的问题,提出了基于关联规则和相似度的数据挖掘算法(U-APR):首先,一次性读入数据并构建矩阵,并利用关联规则支持度度量的特性来增加判断属性,以加快结束迭代过程,从而改进了Apriori算法频繁扫描数据库问题;然后,使用相似度算法去除冗余的关联规则;最后,结合置信度、支持度和用户目标匹配度对挖掘结果进行排序输出,从而得到用户感兴趣的关联规则. 同时,应用该算法与目前常用的2种关联规则算法对广东某高校学生财务数据进行数据挖掘. 实验结果表明:与2种常用的关联规则算法相比,U-APR算法缩短了运算时间和提高了存储空间利用率,对用户分析挖掘结果有较好的优化效果.     

基于属性差异的产品缺陷数据关联规则模糊分类

针对工业生产过程中所产生的产品缺陷数据经过数据挖掘后关联规则存在不能有效组织的问题,提出一种基于项目属性差异的产品缺陷数据关联规则模糊分类方法,在建立模糊分类树的基础上,计算出关联规则间距离,并采用自组织神经网络聚类的方法对挖掘结果进行聚类分析。将该方法应用于冷轧带钢表面缺陷数据挖掘后处理,结果表明,该方法不仅能够得出两种不同属性项目间的关联性,还可以求出缺陷关联规则间的距离,距离越近的关联规则被聚为一类,其相似性越大。     

无最小支持度的关联规则挖掘方法

关联规则的挖掘是数据挖掘领域的重要研究内容之一.关联规则的挖掘算法大都在用户设置的支持度阈值的限制条件下,挖掘出数据属性之间的关系.但是没有相关领域的专门知识,用户很难设置合适的支持度阈值得到合适的结果.本文在Apriori算法的基础上,提出一种无支持度的关联规则挖掘方法.     

一种基于K-means的关联规则聚类算法

关联规则是数据挖掘领域中的主要研究内容之一。针对高维海量数据集,尤其当支持度和置信度阈值太低时,将生成大量冗余和相似的关联规则,从而对关联规则的理解和使用造成了困难。本文采用改进的K-means思想,给出了一种关联规则聚类算法:首先重新定义了冗余关联规则,并给出了删除的方法;然后定义了一种新的规则间相似性度量;最后利用K-means思想,采用最大三角形方法选取聚类的初始点,将相似的关联规则归为一类。实验验证该算法能够帮助用户快速有效地找到有用的关联规则,提高了关联规则的可理解性。     

基于关联规则挖掘的赋权特征选择跌倒检测研究

针对穿戴式跌倒检测中特征属性过多,传统的降维和PCA赋权降维方法仅考虑了单个特征的重要度,未将特征组合的重要性考虑在内的问题,提出一种改进的基于关联规则挖掘的赋权特征选择方法。在特征降维过程中引入关联规则挖掘,根据频繁项集的支持度和置信度为特征赋权,实现特征选择。利用真实的数据集进行对比实验,结果表明:该方法分类的正确率、特异度和灵敏度均高于未经降维的原始数据集和经PCA赋权选择的数据集。该方法不仅能够实现对高维数据的降维,而且考虑了特征间的关联规则,能够得到更为优质的特征向量数据集。     

双重区间值聚类挖掘模型

提出了双重区间值聚类的数据挖掘模型：首先将每个属性的取值按照领域知识划分为若干类。接着统计每个类在各条“交易”中出现的频率(支持度)，最后再按照关联规则挖掘方法进行处理．这种区间值数据挖掘方法与传统的数据挖掘方法相比较，更有实用价值．     

基于模糊关联迭代分区的挖掘优化方法研究

由于数据库存在数据量大、多维性的特点,传统挖掘方法在对数据进行处理时,无法构建精准的数学模型,容易出现部分信息丢失、分区过硬的问题。提出一种基于模糊关联迭代分区的挖掘优化方法,通过模糊C均值聚类算法对原始数据集进行预处理,过滤冗余数据,获取原始数据集的模糊分区;利用模糊关联挖掘算法获取感兴趣规则,实现数据的优化挖掘。实验结果表明,针对不同的数据集,改进的方法均具有很好的分区性能,且时间复杂性低,挖掘精度高。     

基于AP-CAN的增量关联挖掘算法研究

随着大数据时代的到来,增量关联规则挖掘已成为数据挖掘领域的热门话题.CAN-tree作为增量关联规则挖掘领域的重要算法,其按项目频次大小进行排序会使树(tree)的规模过大,降低算法效率.针对此问题,提出一种基于AP-CAN的增量关联挖掘算法,采用AP聚类思想将原始数据集按项目的支持度不同分为多个集群,修剪不满足最小支持度的集群,利用哈希头表替代项头表,并根据数据量对每条事务排序.实验结果表明,该方法可以显著削减CAN树的规模,降低项目查找时间,提高数据挖掘效率,在效率和稳定性上均优于现有的CAN-tree算法.     

应用立方体工具计算频繁维谓词集的方法

关联规则是数据挖掘中重要的挖掘模式,数据立方体很适合挖掘多维关联规则,多维关联规则挖掘中最重要的工作是频繁维谓词集的获得.具体应用OLAPServices工具有效获得频繁维谓词集的具体方法现有书籍介绍较少.通过一个高校学生信息系统的实际例子,对经由数据立方和MDX语言对有效计算频繁维谓词集的方法进行了有意的探索.     

基于等价关系的关联规则的挖掘

由于在实际的数据挖掘过程中容易出现无用的频集和冗余的规则，所以降低频集和规则的冗余度可大大提高挖掘的质量，这也是数据挖掘中一直被关注的问题，提出了一个用等价类生成关联规则的方法，算法主要在频集的基础上建立项集的等价关系，进而对项集划分等价类，同时将得到的关联规则划分为精确关联规则和近似关联规则两个集合，通过等价类，不但可以很容易地生成所需要的关系规则，同时可以方便地判断数据之间依赖关系的强弱，同时，项集的等价关系在实际应用中也很有利用价值，算法最后的规则结果集剔除了由来自同一等价类中的面集的重复出现构成的冗余规则，从而得到了较小的关联规则集合。     

基于Hash结构的关联规则交互挖掘算法

关联规则挖掘是数据挖掘的主要技术之一,现有的关联规则挖掘算法均基于支持度-置信度框架,当用户调整阈值时存在多次遍历数据库和重复计算问题。该文针对支持度阈值变化时的关联规则维护问题,提出了关联规则交互挖掘算法HIUA,该算法改进了原始IUA算法的剪枝过程,并通过Hash结构提高算法运行效率。在UCI数据集及企业实际财务数据集中的实验结果表明:在支持度阈值发生变化的过程中HIUA算法进一步利用已有挖掘结果,有效提高了关联规则挖掘的效率。     

大数据云存储下海量数据传输完整度控制技术

为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。     

分布式环境下全局模糊频繁项目集的快速挖掘

为了解决模糊关联规则挖掘算法需要用户事先给定模糊集和相应隶属度函数的问题,提出基于分布式聚类自动生成模糊集及隶属度函数的算法GFAM.该算法利用分布式K-Means聚类算法对每个数值型属性进行聚类,求得聚类中心,由此构造全局模糊集,定义全局隶属度函数.DFAR算法根据构造的全局模糊集及隶属度函数进行分布式模糊频繁项目集的快速挖掘,采用全局-局部站点模式,其中包括局部模糊频繁项目集产生算法FLF和全局模糊频繁项目集产生算法FGF.实验结果表明,该算法能准确地生成全局模糊频繁项目集,在求解全局模糊频繁项目集过程中,传送局部模糊候选项目集支持数的通信量为O(n),提高了算法的挖掘效率.     

基于语义关联性特征融合的大数据挖掘方法

提出一种基于语义关联性特征融合的大数据挖掘算法.对云存储大数据分布式信息流进行高维相空间重构,在重构的相空间中提取大数据的语义关联维特征量,以提取的特征量为测试集进行自适应学习训练.采用模糊C均值算法进行大数据语义关联特征的稀疏性融合和聚类处理,在聚类中心实现对挖掘目标数据的指向性聚敛,输出数据挖掘结果,并采用特征压缩器进行降维处理,降低计算开销.仿真结果表明,采用该方法进行大数据挖掘的特征提取准确性较好,挖掘数据的聚类能力较强,在实时性和准确性方面具有优势.     

分布式环境下全局模糊频繁项目集的快速挖掘

为了解决模糊关联规则挖掘算法需要用户事先给定模糊集和相应隶属度函数的问题，提出基于分布式聚类自动生成模糊集及隶属度函数的算法GFAM．该算法利用分布式K—Means聚类算法对每个数值型属性进行聚类，求得聚类中心，由此构造全局模糊集，定义全局隶属度函数．DFAR算法根据构造的全局模糊集及隶属度函数进行分布式模糊频繁项目集的快速挖掘，采用全局一局部站点模式，其中包括局部模糊频繁项目集产生算法FLF和全局模糊频繁项目集产生算法FGF．实验结果表明，该算法能准确地生成全局模糊频繁项目集，在求解全局模糊频繁项目集过程中，传送局部模糊候选项目集支持数的通信量为O（n），提高了算法的挖掘效率．     

高速公路收费数据中环境-运营特征关联规则挖掘

针对传统关联规则挖掘算法在海量高速公路收费数据挖掘交通规律时存在的运算冗余、复杂度高、代价大等问题,提出一种改进的Apriori算法,可获得收费数据中环境特征与运营特征间的关联规则。首先将收费数据特征属性划分为收费站信息、时间信息、气象信息、运营信息4类,并进一步划分为环境特征域与运营特征域,从而构建收费数据特征模型;其次提出基于目标域的关联规则挖掘算法,在传统Apriori算法频繁项集产生过程中,根据期望规则结构以及已知规则后件,过滤无效项集,形成仅包含目标域的关联规则;最后,讨论了高速公路收费数据挖掘中的数据清理、离散化与数据拟合等问题,并在西宝(西安—宝鸡)高速公路收费数据集上进行了验证。试验结果表明:提出的方法时、空代价优于传统算法,能有效减少频繁项集数量,规则置信度在93%以上;试验中得到收费站位置、通行时间、气温及是否免费日等环境特性对车辆运行速度和收费站通行率的影响规则,这些规则可为高速公路交通控制及信息服务提供支持。     

基于虚构理论对不平衡数据集中少数类关联规则挖掘的研究

在网络入侵检测系统中,数据挖掘往往面对的是不平衡数据集,而对不平衡数据集中少数类的挖掘是现在研究的热点.针对不平衡数据集中少数类的挖掘问题,提出了不平衡库关联规则挖掘算法(ARUD).算法首先构造一个知识联接强度矩阵,用来存储所有二项集的支持度计数,然后基于该矩阵挖掘满足最小说服度的所有关联规则,且ARUD算法仅需扫描整个事务数据库1次.采用了UCI数据库中4个典型的不平衡数据集,对比Apriori算法与CFP-Growth算法,ARUD算法能有效提取不平衡数据集中的少数类,并在数据挖掘运行时间和占用内存方面均有性能提升.     

基于模糊集和粗糙集的关联规则挖掘策略

提出了一种对原始数据先进行模糊聚类,再提取规则的基于模糊集和粗糙集技术的关联规则挖掘策略,可以在一定程度内减少噪声数据的干扰,消除数据对象中的冗余属性,有利于提高规则挖掘的有效性．     

网络数据包安全指标关联规则挖掘应用与研究

对网络通信中,安全指标间关联规则的挖掘速度缓慢问题进行研究。网络通信数据的高容量、多样性和复杂性,使网络安全指标间关联规则挖掘的信息处理难度较高、时间效率低,为此提出一种基于并行FP-树频集算法的关联规则数据挖掘方法并成功应用于网络通信的安全指标挖掘中。首先对网络通信数据进行Netflow流量数据采集,对其进行预处理以信息熵的形式存储。然后将频集压缩到频繁模式树上,再引入并行算法在多个处理器上为频繁模式树的节点创建条件模式库和条件模式树,在不同的并行处理器上进行同时处理,最后生成反映网络安全信息的关联规则。该方法提高了网络信息安全指标间关联规则挖掘的效率,在同样的支持度阈值和置信度阈值的条件下,可减少处理时间4~7 s。