基于大数据关联规则的网络恶意行为识别检测

为提升数据挖掘技术与网络恶意行为识别准确率,研究基于大数据关联规则的网络恶意行为识别检测方法。模糊化处理网络中存在的大数据,构建模糊数据库,分类聚集模糊数据库中的模糊数据,离散化处理模糊数据的连续属性,确定模糊数据频繁关联规则,通过基于模糊关联规则的数据挖掘方法获得整理后的网络数据;以此为基础,分析用户恶意访问流量特征,加权处理用户访问流量特征与用户信息熵特征,建立多特征融合的网络恶意行为识别模型,完成网络恶意行为识别检测。经实验验证,该方法识别检测网络恶意行为时准确率较高,在93%以上,漏检测率较低,低于8%,在数据挖掘时具有较低的时间消耗与空间消耗,支持度较高。     

基于模糊集的时序关联规则的度量准则

指出了时序关联规则在支持度度量上的不足,存在处理高密度海量数据时往往要耗费大量的时间处理规模巨大的频繁候选集,同时需要多次重复扫描数据库,执行效率低等问题,提出了重新定义支持度度量方法的时序关联规则.针对时序关联规则在解决项分类时涉及到的分层不确定、不准确情形,引入了基于隶属度的模糊层次分类结构,定义了项间距离、项集间距离,最终得到一种新的关联规则间距离的度量方法.实现了模糊层次分类,将时序关联规则结果进行聚类分析,得到规则和规则之间相似性,实验验证了该方法的有效性.     

属性受限状态下低维冗余聚类数据快速挖掘方法研究

针对传统数据挖掘方法存在挖掘精度低、速度慢、占用内存多而不适于实际应用等缺点,提出一种属性受限状态下低维冗余聚类数据挖掘方法。通过计算低维冗余聚类数据的支持度,把低维冗余聚类数据挖掘问题转变成频繁项集挖掘问题;利用支持度与可信度对关联规则产生结果进行评价,并添加属性对其进行限制,以减少无用规则的产生。通过属性位复用方法建立候选区域,产生关联规则集,对符合关联规则集的低维冗余数据进行聚类,实现对其挖掘。实验结果表明,通过所提方法对属性受限状态下低维冗余数据进行挖掘,挖掘速度快,结果可靠。     

属性受限状态下低维冗余聚类数据快速挖掘方法

针对传统数据挖掘方法存在挖掘精度低、速度慢、占用内存多而不适于实际应用等缺点,提出一种属性受限状态下低维冗余聚类数据挖掘方法。通过计算低维冗余聚类数据的支持度,把低维冗余聚类数据挖掘问题转变成频繁项集挖掘问题;利用支持度与可信度对关联规则产生结果进行评价,并添加属性对其进行限制,以减少无用规则的产生。通过属性位复用方法建立候选区域,产生关联规则集,对符合关联规则集的低维冗余数据进行聚类,实现对其挖掘。实验结果表明,通过所提方法对属性受限状态下低维冗余数据进行挖掘,挖掘速度快,结果可靠。     

基于粗糙集和决策树的数据挖掘方法

从粗糙集和决策树两种方法具有的优势互补性出发,提出了一种基于粗糙集和决策树相结合的数据挖掘新方法·以胶合板缺陷检测数据分析为应用对象,利用粗糙集理论对胶合板数据库中的特征信息进行缺陷识别·利用谱系聚类重心距离法对数据进行离散化处理,采用粗糙集进行属性约简,得到低维样本数据,最后用决策树方法产生决策规则·实验证明,这种数据挖掘方法保留了原始数据的内部特点,加快了获取知识的进程,提高了模型的分类准确率,增强了规则的可解释性,取得了满意的研究结果·     

基于属性聚类的贝叶斯分类算法

在数据挖掘的过程中,由于贝叶斯分类算法要求条件属性必须独立,因此具有一定的局限性.考虑该缺陷,提出用数据挖掘中另一种常用聚类算法对原始数据的条件属性进行数据预处理后,再使用贝叶斯算法.实验表明该算法提高了分类的准确率.     

一种基于自组织分级聚类的数据挖掘方法

针对传统自组织聚类方法处理数据在多维空间中存在多样性和从基本或低层次概念上发现强关联规则中的不足，提出了一种基于自组织分级聚类的数据挖掘方法．该方法采用最大似然分类自组织特征网络（MAXNET）聚类过程，利用自下而上聚合层次聚类方法，对有畸变的二值化输入模式作最大似然分类．最后对一个销售电脑商场中，与任务相关的交易数据集进行了分析，描述了从低层次概念到高层次概念的相互关系．并用matlab仿真软件把该方法和传统方法进行比较，表明了该方法的有效性．     

大数据云存储下海量数据传输完整度控制技术

为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。     

基于频繁模式树的关联分类规则挖掘算法

构建精确而有效的分类器是数据挖掘和机器学习中的一个重要任务．提出了一种基于频繁模式树的关联分类规则挖掘算法，该算法同时考虑所有属性，并对现有关联分类规则挖掘算法中内存要求高、类别属性处理难、I／O访问次数多等问题提出了相应的解决方案．试验结果表明，该方法可以取得比同样基于关联规则的分类算法CMAR更高的执行效率以及基于规则的决策树分类算法C4．5更好的分类效果．     

基于量子机制的改进的分类属性数据聚类算法

分析量子势能、量子力学中粒子分布机制和针对分类属性数据的量子聚类CQC算法,发现该算法采用传统的Hamming相异性测度计算分类属性数据间的相异性测度,忽略分类属性取值自身的涵义和值间的特征关联,导致其聚类准确性较差.提出一种改进的MCQC算法,能根据数据对象的关联情况计算同属性不同值间的相异性,计算数据对象间的相异性测度,从而提高聚类准确率.仿真实验采用3个数据集,即:大豆疾病、国会投票真实数据集和从KDD-CUP99训练样本集抽取离散属性维构成的人造样本集.实验结果表明,该算法是有效且可行的,对分类属性、二值属性和混合属性数据的聚类准确率明显高于CQC算法.     

分布式环境下全局模糊频繁项目集的快速挖掘

为了解决模糊关联规则挖掘算法需要用户事先给定模糊集和相应隶属度函数的问题,提出基于分布式聚类自动生成模糊集及隶属度函数的算法GFAM.该算法利用分布式K-Means聚类算法对每个数值型属性进行聚类,求得聚类中心,由此构造全局模糊集,定义全局隶属度函数.DFAR算法根据构造的全局模糊集及隶属度函数进行分布式模糊频繁项目集的快速挖掘,采用全局-局部站点模式,其中包括局部模糊频繁项目集产生算法FLF和全局模糊频繁项目集产生算法FGF.实验结果表明,该算法能准确地生成全局模糊频繁项目集,在求解全局模糊频繁项目集过程中,传送局部模糊候选项目集支持数的通信量为O(n),提高了算法的挖掘效率.     

基于属性加权的不完全数模糊 c 均值聚类算法

针对现有的不完全数模糊聚类算法未考虑样本各维属性对聚类贡献不同的问题,提出了基于属性加权的不完全数模糊c均值聚类算法.利用ReliefF算法评价各维属性的重要程度,通过加权欧式距离将属性权重结合入聚类,并能实现在聚类迭代过程中的缺失属性、隶属度及聚类中心的一体化求解.实验结果表明,该算法强调了重要属性在不完全数模糊聚类中的作用,能够得到更为准确的聚类结果.     

基于模糊关联迭代分区的挖掘优化方法研究

由于数据库存在数据量大、多维性的特点,传统挖掘方法在对数据进行处理时,无法构建精准的数学模型,容易出现部分信息丢失、分区过硬的问题。提出一种基于模糊关联迭代分区的挖掘优化方法,通过模糊C均值聚类算法对原始数据集进行预处理,过滤冗余数据,获取原始数据集的模糊分区;利用模糊关联挖掘算法获取感兴趣规则,实现数据的优化挖掘。实验结果表明,针对不同的数据集,改进的方法均具有很好的分区性能,且时间复杂性低,挖掘精度高。     

基于三段式编码GA的连续属性关联规则挖掘方法

如何有效地从具有连续属性的数据中挖掘关联规则,是目前数据挖掘领域的一个研究热点。论文基于遗传算法,提出了一个连续属性关联规则挖掘方法。在该方法中,首先采用三段式编码将连续属性离散化、属性约简和规则提取集成在一起,然后将小生境引入到遗传算法中,以避免早熟、提高挖掘效率。实验表明,该方法是有效的。     

比较两种挖掘正态关联规则方法

首先采用两种聚类方法确定正态模糊数的两个参数,并借助正态模糊数模型来软化数量属性论域的划分边界,由此生成一系列的正态关联规则.接着给出正态关联规则的挖掘方法,此方法能挖掘出所有有意义的正态关联规则.最后对两种挖掘正态关联规则的方法进行了比较.     

基于模糊集和粗糙集的关联规则挖掘策略

提出了一种对原始数据先进行模糊聚类,再提取规则的基于模糊集和粗糙集技术的关联规则挖掘策略,可以在一定程度内减少噪声数据的干扰,消除数据对象中的冗余属性,有利于提高规则挖掘的有效性．     

基于模糊关联规则与减法聚类的神经模糊建模

针对许多复杂系统的输入变量之间存在的相互关联,提出了一种基于聚类与模糊关联规则的神经模糊建模方法.这种方法采用基于聚类的模糊关联规则挖掘算法来进行输入变量的选择,之后,再采用基于减法聚类的神经模糊建模方法建模.最后,还将这种建模方法应用于实际建模问题,结果表明这种方法在保证模型精度符合建模要求的情况下,减少了模型输入个数,降低了建模的复杂程度.