大规模并行网络动态演化特征挖掘技术研究

传统技术无法适应动态变化的网络演化特征,容易引入很多无关节点连接信息,合理设定参数非常困难,导致动态演化特征挖掘结果不可靠。为此提出一种新的大规模并行网络动态演化特征挖掘技术。在建立的大规模并行网络中,把网络节点划分成普通节点和簇头节点,普通节点加入大规模并行网络后,被看作簇头节点,只和某个簇头构建链路,通过多跳实现数据转发,依据择优添加连接和反择优过滤节点演化。针对大规模并行网络动态演化特征,提出挖掘模型,通过初始权重对节点在网络中的初始化状态进行描述,利用突发权重,依据时间独立性对动态演化特征的突发性进行描述,采用密集权重对网络在局部时间内节点连接的密集程度进行描述,通过连续权重对网络在相同演化期间体现的连续性进行描述,依据总权重值实现动态演化特征的挖掘。实验结果表明,所提技术挖掘可靠性和实用性强。     

点云数据的三角剖分及计算机三维重建

为了解决直接剖分法因点云数据拓扑结构复杂出现的自交现象,提出了一种基于分治策略的三角剖分方法.首先,对原始点云数据进行平面投影并执行区域分割;其次,在每一个区域内进行直接剖分,剖分过程遵循异侧剖分准则、法向量夹角最大剖分准则、阈值距离剖分准则、最小内角最大剖分准则.最后,按照空间Delaunay剖分准则完成区域之间的连接.实验结果表明,该文提出的剖分方法对于规则曲面点云和非规则曲面点云都具有理想的剖分效果,并且执行速度快.     

基于数据挖掘的农产品质量特性波动溯源方法

针对传统的农产品质量特性波动溯源方法一直存在溯源不准确、效率低的问题,提出基于数据挖掘的农产品质量特性波动溯源方法。依据农产品质量特性之间的关系,将质量特性间的波动传播关系划分成链接内部传播、链接串联传播、链接并联传播以及链接混联传播四种基本形态,求出每种形态的波动传播度。通过小波分解方法对农产品质量特性波动特征进行提取,结合波动传播度为溯源提供可靠的技术支持。介绍了决策树方法,通过基于决策树方法将农产品质量特性波动传播度和Shannon熵看作特征,依据训练集形成规则并产生决策树,输入测试集进行数据挖掘,得到农产品质量特性波动溯源结果。实验结果表明,所提方法不仅具有良好的特征提取效果和较高的溯源精度,而且时间复杂性指标较低。     

基于垂直格式的频繁项集挖掘分段算法

针对Eclat算法连接和剪枝操作耗时的缺点,按照项集之间的可连接性,将数据集划分为等价类并分段存储,采用末项剪枝策略,在常量时间内完成连接和剪枝操作.针对Eclat算法求长集合的交集操作需要大量计算的缺点,采用多维数组分段存储项集的事务集,将长集合的求交集操作转换为分段求短集合的交集,并提出期望支持度的概念,在求交集的过程中预测支持度,从而减少求交集的比较次数.实验结果表明,该算法在时间性能方面优于Eclat算法,尤其适用于挖掘长模式稀疏数据集.     

一种基于频繁模式有向无环图的数据流频繁模式挖掘算法

频繁模式挖掘中基于FP-growth的算法需要扫描两次事务数据库,预先给定支持度,且不支持时间敏感型数据。本文提出了一种基于频繁模式有向无环图的数据流频繁模式挖掘算法,它根据事务到来的时间给每个事务一个序号,每个事务中的数据项在存储前按数据项的顺序进行调整,频繁模式有向无环图的构建遵循这个顺序并用序号来记录事务与数据项的包含关系,模式增长过程只需要增加有向边上的序号。通过逆向遍历带有相同序号的有向边,产生条件模式基,根据动态定义的阈值抽取条件模式基信息,一次扫描数据库得到频繁模式。实验结果表明,本文算法的执行效率优于FP-growth算法,且存储节点的数目明显减少。     

基于大数据分析挖掘技术的电力设备局部放电诊断方法

当前电力设备状态参量规模逐渐增加,电力设备状态数据来自多个不同系统,较为复杂。传统诊断方法不能有效处理大规模数据,导致电力设备局部放电诊断结果不可靠。为此,提出一种新的基于大数据分析挖掘技术的电力设备局部放电诊断方法。给出谱图生成过程,对电力设备局部放电特征进行提取。对电力设备状态参量进行大数据分析挖掘,完成对电力设备各种状态参量的组合、特征合并处理。通过皮尔逊相关性理论计算相关系数。依据相关系数,利用优化迭代将电力设备样本分成若干类,获取对应聚类中心。将局部放电样本聚集在一起,依据局部放电特征实现诊断。实验结果表明,所提方法诊断可靠性与实用性强。     

一种基于序列挖掘的分类系统框架

为了有效地对序列数据进行分类，提出了一种集成分类挖掘和序列模式挖掘技术的分类系统框架(SPACS)．先采用一套约束和裁减策略，为每个分类挖掘频繁序列模式，并将其转换为分类序列规则(CSR)；再利用平均CSR匹配置信度和一个规则匹配算法构建有效的序列数据分类器．SPACS不需要在提取序列的特征后采用传统方法进行分类，可以直接利用从序列数据中提取出的频繁序列进行分类．实验结果表明，对于序列类型的数据的分类，SPACS比传统的决策树和关联分类方法具有更高的分类精度．     

粗糙逼近近似度量在分类规则挖掘中的应用

为了提高决策系统的分类质量,探讨了一种在数据仓库中基于粗糙逼近近似度量的挖掘分类规则策略.首先介绍了数据集中挖掘分类规则的基本原理,并利用粗糙集理论中粗糙逼近近似度量概念,根据决策表条件属性重要性度量及条件属性对决策类划分的逼近近似度量,提出了基于改进粗糙逼近近似度量的数据挖掘进行属性约减方法,最后举例说明了如何在数据库中发现分类规则.实验结果表明此方法挖掘出的规则简练且合理可靠.     

现代信息数据的挖掘与发展

数据挖掘作为一项从海量数据中提取知识的新技术引起学术界和产业界的极大重视。笔概括了数据挖掘的几种常见模式．如依赖模式、层次模式、序列模式等,并对这几种数据挖掘模式的特点进行了比较;阐述了从数据中提取知识的几种挖掘算法,如决策树、神经网络方法、遗传算法等;展望了数据挖掘模式和挖掘算法的发展趋势。     

基于均值约束满足度剪枝策略的高效序列模式挖掘算法

为了减少无用候选序列的生成,并使挖掘得到的序列模式符合用户要求,约束条件下的频繁序列模式挖掘已成为数据挖掘领域的一个新的重要研究方向.作为强约束形式的一种,均值约束目前仍然是基于约束的频繁序列模式挖掘的一个困难问题,其主要原因在于很难利用均值约束来进行序列模式挖掘中的剪枝.为此,提出了一种基于均值约束满足度剪枝策略,并且以前缀增长方法为基础设计了一个有效的频繁序列模式挖掘算法.通过分析并实验验证了该算法的时间效率和剪枝性能,结果表明,该方法是有效的.     

软件定义航空集群机载网络自适应更新策略

软件定义网络的出现为突破当前机载网络在航空集群作战应用中存在的固有技术瓶颈开辟了全新途径,然而软件定义机载网络动态的网络拓扑以及有限的链路容量导致网络更新过程中链路拥塞现象频发,造成网络更新过程极易引发网络拥塞,并降低网络更新的成功率.针对该问题,提出一种基于拥塞避免的软件定义航空集群机载网络更新策略.首先通过混合更新策略计算得到各业务流的初始更新操作序列;然后提出拥塞链路感知算法,实现更新过程中对潜在拥塞链路的感知;最后提出基于拥塞避免的软件定义机载网络更新算法,根据各业务流的初始操作序列以及感知到的潜在拥塞链路状态,计算无拥塞更新操作约束,并最大限度实现网络的无拥塞更新.仿真结果表明,与现有网络更新策略相比,所提更新策略能够有效避免网络更新过程中软件定义机载网络的拥塞,提升网络更新的成功率.     

差分隐私密度自适应网格划分发布方法

为了进一步均衡噪声误差和均匀假设误差对二维划分发布带来的影响,提出一种新的分层差分隐私位置信息划分发布算法。首先将位置空间聚类形成第一层密度自适应网格,然后对不同性质的密度区块采取不同的二次划分方法,在降低均匀假设误差的同时避免了大量空结点引入的噪声误差。在采用分层划分策略的同时,结合差分隐私模型的串行组合特性,对2个阶段的划分结果添加不同隐私预算的Laplace噪声,总体上实现对发布数据的ε-差分隐私保护。实验证明,该算法在改善区域计数查询精度方面具有较好的效果,能够节省不必要的划分过程,有效提高了算法的运行效率。     

面向领域的数据驱动自主式知识获取模型及实现

数据挖掘是一个非常有用的工具,通过它能够从大型数据库中发现知识.目前,众多研究者将其主要研究工作放在了数据挖掘的模型与方法等工程技术问题上,对于数据挖掘的一些基础理论问题却研究不足.通过对数据挖掘基本理论的研究,提出了面向领域的数据驱动自主式知识获取模型.并通过一系列数据驱动自主式知识获取算法验证了该模型的有效性.     

面向领域的数据驱动自主式知识获取模型及实现

数据挖掘是一个非常有用的工具,通过它能够从大型数据库中发现知识。目前,众多研究者将其主要研究工作放在了数据挖掘的模型与方法等工程技术问题上,对于数据挖掘的一些基础理论问题却研究不足。通过对数据挖掘基本理论的研究,提出了面向领域的数据驱动自主式知识获取模型。并通过一系列数据驱动自主式知识获取算法验证了该模型的有效性。     

Feature Selection Based on Difference and Similitude in Data Mining

Feature selection is the pretreatment of data mining. Heuristic search algorithms are often used for this subject. Many heuristic search algorithms are based on discernibility matrices, which only consider the difference in information system. Because the similar characteristics are not revealed in discernibility matrix, the result may not be the simplest rules. Although differencesimilitude（DS） methods take both of the difference and the similitude into account, the existing search strategy will cause some important features to be ignored. An improved DS based algorithm is proposed to solve this problem in this paper. An attribute rank function, which considers both of the difference and similitude in feature selection, is defined in the improved algorithm. Experiments show that it is an effective algorithm, especially for large-scale databases. The time complexity of the algorithm is O（｜ C ｜^2｜U ｜^2）.     

大规模数据库中非显著特征动态数据实时挖掘技术研究

从大规模数据库中挖掘非显著性特征数据时,容易产生大量数据通信和中间数据,存在大量交集操作,影响挖掘实时性。为此,提出一种新的基于Hadoop分布式架构的非显著性特征数据实时挖掘方法。对数据显著度进行检测,提取非显著性特征;搭建Hadoop分布式架构硬件结构,按照非显著性特征数据挖掘的特性和功能,建立Hadoop分布式架构非显著性特征数据挖掘软件架构;包括交互层、应用层、非显著性特征数据挖掘层和分布式计算层。把大数据集分割为若干数据块,将数据块分配至所有计算节点,依据非显著性特征进行并行计算,将map阶段的本地输出结果合并在一起,降低节点间数据交换量。通过reduce函数把所有计算节点的临时文件合并为垂直项集,求出项支持度。当无更多频繁项集的数据输出时,即可得到非显著性特征数据。实验结果表明,所提方法挖掘结果可靠,实时性强。     

矩形块划分的二维空间数据挖掘算法及其应用

空间数据挖掘的研究是当今极具发展前景的领域,也是一个广阔的研究课题,它是在大量空间数据中进行知识发现的技术.针对基于矩形块划分的二维空间数据挖掘问题,本文运用动态规划法实现了一个近似度上界为2的多项式算法,并分析了算法复杂性.实现的算法可以直接应用于数据挖掘、数字网格划分与评估、数据分割、数值地形曲面的简化等问题.     

一种基于密度和网格的高效聚类算法

聚类已成为数据挖掘的主要方法之一,能够帮助人们在大量的数据中发现隐藏信息.目前最具典型的密度聚类算法是DBSCAN(density-based spatial clustering of applications with noise),它能够在空间数据库中很好地发现任意形状的簇并有效地处理噪声,但是它的计算复杂度相对较大.因此,采用划分数据集和聚簇合并方法,提出了一种基于密度和网格的高效聚类算法DGCA,并通过人工合成数据集和真实数据集对该聚类算法进行理论验证.实验结果表明该算法在效率性能和质量方面比DBSCAN都得到了提高.     

基于数据模式聚类算法的离群点检测

针对传统模式挖掘算法在事务包含模式定义上未考虑模式间的包含关系而使聚类结果不够优良的问题, 提出一种新的基于模式聚类的离群点检测算法PCOT, 该算法适合于高维数据空间, 采用一种新的事务包含模式, 通过将模式表示成超图, 用超图分割方法对模式进行聚类. 实验与分析结果表明, 该算法能有效地在高维稀疏空间中发现离群点.     

基于合并FP树的频繁模式挖掘算法

FP-growth算法是一个挖掘频繁模式的有效算法,但它在挖掘过程中需要产生大量的条件FP树,因此其时空效率不够理想。提出了DFP-mine算法,通过在改进的FP树上合并子树来挖掘频繁模式,并在挖掘过程中结合了自顶向下和自底向上的双向搜索策略。理论分析和实验表明本文提出的算法具有较好的时空效率。