数据挖掘方法的研究

数据库中的知识发现即数据挖掘是致力于大型数据分析中的半自动工具的研究。讨论了数据挖掘中一些常用的方法 ,特别是频繁发生模式中层次搜索及其在不同领域中的应用。讨论了数据挖掘查询编译成算法的可能性 ,并列举了数据挖掘及知识发现中现存的一些问题。     

基于数据挖掘的水库供水调度规则提取

以供水调度为例对数据挖掘用于水库调度规则提取进行了研究.经分析主要选取了水库蓄水量、调度时段编号、需水量、径流量和水文年型5个特征属性构成数据集,通过数据挖掘从中发掘水库供水调度规则模式.采用径向基函数网络作为数据挖掘算法,将复杂的属性空间上的数据样本,映射为几种离散的供水调度模式,从而完成供水调度规则的模式划分.为了验证数据挖掘方法在调度规则提取上的效果,给出了调度图和调度函数方法用于供水调度的计算结果,三种方法的调度结果对比分析显示,数据挖掘方法在供水调度模式分类正确率和缺水指数两方面都是最好的,这反映出数据挖掘方法用于水库调度是合理有效的.     

从数据挖掘到专家挖掘

在简要分析传统数据挖掘方法不足的基础上,提出专家挖掘的必然性和重要性.作为一个新的研究领域,首先介绍了专家挖掘的基本概念,接着给出了其过程模型、主要方法与技术,并通过与数据挖掘方法的比较,分析了专家挖掘与数据挖掘互为驱动的知识发现的优势,最后结合案例说明专家挖掘的可行性.     

小数据集条件下基于不确定先验的BN参数学习

针对以往基于约束的贝叶斯网络（Bayesian networks,BN）参数学习方法在处理先验知识时未考虑知识的不确定性这一缺陷,本文为专家知识附加一个表示不确定性的概率。对所有约束,根据其存在与否生成一个组合,计算该组合的概率,并采用凸优化方法计算该组合条件下的参数估计结果。同时,为加速问题求解,将每个具体的凸优化问题分解为一系列可并行求解的子问题。在得到所有约束组合下的参数之后,依照概率加权思想得到参数估计的最终结果。最后,通过空地战场威胁态势评估模型,证明在参数学习过程中考虑知识的不确定性可有效改善先验知识错误时的BN参数学习效果。     

数据挖掘系统设计

随着海量数据库技术的不断发展 ,出现了数据丰富但知识贫乏的现象 .为解决这一问题 ,近年来 ,提出了数据挖掘 ( Data Mining)和知识发现 ( KDD)技术 .本文介绍了数据挖掘系统的概念及具体的运做流程 ,并提出了一个原形系统的构建模型 .最后 ,指出在数据挖掘技术发展中面临的一些问题.     

基于知识生命期的数据挖掘方法研究

以知识生命期为线索,同时引入广义计算理论与技术,提出一种基于知识生命期的数据挖掘模型,并以浙江省可持续发展模型为例,重点讨论了时序数据挖掘技术,最后给出的计算结果以说明这种方法的可行性与有效性.     

一种挖掘频繁模式的数据库划分新方法

提出了一种新的数据库划分方法。该方法应用于需要产生候选项的频繁模式的挖掘过程,可以大大减少对数据库的扫描操作,提高数据挖掘效率,特别是对于较长模式的数据挖掘更是如此。该方法是将交易数据库按照交易的长度(或者说模式的长度)划分成若干个子数据库,将等长度的交易划分到同一个子数据库中,这样在获取候选项的支持度时,只需要扫描模式长度大于等于相应候选项长度的子数据库即可,从而减少了对数据库的扫描操作。给出了基于数据库划分的挖掘算法,通过理论推导和实验证明了该方法的有效性。     

链系统

建模是分析和解决控制问题的一个重要环节。集中控制方法要求建立集中型的模型。分散控制策略则提出在集中模型上迭加测量信息分散的经验知识。利用结构信息分散的特性是另一种途径。本文认为,受控系统中诸测量变量从及它们之间的因果关系构成一个整体,但这不是一个笼统的整体,而是有主次之分的。主要的关系决定了系统的结构模式,它也是一种有用的经验知识。利用因果分析的结果,抓住主要关系,文中给出了因果链、链结构和链能达性的概念,让因果分析贯穿建模过程,使最终的模型显含主要的因果关系,从而得到以子系统级模型表征的新的分散型模型。此模型把人工知识与     

DBMiner数据挖掘平台及其应用

数据挖掘是智能信息处理的重要工具。介绍DBMiner数据挖掘平台的组成和原理，提出了多重知识模型的分层数据挖掘方法。基于综合衡量准则的决策性生成算法改善了生成决策树的结构和分类精度，基于遗传算法的n维空间优化参数的搜索算法。该数据挖掘平台已应用于多个应用领域均取得满意结果，介绍了在多元合金材料预报和家庭远程医疗监护方面的应用。     

利用模糊神经网络进行数据挖掘的一种算法

研究把模糊神经网络结合进数据挖掘的方法,经过模糊神经网络的建立,训练达到精度要求、网络的裁剪、隐节点激活值的聚类和规划提高的步骤,达到通过模糊神经网络方法从数据库中提取知识的目的,并通过仿真验证了算法有效性。     

在线挖掘数据流混合窗口中闭频繁项集

在数据流挖掘中,界标窗体考虑了历史模式对当前挖掘的影响,但没考虑到随时间的推移模式衰减的问题。滑动窗口能记录最新、最有用的模式,但窗口的最佳大小无法准确确定。针对一些仿真系统中具有数据流特点的数据,提出了一种挖掘混合窗口中闭频繁项集的方法T-Moment。该方法能在单遍扫描数据流的条件下完整地记录模式信息。同时,T-Moment提出的减枝方法能很好地降低滑动窗口树F-tree的空间复杂度与闭频繁模式树T-tree的维护代价。此外,该方法提出的时间衰减机制能区分历史和最新模式。大量仿真实验结果表明,T-Moment有很好的效率和准确性。

Abstract：

In data mining,boundary window considers the influence of history pattern to the current mining result,but do not think over mode decaying as time passed. Sliding window can record the latest and most useful patterns,but the best size can not be accurately determined. To aim at data with the characteristics of data flow in some simulation systems,a method for mining the closed frequent patterns in the mixed window of data stream was proposed. The pattern of data stream could be completely recorded by scanning the stream only once. And the pruning method of T-Moment could reduce the space complexity of sliding window tree and the maintenance cost of the closed frequent patterns tree. To differentiate the historical and the latest patterns,a time decaying model was applied. The experimental results show that the algorithm has good efficiency and accuracy.     

Air-combat behavior data mining based on truncation method

This paper considers the problem of applying data mining techniques to aeronautical field. The truncation method, which is one of the techniques in the aeronautical data mining, can be used to efficiently handle the air-combat behavior data. The technique of air-combat behavior data mining based on the truncation method is proposed to discover the air-combat rules or patterns. The simulation platform of the air-combat behavior data mining that supports two fighters is implemented. The simulation experimental results show that the proposed air-combat behavior data mining technique based on the truncation method is feasible whether in efficiency or in effectiveness.     

基于共同机制的时间序列关联模式挖掘系统及其应用

提出了一种针对不同时间序列间关联模式的发现方法,并阐述了以该方法为基础而构建的关联模式挖掘系统的结构.系统按步骤主要分成序列分割,模式聚类和关联模式挖掘三个部分.其中关联模式的发现基于共同作用机制的思想,即两个不同的时间序列之所以出现频繁的关联模式,必定存在某种共同机制的作用或者二者本身之间有某种因果关系.通过定义可靠度来度量作用强度,并以此作为阈值约束,大大降低了算法的复杂性,伸缩性好,产生的关联模式数量适当.将其应用于股市关联变动模式的发现验证了其有效性.     

Detecting network intrusions by data mining and variable-length sequence pattern matching

Anomaly detection has been an active research topic in the field of network intrusion detection for many years. A novel method is presented for anomaly detection based on system calls into the kernels of Unix or Linux systems. The method uses the data mining technique to model the normal behavior of a privileged program and uses a variable-length pattern matching algorithm to perform the comparison of the current behavior and historic normal behavior, which is more suitable for this problem than the fixed-length pattern matching algorithm proposed by Forrest et al. At the detection stage, the particularity of the audit data is taken into account, and two alternative schemes could be used to distinguish between normalities and intrusions. The method gives attention to both computational efficiency and detection accuracy and is especially applicable for on-line detection. The performance of the method is evaluated using the typical testing data set, and the results show that it is significantly better than the anomaly detection method based on hidden Markov models proposed by Yan et al. and the method based on fixed-length patterns proposed by Forrest and Hofmeyr. The novel method has been applied to practical hosted-based intrusion detection systems and achieved high detection performance.     

数据挖掘中采样技术的研究

针对日益增长的海量数据和信息,通常采取有效的采样技术对大数据集进行采样,然后通过对样本的分析得到数据总体的相关模式。首先论述了关于样本的一些基本概念:利用采样技术对大数据集和海量数据进行分析处理,讨论了普通抽样技术与数据挖掘中的采样技术的异同。然后对目前普遍采用的采样技术进行了分类,重点研究了简单随机采样和分层随机采样,并对不同采样技术进行了比较。最后给出数据挖掘中利用采样技术的一个实现。     

一种基于滑动窗口的多关系模式频度更新算法

面向多个相关数据流的挖掘算法研究尚处于起步阶段。作为多数据流挖掘算法的基础,模式频度更新算法仍然存在计数不准确、性能较低等问题,难以以此构造有效的挖掘算法。通过引入多关系挖掘概念以及目标关系定义,进而限定计数对象,提出了一种基于滑动窗口的多关系模式频度更新算法MRPFU。该算法监视各数据流窗口的更新情况,采用计数传播策略,减少了时间与空间复杂度。理论分析及实验结果证明了所提算法的有效性且具有较高性能。     

基于包含索引的频繁闭序列模式挖掘的新算法

频繁闭序列模式惟一确定全体频繁序列模式,且规模小得多.传统的闭序列模式挖掘算法对每个频繁项目都进行扩展,往往会产生大量的非闭合序列.为解决这一问题,提出了一种新的基于包含索引的频繁闭序列模式挖掘算法,其主要思想是只对闭项集进行扩展,大大减少了非闭合序列的产生.首先,论证了闭序列模式只能由闭项集组成;其次,说明了如何利用包含索引来快速发现闭项集;最后,给出了一种深度优先的挖掘频繁闭序列模式的新算法.实验结果表明,该算法具有较高的效率.     

基于暂态挖掘的非线性时间序列故障预报

针对实际工程系统故障建模困难、现有故障预报方法实时性差的问题.从一类挖掘的角度,设计了一种基于一类支持向量机的时间序列暂态挖掘算法,提出了一种既不需要系统近似模型也不需要故障训练数据和先验知识的直接故障预报方法.在系统运行的同时实现学习和预报.提高了实时性.同时该方法简单易用,克服了传统方法在预报故障前需要预测系统未来状态的缺点.具有很强的应用意义.以釜式反应嚣为对象进行的仿真实验证明了方法的有效性.     

一种基于遗传算法的多重决策树组合分类方法

针对数据挖掘中的分类问题,依据组合分类方法的思想,提出一种基于遗传算法的多重决策树组合分类方法.在这种组合分类方法中,先将概率度量水平的多重决策树并行组合,然后在组合算法中采用遗传算法优化连接权值矩阵.并且采用两组仿真数据对该方法进行测试和评估.实验结果表明,该组合分类方法比单个决策树具有更高的分类精度,并在保持分类结果良好可解释性的基础上优化了分类规则.