面向商务智能应用的分布式数据挖掘系统设计

在综合分析商务智能分布式应用环境和数据存储环境基础上,提出了一种充分利用移动Agent移动特性并以Agent为主要组件来满足商务智能应用需要的分布式数据挖掘系统模型,讨论了系统中用户接口、数据挖掘组件、企业数据库系统各功能模块特点以及数据挖掘组件中各Agent功能设计.介绍了在Java编程环境下数据挖掘移动Agent和移动Agent服务器内部各组成模块结构功能.该系统具有可扩展性好、结构灵活、系统安全性强等特点,对构建基于Agent技 术的商务智能数据挖掘系统具有一定的参考价值.     

分布式数据挖掘综述

随着网络技术、通信技术等的不断突破,互联网、移动网、广电网等多种类现代网络及其衍生业务迅速扩张,形成泛在于网络空间的分布式计算环境。为了最大化这些数据的价值,需要利用数据挖掘技术发现其中隐藏的模式或规则,用以指导和辅助生产或运营中的管理决策行为,以提高决策水平及决策收益。然而,受到普遍存在的异构性、私有性和平台兼容性等限制,兼因行业竞争和法律约束等因素(如个人或企业的数据隐私保护问题等),互联于网络的数据源难于进行集中式挖掘,分布式数据挖掘(DDM)技术应运而生。介绍了DDM的定义与框架、适用场景和研究挑战。根据文中给出的DDM高层架构,最终结果的质量与局部数据源的类型、可用性、局部结果的质量及整合方法等密切相关。DDM的实施未必都以站点间纯粹独立挖掘的方式进行,此外,对于数据集中,系统分布式站点多的情况,也可采用DDM。当前,DDM研究领域的挑战主要有:异构与同构挖掘、动态环境下的数据多变性、通信开销、知识整合和语义异构等。当前的DDM系统被分为4类:1)基于Multi-Agent的系统,利用Agent的自治性实现局部挖掘以保护数据私有性;利用Agent的主动性减少用户参与以提高挖掘自动化水平;利用Agent的协作性实现多算法协同挖掘等;2)基于网格的系统,利用网格在资源共享、开放服务和协同工作等方面的优势,提高挖掘的可靠性和协同性;3)基于元学习的系统,通过元学习优化挖掘算法的选择与组合,并对已获知识进行多次学习以提高结果质量;4)基于CDM(collective data mining)框架的系统,将待学习的函数表示为一组基函数的分布式存在,允许各数据源选择不同的学习算法,并以全局结果正确为前提减少网络通信量。进而,对当前DDM研究存在的共性问题进行了归纳:1)结果质量问题,不考虑各个站点数据源间的内在语义联系,各站点独立挖掘本地数据,与其他站点间无语义层面的数据交互或融合,形成纯粹的"分割式"挖掘,最终导致全局结果质量受损;2)挖掘效率问题,如何调度资源以平衡挖掘负载、减少协作挖掘中的通信开销问题。针对结果质量问题,探讨本体与数据挖掘的结合。作为语义网的基础,本体能为对象语义距离度量提供有效支持。当前,在利用本体描述挖掘任务的领域背景方面,利用本体描述DM过程本身方面,都已经有研究人员进行了探索性工作:针对关联规则挖掘中需要从海量规则中遴选有效规则的问题,提出了交互式的、用于删减冗余规则的挖掘后处理方法;针对在给定知识发现过程的输入和输出类型前提下,知识发现工作流的自动构造问题,提出了解决方法。通过阐述可知,为了提升分布式挖掘过程中局部结果和最终结果的质量,策略之一就是将DDM理论和本体理论作融合,以数据源间语义距离的度量为突破口,建立语义距离度量的复合量化体系,通过构建和求解新型DDM模型来实现目标。     

分布式数据挖掘

介绍了分布式数据挖掘的概念、 步骤以及关键技术等,结合当前分布式数据挖掘研究的现状介绍了分布式数据挖掘算法和挖掘体系结构的相关研究, 并阐述了分布式数据挖掘的主要研究方向和发展趋势.     

分布式数据挖掘体系结构及任务分配算法

随着现代社会信息化的加速,数据和数据库的使用量迅猛上升,要求广泛应用能够并行且及时得出结果的分布式数据挖掘方法.文中针对分布式数据挖掘在不同服务器间的数据传输代价最小化这一问题,提出了相应的分布式数据挖掘体系结构、任务分配模型及其算法.并利用遗传算法对任务分配算法的结果进行进一步优化.结果表明,文中所提出的分布式数据挖掘体系结构、任务分配模型及其算法对于求解数据传输代价最小化问题是有效的.     

基于移动agent和数据挖掘标准的分布式数据挖掘系统

提出了一个基于移动agent和数据挖掘标准的分布式数据挖掘系统模型,该系统运用两个层次的开放式数据挖掘语言来提供良好的延伸性,基于KQML和XML的代理通信机制保证移动代理具备很好的跨平台性．系统可以有效实现对分布的、异构异质数据源的集成和访问,同时还给出了系统的响应时间模型．     

基于相似性的分布式数据挖掘

基于相似性的数据挖掘模型,主要是用于发现分布式资源之间的相似性,利用相似性,融合分布式数据库,减小数据挖掘的规模.本文主要介绍以关联规则中最大频繁项集为基础的一个相似性的度量方法,并根据对得到的相似性值的判断,来决定数据挖掘的数据源的引用规模.     

基于数据挖掘的分布式协同入侵检测

将数据挖掘技术用于协同入侵检测，提出基于数据挖掘的协同入侵规则生成算法，采用基于数据挖掘的分布式协同入侵检测技术，可以有效的检测协同入侵，同时还具有对未知协同攻击模式的检测能力。     

基于数据挖掘技术的智能信息处理系统

着重阐述在数据挖掘阶段提出并改进基于关联规则的Apxioxi并行算法、基于分类的判定树归纳算法和基于聚类的K簇算法,并将几种算法综合应用到智能信息处理过程中。     

基于分布式无线传感器最优比特分配

当无线传感器网络的总比特数固定时,给出表现优良的无偏量化器,探究了静态参数的量化估计与整个网络的最优比特数分配,与提前假定传感器量化比特数做法大不相同.首先给出一种新型的无偏量化器,进而得到理想的线性量化观测估计器及其均方误差上限.而后通过理论分析发现当整个网络总带宽固定时,最优比特的分配取决于传感器的信噪比,而且总量化级数与信噪比的比值在一定程度上决定了整个网络中传感器的激活率.最后,模拟仿真验证了所提方法有效提高了最优比特分配估计器的性能.     

数据挖掘在免疫入侵检测中的应用

论述了数据挖掘在免疫IDS系统中的应用，详细描述了关联规则和序列模式挖掘算法，在一定程度上弥补了阴性选择算法的不足。并提出了一个新的基于数据挖掘和人工免疫的入侵检测模型，克服了现有入侵检测模型的缺点。     

复杂属性环境下NoSQL分布式大数据挖掘方法研究

由于复杂属性环境下的大数据挖掘工作需要涉及到对大数据的分析、清理、转换和集成等一系列操作,导致以往提出的复杂属性环境下大数据挖掘方法无法同时拥有较强的准确性、稳定性和实用性,故提出复杂属性环境下NoSQL分布式大数据挖掘方法。所提方法利用NoSQL数据库的物理分散逻辑,在复杂属性环境下构建NoS QL数据库,给出挖掘条件,对数据库中大数据的特征、位置、方向和长度属性的关联性进行分布式挖掘,经由挖掘公式给出挖掘结果。利用挖掘聚类公式对大数据的特征、位置、方向和长度属性的关联性挖掘结果进行聚类,获取所提方法的最终挖掘结果。经实验分析可知,所提方法在挖掘工作中具有较强的准确性、稳定性和实用性。     

一种多层次分布式网络数据挖掘方法的改进研究

针对传统数据挖掘方法时间开销大的问题,提出一种新的多层次分布式网络数据挖掘改进方法,给出多层次分布式网络结构。介绍了常用的随机扰动数据挖掘方法,通过概率歪曲技术完成对多层次分布式网络中原始数据集的扰乱处理,对项集的实际支持度进行重构,经概率转换获取数据挖掘结果。随机扰动方法具有时间效率低的弊端,在时间复杂度要求较低的情况下,通过XMASK方法对随机扰动方法进行改进;在时间复杂度要求较高的情况下,给出相应的改进过程。对提出的多层次分布式网络数据挖掘方法进行实验测试,结果表明,该方法准确性高、挖掘时间短、效果优。     

Image Post-Processing Method for Visual Data Mining

Visual data mining is one of important approach of data mining techniques. Most of them are based on computer graphic techniques but few of them exploit image-processing techniques. This paper proposes an image processing method, named RNAM （resemble neighborhood averaging method）, to facilitate visual data mining, which is used to post-process the data mining result-image and help users to discover significant features and useful patterns effectively. The experiments show that the method is intuitive, easily-understanding and effectiveness. It provides a new approach for visual data mining.     

基于MapReduce的分布式地形数据计算研究

以山影分析模型为例,探讨了地形分析模型的MapReduce并行化计算方法.基于Apache Hadoop开发了地形数据分析的原型系统,并初步部署形成了地形数据的分布式计算和存储环境.最后,以全国范围90m地形数据对系统进行应用测试,结果表明:基于MapReduce的分布式计算方法能够有效地提升地形数据的计算效率,特别在节点较多时效率提升更为明显.     

分布式环境下保持隐私的关联规则挖掘

保持隐私是未来数据挖掘领域的焦点问题之一,如何在不共享精确数据的条件下,获取准确的数据关系是保持隐私的数据挖掘的首要任务.本文利用向量点积方法从垂直型分布数据中挖掘关联规则,并且保持其隐私性.给出了数量积算法和隐私挖掘的步骤,最后举例说明了如何利用数量积算法进行垂直型分布式数据挖掘.     

分布式任务分配中的一种信誉重连策略

传统的任务分配一般是基于环境确定和所有Agent均他利的假设,而实际环境往往是复杂的,复杂环境下的Agent更趋理性和自利,所有这些问题给传统的任务分配带来了障碍.基于Agent理性自利的假设,提出了一种重连策略FriendFind并进行了相关实验,实验表明该算法有效的解决了上述问题.     

WA-IDS： A Distributed Intrusion Detection System Based on Data Mining

Aiming at the shortcomings in intrusion detection systems (IDSs) used in commercial and research fields, we propose the MAIDS system, a distributed intrusion detection system based on data mining. In this model, misuse intrusion detection system (MIDS) and anomaly intrusion detcction system (AIDS) are combined. Data mining is applicd to raise detection performance, and distributed mechanism is employed to increase the scalability and efficiency. Host- and network based mining algorithms employ an improved Bayesian decision theorem that suits for real security environment to minimize the risks incurred by false decisions. We describe the overall architeeture of thc MA-IDS system, and discusss pecific design and implementation issue.     

一种基于数据挖掘的隐私保护方法

在数据挖掘隐私保护进行协作数据分析时,部分数据集可能分属不同的数据对象,处理时就需要采取不同的数据失真方法.提出了一组全新的数据失真优化策略,通过将属性划分与奇异值分解法(SVD)、非负矩阵因子分解法(NMF)、离散小波变换法(DWT)相结合,运用4种方案对隐私保护原始数据集的子矩阵进行扰动,并用一些衡量指标来衡量这些策略的效果;利用基于支持向量机(SVM)的二元分类来进行数据实用性的检测.结果表明与数据失真单策略相比,新提出的方案在实现数据隐私和数据实用性的良好平衡方面效果十分显著,为协作数据分析提供了可行性解决方案.