基于MA的分布式多层次网络的数据采集管理

分布式多层次网络是一种常见的复杂网络结构,为了对具有这种网络结构的企业组织的网络进行管理,结合移动代理技术和网络采集管理技术提出实现框架DMLNICS,实践证明是有效可行的.     

一种多层次分布式网络数据挖掘方法的改进

针对传统数据挖掘方法时间开销大的问题,提出一种新的多层次分布式网络数据挖掘改进方法,给出多层次分布式网络结构。介绍了常用的随机扰动数据挖掘方法,通过概率歪曲技术完成对多层次分布式网络中原始数据集的扰乱处理,对项集的实际支持度进行重构,经概率转换获取数据挖掘结果。随机扰动方法具有时间效率低的弊端,在时间复杂度要求较低的情况下,通过XMASK方法对随机扰动方法进行改进;在时间复杂度要求较高的情况下,给出相应的改进过程。对提出的多层次分布式网络数据挖掘方法进行实验测试,结果表明,该方法准确性高、挖掘时间短、效果优。     

智能决策支持系统的多层次与分布式设计

智能决策支持系统的多层次与分布式设计周泓，吴健中（管理学院）决策学发展到今天，越来越强调人的作用．这是由于在决策过程中有许多因素取决于决策者的主观偏好，而且很多决策情况是难以用严格的数学工具来描述的．这就要求在决策过程中，必须采用定量与定性相结合的方...     

分布式数据挖掘综述

随着网络技术、通信技术等的不断突破,互联网、移动网、广电网等多种类现代网络及其衍生业务迅速扩张,形成泛在于网络空间的分布式计算环境。为了最大化这些数据的价值,需要利用数据挖掘技术发现其中隐藏的模式或规则,用以指导和辅助生产或运营中的管理决策行为,以提高决策水平及决策收益。然而,受到普遍存在的异构性、私有性和平台兼容性等限制,兼因行业竞争和法律约束等因素(如个人或企业的数据隐私保护问题等),互联于网络的数据源难于进行集中式挖掘,分布式数据挖掘(DDM)技术应运而生。介绍了DDM的定义与框架、适用场景和研究挑战。根据文中给出的DDM高层架构,最终结果的质量与局部数据源的类型、可用性、局部结果的质量及整合方法等密切相关。DDM的实施未必都以站点间纯粹独立挖掘的方式进行,此外,对于数据集中,系统分布式站点多的情况,也可采用DDM。当前,DDM研究领域的挑战主要有:异构与同构挖掘、动态环境下的数据多变性、通信开销、知识整合和语义异构等。当前的DDM系统被分为4类:1)基于Multi-Agent的系统,利用Agent的自治性实现局部挖掘以保护数据私有性;利用Agent的主动性减少用户参与以提高挖掘自动化水平;利用Agent的协作性实现多算法协同挖掘等;2)基于网格的系统,利用网格在资源共享、开放服务和协同工作等方面的优势,提高挖掘的可靠性和协同性;3)基于元学习的系统,通过元学习优化挖掘算法的选择与组合,并对已获知识进行多次学习以提高结果质量;4)基于CDM(collective data mining)框架的系统,将待学习的函数表示为一组基函数的分布式存在,允许各数据源选择不同的学习算法,并以全局结果正确为前提减少网络通信量。进而,对当前DDM研究存在的共性问题进行了归纳:1)结果质量问题,不考虑各个站点数据源间的内在语义联系,各站点独立挖掘本地数据,与其他站点间无语义层面的数据交互或融合,形成纯粹的"分割式"挖掘,最终导致全局结果质量受损;2)挖掘效率问题,如何调度资源以平衡挖掘负载、减少协作挖掘中的通信开销问题。针对结果质量问题,探讨本体与数据挖掘的结合。作为语义网的基础,本体能为对象语义距离度量提供有效支持。当前,在利用本体描述挖掘任务的领域背景方面,利用本体描述DM过程本身方面,都已经有研究人员进行了探索性工作:针对关联规则挖掘中需要从海量规则中遴选有效规则的问题,提出了交互式的、用于删减冗余规则的挖掘后处理方法;针对在给定知识发现过程的输入和输出类型前提下,知识发现工作流的自动构造问题,提出了解决方法。通过阐述可知,为了提升分布式挖掘过程中局部结果和最终结果的质量,策略之一就是将DDM理论和本体理论作融合,以数据源间语义距离的度量为突破口,建立语义距离度量的复合量化体系,通过构建和求解新型DDM模型来实现目标。     

分布式数据挖掘

介绍了分布式数据挖掘的概念、 步骤以及关键技术等,结合当前分布式数据挖掘研究的现状介绍了分布式数据挖掘算法和挖掘体系结构的相关研究, 并阐述了分布式数据挖掘的主要研究方向和发展趋势.     

一种基于数据挖掘的网络入侵检测系统

为了提高网络安全保护措施,将数据挖掘技术应用于网络入侵检测,采用了独立组件的模块化设计,设计了一种基于数据挖掘的网络实时入侵检测系统模型。实验结果证明该系统在自动化程度、检测效率、自适应能力等方面较传统的入侵检测系统有明显的提高,增强了网络的安全保护措施。     

基于移动agent和数据挖掘标准的分布式数据挖掘系统

提出了一个基于移动agent和数据挖掘标准的分布式数据挖掘系统模型,该系统运用两个层次的开放式数据挖掘语言来提供良好的延伸性,基于KQML和XML的代理通信机制保证移动代理具备很好的跨平台性．系统可以有效实现对分布的、异构异质数据源的集成和访问,同时还给出了系统的响应时间模型．     

基于相似性的分布式数据挖掘

基于相似性的数据挖掘模型,主要是用于发现分布式资源之间的相似性,利用相似性,融合分布式数据库,减小数据挖掘的规模.本文主要介绍以关联规则中最大频繁项集为基础的一个相似性的度量方法,并根据对得到的相似性值的判断,来决定数据挖掘的数据源的引用规模.     

复杂属性环境下NoSQL分布式大数据挖掘方法研究

由于复杂属性环境下的大数据挖掘工作需要涉及到对大数据的分析、清理、转换和集成等一系列操作,导致以往提出的复杂属性环境下大数据挖掘方法无法同时拥有较强的准确性、稳定性和实用性,故提出复杂属性环境下NoSQL分布式大数据挖掘方法。所提方法利用NoSQL数据库的物理分散逻辑,在复杂属性环境下构建NoS QL数据库,给出挖掘条件,对数据库中大数据的特征、位置、方向和长度属性的关联性进行分布式挖掘,经由挖掘公式给出挖掘结果。利用挖掘聚类公式对大数据的特征、位置、方向和长度属性的关联性挖掘结果进行聚类,获取所提方法的最终挖掘结果。经实验分析可知,所提方法在挖掘工作中具有较强的准确性、稳定性和实用性。     

分布式数据挖掘体系结构及任务分配算法

随着现代社会信息化的加速,数据和数据库的使用量迅猛上升,要求广泛应用能够并行且及时得出结果的分布式数据挖掘方法.文中针对分布式数据挖掘在不同服务器间的数据传输代价最小化这一问题,提出了相应的分布式数据挖掘体系结构、任务分配模型及其算法.并利用遗传算法对任务分配算法的结果进行进一步优化.结果表明,文中所提出的分布式数据挖掘体系结构、任务分配模型及其算法对于求解数据传输代价最小化问题是有效的.     

用数据挖掘方法解决网络拥挤的问题

利用关联分析来获取网页的使用情况,将下一个可能被用户发出请求预先发送到用户端。从另外一种角度解决现在网络普遍出现的拥挤问题,将数据挖掘技术中的关联规则与网络访问技术紧密地结合在一起,为提高网速开辟了一条新的途径。     

基于复杂网络的统计信息数据挖掘的研究

统计信息是区域可持续发展中重要的信息资源,涵盖了人口、农业、工业、经济等各类数据.从大量的统计信息中挖掘出更多有价值的信息,从而得到决策支持依据.通过统计信息数据挖掘的研究,从理论和仿真两方面探讨复杂网络理论在统计学研究中应用的一种.阐述基于统计数据构建社会经济系统网络的概念和复杂网络的度及其分布、平均路径长度、集群系数和介数等统计性质,挖掘这些性质在社会经济网络中的统计规律和性质,并给出复杂网络研究在决策和管理中的指导意义.     

多核处理器下SKLOIS多级安全数据库查询方法研究

针对传统方法存在多核处理器下SKLOIS多级安全数据库查询不准确的问题,提出一种新的多核处理器下SKLOIS多级安全数据库查询方法。用一个加权有向图对多核处理器下SKLOIS多级安全数据流图进行描述。为数据流图中所有结点分配一个内核。依据数据流图中规定的执行顺序执行给定查询语句,完成查询语句的并行执行。查询语句通过LBT树模型获取,通过定义三种多核处理器下的SKLOIS多级安全数据库查询类型获取LBT搜索空间大小的上界和下界。搜索整个查询执行计划空间,获取一个具有最小开销的LBT查询树,给出LBT方法的查询代码。实验结果表明,所提方法具有很高的查询响应速度,且针对更新数据具有快速适应能力。     

基于神经网络的保险数据挖掘模型

文章研究了神经网络数据挖掘技术在汽车保险业中的应用,并针对汽车保险客户提出了一种理想非线性映射模型费率预测的方法．由实验结果知本方法可用于改善目前汽车保险费率与赔付率不匹配的问题．     

分布协作式对等网络中大规模空间数据挖掘方法研究

分布协作式对等网络较为复杂,而空间数据规模大,当前数据挖掘方法很难实现对其的准确挖掘。为此,提出一种新的分布协作式对等网络中大规模空间数据挖掘方法,给出分布协作式对等网络的GIS应用架构,在此基础上对分布协作式对等网络进行无向环路遍历,获取分布协作式网络的全部环路,挖掘出目的空间数据所属社区。通过痕迹系数判断目的空间数据流是否经过该社区,如果目标空间数据流经过该社区,则通过计算相关系数获取某个时刻目标空间数据流在社区中的位置,从而实现大规模空间数据挖掘。实验结果表明,采用所提方法对分布协作式对等网络中大规模空间数据进行挖掘,有很高的挖掘有效性,而且挖掘效率和挖掘精度均较高。     

一种基于分布式Web-GIS的数据仓库模型

提出了一种基于采集和管理地理信息数据的数据仓库模型,这个模型允许用户使用由不同探测源采集上来的环境数据并有权将其规范化,以方便浏览和分析．并且用户还可以通过使用分布式计算方法和网络应用程序加工处理这些数据。     

数据挖掘库预处理技术在教学中的应用研究

阐述了数据挖掘预处理技术的原理,结合教学实践研究了预处理的各种方法与技术实现,探讨了空缺值、不一致数据的处理,以及属性删除与构造,聚类技术进行归约的方法.     

数据挖掘技术在网络入侵检测中的应用

论述了入侵检测系统的基本概念，针对目前入侵检测系统中存在的问题，提出了一个基于数据挖掘技术的自适应入侵检测系统模型。介绍了该系统模型的基本思想，阐述其结构及主要功能，着重分析了该系统的数据挖掘和检测过程。利用数据挖掘技术自动地从大量数据中提取重要的特征和新的模式，生成有意叉的规则并建立检测模型，实现对分布式拒绝服务攻击DDoS（Distrbute Denial of Service）入侵的检测方法。