分布式数据挖掘中的最优K相异性取样技术

为了弥补基于集中式处理的分布式数据挖掘方法的不足,有效地实施分布式数据挖掘(DDM)任务,需要一种能从分布式数据源中获取多样化代表性取样集的技术.提出了一种新的适用于分布式数据挖掘环境的数据取样算法(OptiSim-DDM方法),算法核心是基于最优K相异性进行数据选择,采用移动Agent技术和扩展的最优K相异性数据多样化代表性子集选择方法,能在各分布式数据场地中轮转选择出全局数据集的多样化代表性取样集.该方法通过降低所挖掘的数据集的数据规模来降低数据挖掘算法的时空复杂度,降低网络通讯代价,提高数据挖掘的执行效率,适合于各场地数据是互相关联和互相依赖的分布式数据挖掘任务.实验结果证实该方法是可行、有效的.     

基于实例的分布式数据库中的数据分配方法研究

在分布式数据库设计中数据分配的问题对整个系统的改进数据的可用性、提高DDB的效率和可靠性有很大影响，本文主要通过实例讨论数据分配的原则，分别对非冗余分配、冗余分配、静态启发式分配等数据分配方法采用量化的方法来进行研究，并对动态分配也做了一些比较分配，在研究过程中，把分布式检索和更新处理问题结合起来考虑，以获得减少通信代价、减少检索代价及更新代价的最优解决方案，从而明确得出全局关系划分后的逻辑片段应该置放的最佳场地。     

一种平衡数据读写开销的数据复制方法

大型分布式系统通常将系统内存储的数据复制到多个节点以减少数据访问的时间开销.然而,随着数据副本数量的增加,副本数据更新过程的写代价也随之增加.如何合理地选择数据副本的存储节点、控制副本数量,以平衡数据的读写开销,进而有效地降低系统总的数据访问代价是分布式存储的研究热点.针对这一问题,本文提出了一种基于遗传算法的数据复制方法来平衡数据的读写开销.具体地本文对遗传算法进行了以下两方面改进:(1)建立了一个综合考虑读写数据传输代价的评价函数,以控制遗传算法的收敛方向,搜索数据副本存放位置的最优或次优策略;(2)通过时间序列预测方法来启发式地指导染色体变异操作,以合理控制副本数量适应数据的读写访问趋势.实验表明,与传统方法相比,本方法能够更有效地降低数据访问的总时间代价.     

关于XML数据库存储技术的研究

通过把关系型DBMS作为XML DBMS的内层，将XML文档存储于关系数据库．每种结构类型都基于文档结构创立相应的数据表，并建立惟一的标识符，每个元素、属性和字符数据都可以单独访问、修改或删除，提供了最大的灵活性．     

基于Java和XML的分布式数据存储架构

探讨了一种基于Java和XML技术的分布式存储结构,该结构主要用于解决异构的数据存储和数据交互问题,构造了一种Internet环境下的分布式数据存储模式.在对分布式存储结构进行概述的基础上提出了具体的结构模型,并且论述了实现该结构所需的技术和手段.     

基于Hadoop和Mahout的分布式推荐引擎的设计

推荐方法研究是信息检索、数据挖掘和机器学习等智能信息处理领域的研究热点。分数据存储层、产生推荐层和应用层3个层次,介绍了基于Hadoop和Mahout的分布式推荐引擎的设计方案。     

基于Map/Reduce的分布式数据排序算法分析

为了解决大规模数据的存储与计算,近年来分布式系统得到了大量的应用.如何在分布式系统中对大规模数据集进行排序是影响许多应用性能的基础问题,其中不仅涉及每个节点上排序算法的选择,更重要的是设计协调各节点的分布式算法.本文总结了分布式系统中常用的分布式排序算法,对每种算法的执行流程、代价模型和适用场景进行了分析,并通过实验对分析结果进行了验证.本文的工作可以帮助开发人员选择和优化分布式环境下大规模数据排序的算法.     

基于Java和XML的分布式数据存储架构

探讨了一种基于Java和XML技术的分布式存储结构，该结构主要用于解决异构的数据存储和数据交互问题，构造了一种Internet环境下的分布式数据存储模式。在对分布式存储结构进行概述的基础上提出了具体的结构模型，并且论述了实现该结构所需的技术和手段。     

面向网络安全的分布式异构存储网络安全技术研究

由于传统的分布式异构存储网络安全技术,在进行分布式异构存储时,存储安全系数低,无法实现分布式异构存储网络安全。针对这一问题,进行面向网络安全的分布式异构存储网络安全技术研究。首先,提取分布式异构存储网络安全数据特征,再通过建立分布式异构存储网络安全矩阵,实现分布式异构存储。最后通过实验证明面向网络安全的分布式异构存储网络安全技术可以提高分布式异构存储网络安全的存储安全系数,确保分布式异构存储安全。     

基于J2EE的分布式事务处理的研究

事务的概念最初出现在DBMS系统中,主要解决故障恢复和并发控制的问题,确保数据的安全性和一致性.随着分布式计算的发展,事务在分布式商业应用领域中也得到了广泛的应用.讨论了分布式事务的一些基本概念,基于J2EE的分布式事务的规范、应用框架和实现方式,并通过例子给予较为详细的说明.     

无线传感器网络技术对现代城市发展影响的若干关键应用分析

<正>传感器技术、嵌入式计算技术、现代网络及无线通信技术、分布式信息处理技术等的发展,使得由电池供电的集无线通信能力、计算能力和数据存储能力于一身的无线传感器节点变得越来越廉价。由数量不等的无线传感器节点构建的无线传感器网络正被广泛配置在各种不同领域的应用     

基于链路带宽的分布式存储系统框架及动态负载均衡技术

针对在节点间进行数据传输、备份等操作时,不同节点间链路带宽将限制分布式存储系统的性能的问题,借鉴软件定义网络及云存储技术的基本思想,通过对控制流与数据流的分离,提出了一种基于链路带宽的分布式存储系统框架及动态负载均衡技术.所提出框架中,在分布式数据节点之外引入一个中心控制节点,该节点掌握全局网络视图,全局网络视图中既包括数据存储表记录存储数据的分布,又包括当前链路带宽情况.在用户读取数据时,根据数据存储表确定需要的数据存放于哪些数据存储节点,指派相应的数据存储节点根据路由表发送数据包,并实时监测网络中的链路带宽负载情况,及时调整数据的传输路径.仿真验证所提架构和算法可以有效解决海量数据在不同位置的分配调度,以及缩短用户对大量数据提取的响应时间及提升存储速率等问题.      

基于区块链的电力营销数据存储机制

随着电力的发展电力营销数据持续增长,传统的集中式数据存储模式已经不能满足电力业务数据存储的安全性和高效性需求.针对上述问题,提出了一种基于区块链的多级加密电力营销数据存储架构,该存储架构以区块链技术作为底层技术支撑,结合分布式存储提供稳定性高、安全可靠的电力数据存储方案.同时在区块链的基础上提出多级加密机制,该机制支持电力数据上链及电力数据传输等流程的逐级加密及验证,使得电力数据存储的安全性得到进一步的保证.通过创建分布式存储设施,对提出的存储机制与集中式存储机制进行对比实验,分析实验结果发现提出的存储机制在电力数据存储方面相比于传统的存储机制在系统延迟、响应时间和吞吐量上都更具有优势,表明了该存储机制合理可行,具有良好的应用前景.     

DBMS聚簇技术在用户相关数据管理中的应用分析

Oracle DBMS[1]提供一种聚簇技术用于管理用户数据,即利用聚簇数据表关联序列决定数据物理存储位置,依据多个相关数据表中标识对象同一属性的相同字段键值建立存储索引,从而快速确定用户某类数据物理存储数据块,提高数据检索效率。     

基于经纬度剖分的空间信息编码研究

随着人们对空间信息处理需求量的不断扩大,人们对于空间信息数据的分辨率、时态性等要求越来越高,原有的空间信息剖分、编码、存储等一系列理论将不能胜任新的需求.提出了一种经纬度地球剖分模型,在该剖分模型的基础上设计了树型编码体系——域式编码.该编码体系能够对每个剖分面片进行合理、有序、唯一、高效地标识,并且可和剖分面片的位置建立关联,同时也决定了空间信息后续的定位、索引和查询等操作.域式管理的核心是多级别、分层次,以及为了实现这个编码机制的分布式数据库系统.在剖分面片域式编码的基础上,借鉴计算机网络协议提出了全球空间信息处理的综合编码GeoID.该编码不仅考虑面片自身层次,而且将空间信息的时间、存储地址、存储模式、优先级等属性列入了编码范畴,大大提高了对空间信息处理的效率.提出的一系列解决方案对于海量空间数据处理提供了新的研究方法和理论,具有较强的实用性和推广价值.     

支持多策略的安全数据库系统体系结构

提出了在DBMS中支持多种安全策略的需求,指出了在DBMS中支持多安全策略所面临的主要问题,针对这些问题提出了支持多安全策略的DBMS体系结构(MSDA).在抽象层次上该体系结构与GFAC一致,主要区别表现在性能优化和面向DBMS的适应性改造.为了提高系统性能,MSDA在客体管理器中引入了访问判定缓存.而为了适用于DBMS,MSDA在体系结构层次引入了重写来支持高效的细粒度访问控制.此外还引入了访问上下文栈来支持视图和存储过程这类的受控访问机制.给出了MSDA在LOIS SDBMS v3.0中的实现,并通过实验给出了MSDA对目标系统的性能影响分析.结果表明,MSDA将访问控制判定与实施分离,既能充分解决数据库系统中支持多安全策略的相关问题,同时能够与当前主流关系数据库系统相匹配,不会造成目标系统性能的显著下降.     

LCDJ:面向内存集群计算的局部感知连接算法

等值连接是数据库系统中最为重要的操作之一,哈希连接在处理等值连接时,表现出较高的性能.在分布式内存数据库系统中,数据即已分布式地存储于多个节点上,哈希连接通常情况需要将参与连接的两个关系表在连接属性上按照相同的哈希函数进行数据重分区,从而保证连接属性值相同的元组被传输到同一个节点上进行本地连接操作.由于内存数据处理速率远远高于网络的数据传输速率,因此数据重分区占据了连接算法的绝大部分时间,成为分布式内存数据库系统中等值连接操作的性能瓶颈.本文提出了一种新颖的分布式内存数据库环境下的等值连接算法LCDJ(Locality Conscious Distributed Join),在充分利用高效的内存计算的同时尽量减少网络数据传输量.算法首先对每个表连接属性的数据分布进行精确的统计,并结合并行度和计算负载均衡因素,进而建立代价模型来衡量不同调度策略下的时间开销,并求出最优的调度策略.LCDJ实现于基于内存的分布式原型系统Claims中.实验结果表明,本文所提算法有效地降低了网络传输代价,大幅度减少了响应时间,比起当前流行的Hive和Shark等系统有明显的性能提升.     

基于区块链和IPFS协议的数据存储系统设计

随着互联网信息量的迅猛增长和对数据存储需求的不断增加，集中式数据存储的安全风险和性能差等弱点日益突显，而去中心化存储应用可以有效解决这些问题。IPFS文件系统是一种非常有代表性的分布式存储协议。设计了一个基于区块链和IPFS协议的数据存储系统，通过在IPFS系统中存储数据和在区块链中存储文件哈希值，解决了大数据存储性能差的问题。     

带非均匀节点分布无线传感器网络的高效节能数据存储

现有大部分无线传感器网络的分布式数据存储方法都依赖于传感器节点定位系统,这会导致节点消耗大量的能量,而且这些方法主要是针对均匀分布的无线传感器网络的,并不适用于非均匀节点分布的传感网络。为了解决这个问题,提出一种非均匀节点分布传感网络的大数据路由存储算法,其目的在于减少传感器节点的实际分布和地址。为了进一步节省数据存储空间和能量消耗,将布隆过滤器(Bloom filter)集成到节点上,从而进一步减少数据丢失和网络能量消耗。文中算法提供了高效的搜索服务,使数据在网络内的存储分布和路由能量消耗更加均匀,进而提高了网络的生存时间。文中算法在容错情况下通过减少冗余数据来提供高效节能的存储,并进一步减少数据的路由开销和存储空间的浪费。     

分布式数据挖掘体系结构及任务分配算法

随着现代社会信息化的加速,数据和数据库的使用量迅猛上升,要求广泛应用能够并行且及时得出结果的分布式数据挖掘方法.文中针对分布式数据挖掘在不同服务器间的数据传输代价最小化这一问题,提出了相应的分布式数据挖掘体系结构、任务分配模型及其算法.并利用遗传算法对任务分配算法的结果进行进一步优化.结果表明,文中所提出的分布式数据挖掘体系结构、任务分配模型及其算法对于求解数据传输代价最小化问题是有效的.