一种云计算数据副本动态管理策略

为了提高云计算中数据的可用性和缩短响应时间,提出了数据副本的方法.传统的静态副本方法无法适应云计算的动态性特征,针对这个问题提出了动态副本策略.首先,基于用户需求确定副本数目;然后根据局部性原理和资源可用度,确定数据副本的存储位置.最后的实验结果证明了该策略降低了平均响应时间.     

异构Hadoop集群中数据副本放置策略优化

针对默认的Hadoop数据副本策略未考虑集群节点硬件配置的异构、文件访问特点、实时负载等信息,导致异构环境中集群计算任务本地化比例下降、影响计算性能,提出计算型数据的副本放置优化策略.量化数据访问特征以及节点实时性能和负载,以节点数据访问负载与其计算性能相匹配为原则为副本选择存储节点.实验结果表明:与默认策略相比,优化的副本放置策略能更有效地为副本选择合适的存储节点,提高计算任务本地化比例和计算性能,并使集群对节点的变动具有更好的适应性.     

HDFS平台下基于纠删码的一种数据放置策略

数据的可靠性一直是云计算领域中的热点问题,副本备份机制作为保证数据可靠性的重要手段应用比较广泛.但随着副本个数的增加,该机制浪费存储空间这一缺陷暴露无遗.为节省存储空间,采用纠删码技术保证数据的可靠性,提出了在HDFS平台下基于纠删码的一种数据放置策略.该策略以HDFS为平台,结合HDFS的副本备份策略和纠删码技术,通过改进HDFS平台下原本的数据放置策略,使改进后的数据放置策略能够适用于基于纠删码和HDFS的云文件系统.     

一种改进的Hadoop数据放置策略

采用现有的Hadoop默认数据放置策略时,若本地数据副本失效,从远程结点上恢复数据需要耗费大量数据传输时间,且随机选取数据放置结点可能会影响数据放置的负载均衡.为此,文中提出一种改进的数据放置策略.该策略基于结点网络距离与数据负载计算每个结点的调度评价值,据此选择一个最佳的远程数据副本的放置结点,从而既能实现数据放置的负载均衡,又能实现良好的数据传输性能.在Hadoop平台上实现了所提出的数据副本放置改进策略,结果表明,与系统默认策略相比,文中提出的策略不仅可以改进数据放置的负载均衡,而且可以减少数据副本放置的时间.     

云存储环境中的数据布局策略研究

对云存储系统环境中的数据布局策略进行了论述与总结。首先讨论了云存储技术的起源以及云存储系统不同于传统集中式存储方法和现有网络存储技术的独特特征,然后讨论了面向云存储系统的数据文件布局策略;考虑到云存储系统对于系统可靠性、可用性以及可扩展性等性能指标具有更高要求,接下来对面向云存储系统的数据副本布局策略进行了论述。数据布局策略对于云存储系统的性能指标具有重要决定作用,全文工作将为未来研究高能效的商用云存储系统奠定基础。     

大数据存储中的容错关键技术综述

不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术.文中介绍了数据容错的两种基本策略：复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等.     

RSboFMC:提高数据可用性和负载均衡性的碎片矩阵缓存策略

保证动荡环境下数据可被访问概率对数据存储网络十分重要,其可行方法之一是设计合理的存储策略,提高网络的数据可用性.将存储策略分为复制策略和放置策略进行设计,提出了基于碎片矩阵和缓存的存储策略RSboFMC(Replication Strategy based on Fragment Matrix and Cache),提高动荡环境下的数据可用性.其以重建效率和存储开销为目标,设计缓存机制和基于碎片矩阵的数据分块机制优化复制策略;以负载均衡为目标,设计基于分区和顺逆序的分发机制优化放置策略.仿真结果表明,RSboFMC在数据可用性和负载均衡性方面均优于其他策略,且具有良好的扩展性.     

网格中多副本数据的后向预测调度算法

针对网格环境下追求最快响应时间的多副本数据检索应用,提出了一种调度算法,该算法考虑了数据副本分布状况对负载均衡的影响.在被检索数据的多个子集分布在网格中多个节点,并且以数据子集为单位存在不定数目的副本情况下,给出了一种估算存放副本的网格节点动态负载和延时的方法.基于估算出的这些参数,算法根据对响应时间的计算和对后向任务的预测将任务分配到网格节点.后向预测考虑了网格节点被选中访问其上各个副本的可能性.最后通过仿真程序分析了该算法的性能.     

云计算环境下的动态数据副本管理策略

针对云计算系统中的单点失效问题,提出一种云计算环境下的动态数据副本管理策略.该管理策略通过综合考虑目标放置节点的当前负载状况、可用存储空间大小、通信带宽以及其历史访问记录和历史失效记录等状态参数来进行数据文件的副本放置决策,并在进行副本置换操作时给予大尺寸数据文件副本更高的优先权.测试结果表明:该管理策略具有较为稳定的平均数据访问距离,且在云计算系统的负载均衡水平和平均任务执行时间指标上优于另外几种经典的副本策略.     

教育资源网格中基于节点负载的副本放置策略

针对教育资源网格中节点存储能力和处理能力差、网络带宽分布不均的特点,提出一种基于节点负载的副本放置策略（Node Load based Education Resource Grid Replication Strategy,NLERS）.该策略按照网络带宽分布的特点分为域内和域间两部分,域内部分通过将副本放置在性能相...     

云存储系统中数据冗余策略优化问题

针对云存储系统现有冗余策略及其改进策略的不足, 提出一种将完全备份与改进的RS(Reed\|Solomon)纠删码结合的自适应数据冗余策略RIRS(Replication Improved RS)。该策略能根据具体应用环境调整参数以最大限度地优化系统性能。在参数调整使其退化成纯粹的完全备份方法条件下, 提出一个动态副本管理优化模型DRMO（Dynamic Replication Management Optimized）对其进行改进。实现副本数和副本位置的动态调整。分析表明, RIRS充分融合了完全备份和纠删码冗余的优势, 能节省存储空间, 降低访问时延并提高系统的可靠性和稳定性。在此基础上提出的DRMO能在满足数据有效性要求的同时, 进一步节省存储空间并实现负载均衡。     

物联网环境下负载均衡的低代价云存储数据副本分布

为满足物联网终端结点移动性和数据访问实时性要求,根据云存储中副本分布与访问的模式,提出结合数据访问点位置和访问频率,具有低访问代价的存储服务器选取方法.考虑负载对访问代价的影响,通过动态更新代价矩阵,提出负载均衡机制.研究结果表明:该方法在最少副本数目的前提下,将副本分配到与访问情况相适应的具有较低访问代价的存储服务器上,可有效减少数据访问开销,并避免副本集中分布,保证各存储服务器的负载均衡,更适合于物联网环境中云存储数据管理.     

基于链路带宽的分布式存储系统框架及动态负载均衡技术

针对在节点间进行数据传输、备份等操作时,不同节点间链路带宽将限制分布式存储系统的性能的问题,借鉴软件定义网络及云存储技术的基本思想,通过对控制流与数据流的分离,提出了一种基于链路带宽的分布式存储系统框架及动态负载均衡技术.所提出框架中,在分布式数据节点之外引入一个中心控制节点,该节点掌握全局网络视图,全局网络视图中既包括数据存储表记录存储数据的分布,又包括当前链路带宽情况.在用户读取数据时,根据数据存储表确定需要的数据存放于哪些数据存储节点,指派相应的数据存储节点根据路由表发送数据包,并实时监测网络中的链路带宽负载情况,及时调整数据的传输路径.仿真验证所提架构和算法可以有效解决海量数据在不同位置的分配调度,以及缩短用户对大量数据提取的响应时间及提升存储速率等问题.      

云存储及其分布式文件系统研究

云存储专注于解决云计算系统中海量数据文件的存储问题;文件系统用来管理大量的文件信息,并负责对文件的存储空间进行组织分配;分布式文件系统不仅要管理本地计算机的数据文件,同时还要管理整个存储系统中的数据文件。文章首先对云计算技术进行介绍,然后引出云存储的概念,并通过对云存储的技术原理、性能优势等进行分析,指出分布式文件系统对于云存储技术的重要性;最后对现有的云存储分布式文件系统进行详细论述。全文工作将指导我们进一步深入研究云存储技术。     

企业多租户云存储平台的设计与实现

针对企业内部的文档存储安全系数低、共享效率低、维护成本高等问题,结合云存储模型并利用对象存储技术,使用多租户技术隔离企业用户,结合组织机构进行企业内部数据访问控制,设计并实现一个企业多租户云存储服务平台,并提出了一种文件分块对象去重模型和对象重组文件版本管理模型。分析结果表明,企业多租户云存储服务平台满足企业数据的高可靠性、安全性要求,能有效提高网络共享效率。     

云计算中存储数据安全性研究

针对云计算中存储数据安全性问题,提出了一种基于显式精确最小存储再生代码(explicit exact minimal storage regenerating code, EEMSR)的云存储数据安全性新方法,该方法采用EEMSR和哈希函数通过Challenge-Response协议实现云计算存储数据的可用性和完整性。该方法使用EEMSR代码对数据进行编码,再将此编码数据上传到云中,该编码有助于重新生成丢失的数据,以此确保数据的可用性。而加密哈希函数通过Challenge-Response协议可以验证云数据的完整性。EEMSR代码是一个再生代码,可以用较少的修复流量精确地恢复丢失的数据块,EEMSR代码由参数(n,k,d)定义,该参数允许从n个节点中的任意k个节点恢复数据,并且还具有通过连接到任何d个节点来修复故障节点的能力。实验表明,提出方法安全性能高,与其他方法相比,该方法的运行时间较少,而编码速率较高。     

基于多Agent系统架构的云数据存储安全框架

云计算环境中必须设立高效的安全技术确保数据中心的可靠进行.多Agent系统体系结构是用于维护系统安全的有效框架.针对云计算中数据存储安全问题,构建了一种基于多Agent系统架构的安全框架,该安全框架可以为数据中心的数据带来更好的保密性、可用性、正确性以及数据操作的协调性.通过对此框架安全性能的分析和实验测试,结果表明该安全框架具有较好的可行性和有效性.     

混合云模式下数据安全存储方案

针对混合云模式下数据安全存储与共享使用的问题,提出一种适用于混合云模式下的高效数据安全共享方案,该方案采用密文策略的属性基加密机制加密数据,通过私有云将密文数据存储在公有云上;移动用户访问云数据时,采用匿名密钥协商技术和委托加解密方法,保证用户对数据的快速访问.实验结果表明,本方案能够保证公有云上数据的安全存储,支持细粒度的访问控制,同时将大部分解密计算委托给私有云,减少移动云用户访问云数据的处理时间,使得其加解密时间为恒定值,不会随着属性的增多而线性增长.      

云存储数据缩减技术研究

基于云计算应用中的云存储技术,使数据存储变得安全可靠和易管理。在云存储技术数据存储的过程中,不仅考虑数据读写的速度,还得处理数据存储效率,以便满足当前海量信息存储的需求。云存储中的数据缩减技术可以缩减数据信息量,提高存储的效率,满足数据存储急剧的要求。通过对几种数据缩减技术进行比较研究分析,探讨了对数据处理后存储的效率以及每项技术发展状况,为用户选择云存储数据缩减技术提供有力的参考。