首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到17条相似文献,搜索用时 109 毫秒
1.
纠删码被广泛应用于分布式存储系统以保存在线应用的用户数据。当部分存储节点发生故障时,纠删码存储系统需使用新的存储节点替换原有失效节点,并恢复失效的用户数据。由于需要执行数据编码、传输和读写等操作,纠删码存储系统通常需要消耗较长的时间执行数据修复操作,存储的用户数据将长期处于不可靠状态。为了保障存储数据的可靠性,研究学者提出了多种数据修复性能优化方案以减少数据修复时间。本文介绍了数据修复性能优化问题,分析了各个应用场景下主要的性能瓶颈和性能优化难点,总结了提升数据修复性能的主要技术方案和研究工作,并对数据修复性能优化研究领域的未来发展方向进行展望,为纠删码存储系统设计人员准确选择适合特定应用场景的数据修复性能优化方案提供思路。  相似文献   

2.
不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术.文中介绍了数据容错的两种基本策略:复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等.  相似文献   

3.
在海量云存储系统中,提高存储利用率,降低冗余方案的计算复杂度是热点研究问题.分组校验纠删码冗余算法能够减少在数据重构时所需的纠删码片段,从而减少对存储网络带宽以及系统I/O的需求,降低存储系统的负载.介绍了分组校验纠删码的编码规则,参数设置,通过实验分析算法具有良好的容错能力与空间利用率,能够满足云存储系统需要的编解码性能.  相似文献   

4.
针对现有多媒体云存储系统单节点修复算法中,有限域大,编解码复杂度高,磁盘I/O开销大,存储开销与修复带宽开销不均衡等问题,基于网络编码提出一种多媒体云存储系统单节点修复算法.该算法将系统中节点已分组的多媒体文件数据进行分组存储,并将组内数据在GF(2)有限域上进行异或编码,当部分节点失效时,新生节点只要连接同组中2~3个未失效节点即可精确修复失效节点中的数据.理论分析与仿真实验结果表明:该算法可减小编解码与修复的复杂度,降低磁盘I/O开销;在相同条件下,该算法存储开销与基于最小存储再生码(minimum storage regeneration codes,MSR)算法的存储开销一致,而修复带宽开销与最小带宽再生码(minimum bandwidth regeneration codes,MBR)算法接近.  相似文献   

5.
节点的失效在大规模分布式存储系统中是常见现象.为防止数据的丢失,系统必须解决失效节点的自修复问题.利用再生码可以在无需下载整个源文件的情况下即可恢复出失效节点的数据,从而能有效节省修复带宽.本文利用柯西矩阵作为编码矩阵,构造了一种精确修复最小带宽再生码(ER-MBR),可以精确修复失效节点,并通过实例演示了在有限域上进行编码解码及节点修复的过程.理论分析和仿真实验都表明利用柯西矩阵作为编码矩阵,其算法的运算效率优于利用范德蒙矩阵或者随机矩阵.  相似文献   

6.
目前多数云存储文件系统为保证其系统可靠性和性能所采用的静态完全副本冗余机制存在存储效率低、负载均衡能力差等缺点,为了提高云存储效率以及优化云存储的负载均衡能力,该文根据应用HDFS的经验,提出一种基于RS纠删码的云存储动态副本的冗余策略-SeaMaiden. SeaMaiden引入了副本调整模块和纠删码编解码模块,通过周期性的计算文件的热度,进而动态调整文件的副本数.当文件的副本数低于3时,则调用纠删码编解码模块对文件进行编码,提升文件的可靠性.当文件的热度级别上升时,则动态增加文件副本数,提升HDFS的负载均衡能力.通过实验证明SeaMaiden 能有效提高HDFS的存储效率、可靠性及响应速度.  相似文献   

7.
MassCloud云存储系统构架及可靠性机制   总被引:1,自引:0,他引:1  
为了解决分布式存储系统的存储容量、可靠性以及效率问题,首先提出了高可靠性海量云存储系统MassCloud的分层体系结构,并在此构架的基础上提出了基于纠删码机制的快速编解码算法--双表法,以及基于纠删码、副本冗余和RAID技术相结合的MasseCloud可靠性保证策略,并且进行了测试与分析.结果表明:双表法具有较高的编解...  相似文献   

8.
局部修复码可以提高分布式存储系统中失效节点的修复效率,是分布式存储编码领域的研究热点。文章研究最优局部修复码的构造,利用二元常重量码构造了两类矩阵,并以这两类矩阵作为校验矩阵,构造了局部性为r、最小距离分别为d=5和d=6的两类最优局部修复码。  相似文献   

9.
分布式存储系统因其海量存储能力、高扩展性和低成本等特性受到广泛开发和使用.如何有效保障数据可靠性也成为当前分布式存储系统重点关注的问题之一.局部修复码是目前广泛使用的保障数据可靠性的手段.介绍国际上目前比较热门的三类局部修复码,即经典的局部修复码、再生码和极大局部修复码,并重点介绍这三类码的最优性质.  相似文献   

10.
随着存储规模的增大和信息节点的增多,基于分布式存储系统的磁盘发生故障的概率越来越高。为了增强系统的可靠性,我们通过RS算法引入冗余数据。随后该研究针对传统RS码的生成矩阵做出了一些改进,使得生成矩阵1的数目减少,优化了编码解码的速度。  相似文献   

11.
郭峰 《应用科技》2014,(5):40-43
在无线传感器网络中,经常出现节点失效等意外情况。如何实现数据的分布式存储是无线传感器研究的重点。根据以包为中心编码的相关研究,提出了一种基于Raptor码的无线传感器分布式数据存储方案。 Raptor码是喷泉码的一种,是一种在删除信道上有效的低复杂度的编码。通过预编码形成虚拟节点,使校验包更多的参与LT编码( Luby transform code),提高了编码的随机性。实验证明在有噪声条件下,具有优于分布式LT码的性能。  相似文献   

12.
针对云计算中存储数据安全性问题,提出了一种基于显式精确最小存储再生代码(explicit exact minimal storage regenerating code, EEMSR)的云存储数据安全性新方法,该方法采用EEMSR和哈希函数通过Challenge-Response协议实现云计算存储数据的可用性和完整性。该方法使用EEMSR代码对数据进行编码,再将此编码数据上传到云中,该编码有助于重新生成丢失的数据,以此确保数据的可用性。而加密哈希函数通过Challenge-Response协议可以验证云数据的完整性。EEMSR代码是一个再生代码,可以用较少的修复流量精确地恢复丢失的数据块,EEMSR代码由参数(n,k,d)定义,该参数允许从n个节点中的任意k个节点恢复数据,并且还具有通过连接到任何d个节点来修复故障节点的能力。实验表明,提出方法安全性能高,与其他方法相比,该方法的运行时间较少,而编码速率较高。  相似文献   

13.
It is well known that erasure coding can be used in storage systems to efficiently store data while protecting against failures. Conventionally, the design of erasure codes has focused on the tradeoff between redundancy and reliability. Under this criterion, an maximum distance separable(MDS) code has optimal redundancy. In this paper, we address a new class of MDS array codes for tolerating triple node failures by extending the row di- agonal parity(RDP) code, named the RDDP(row double diagonal parity) code. The RDDP code takes advantages of good perform- ances of the RDP code with balanced I/0. A specific triple-erasure decoding algorithm to reduce decoding complexity is depicted by geometric graph, and it is easily implemented by software and hardware. The theoretical analysis shows that the comprehensive properties of the RDDP code are optimal, such as encoding and decoding efficiency, update efficiency and I/0 balance performance.  相似文献   

14.
项涛 《科学技术与工程》2011,11(35):8775-8779,8790
在异构的跨域网络环境中,实现一种基于Erasure Code技术的跨域安全文件存储系统。在域内由域服务器、目录存储节点及基础存储设施组成。域间在形成跨域的信任联盟的同时建立分布式跨域存储网络。跨域的文件容灾采用ErasureCode文件编码及两级的文件目录结构并采用DHT方式进行目录管理。测试结果表明,该存储系统具有较高的跨域文件存储可靠性、安全性及便捷性。  相似文献   

15.
This paper proposes a security enhancement scheme for disaster tolerant system based on trusted computing technology which combines with the idea of distributed threshold storage. This scheme takes advantage of trusted computing platform with trusted computing module, which is provided with such excellent features as security storage, remote attestation, and so on. Those features effectively ensure trustworthiness of disaster tolerant point. Furthermore, distributed storage based on Erasure code not only disposes the storage problem about a great deal of data, but also preferably avoids one node invalidation, alleviates network load and deals with joint cheat and many other security problems. Consequently, those security enhancement technologies provide mass data with global security protection during the course of disaster tolerance. Foundation Items: Supported by the National High Technology Research and Development Program of China (863 Program) (2008AA01Z404), the Science and Technical Key Project of Ministry of Education (108087) and the Scientific and Technological Project of Wuhan City (200810321130)  相似文献   

16.
针对在节点间进行数据传输、备份等操作时,不同节点间链路带宽将限制分布式存储系统的性能的问题,借鉴软件定义网络及云存储技术的基本思想,通过对控制流与数据流的分离,提出了一种基于链路带宽的分布式存储系统框架及动态负载均衡技术.所提出框架中,在分布式数据节点之外引入一个中心控制节点,该节点掌握全局网络视图,全局网络视图中既包括数据存储表记录存储数据的分布,又包括当前链路带宽情况.在用户读取数据时,根据数据存储表确定需要的数据存放于哪些数据存储节点,指派相应的数据存储节点根据路由表发送数据包,并实时监测网络中的链路带宽负载情况,及时调整数据的传输路径.仿真验证所提架构和算法可以有效解决海量数据在不同位置的分配调度,以及缩短用户对大量数据提取的响应时间及提升存储速率等问题.   相似文献   

17.
数据布局算法是分布式存储系统的基础性算法,也是提高数据处理效率的关键。针对节点负载和通信延迟等存储节点状态,提出了一种衡量存储节点可用性的通用方法,并在分析了已有算法的基础上,综合各种算法的优点,提出了一种混合数据布局算法。该算法根据存储节点可用性不同而采取不同的数据冗余策略。通过对比分析,证实该算法在存储量与通信量方面具有较大的优越性。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号