分布式存储中的再生码综述

分布式存储系统中通过引入冗余提高系统的可靠性,纠删码作为重要的冗余策略在分布式存储中得到越来越多的重视.分布式存储系统中,当某个存储节点失效后,需要引入新的节点来修复失效节点的数据.传统纠删码冗余策略在修复失效节点时需要传输的数据量较大近年来出现的再生码对传统纠删码进行改进以减少修复失效节点的带宽消耗.再生码引入网络编码的思想,在修复失效节点时,参与修复过程的节点首先将本节点内的数据作线性组合后再上传,最终修复带宽消耗最小 介绍了再生码的基本概念,然后介绍单节点修复再生码和合作修复再生码的编码策略,最后总结再生码的发展和研究方向     

纠删码存储系统中数据修复性能优化研究进展与展望

纠删码被广泛应用于分布式存储系统以保存在线应用的用户数据。当部分存储节点发生故障时，纠删码存储系统需使用新的存储节点替换原有失效节点，并恢复失效的用户数据。由于需要执行数据编码、传输和读写等操作，纠删码存储系统通常需要消耗较长的时间执行数据修复操作，存储的用户数据将长期处于不可靠状态。为了保障存储数据的可靠性，研究学者提出了多种数据修复性能优化方案以减少数据修复时间。本文介绍了数据修复性能优化问题，分析了各个应用场景下主要的性能瓶颈和性能优化难点，总结了提升数据修复性能的主要技术方案和研究工作，并对数据修复性能优化研究领域的未来发展方向进行展望，为纠删码存储系统设计人员准确选择适合特定应用场景的数据修复性能优化方案提供思路。     

云存储环境下分组校验纠删码冗余算法研究

在海量云存储系统中,提高存储利用率,降低冗余方案的计算复杂度是热点研究问题.分组校验纠删码冗余算法能够减少在数据重构时所需的纠删码片段,从而减少对存储网络带宽以及系统I/O的需求,降低存储系统的负载.介绍了分组校验纠删码的编码规则,参数设置,通过实验分析算法具有良好的容错能力与空间利用率,能够满足云存储系统需要的编解码性能.     

大数据存储中的容错关键技术综述

不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术.文中介绍了数据容错的两种基本策略：复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等.     

HDFS平台下基于纠删码的一种数据放置策略

数据的可靠性一直是云计算领域中的热点问题,副本备份机制作为保证数据可靠性的重要手段应用比较广泛.但随着副本个数的增加,该机制浪费存储空间这一缺陷暴露无遗.为节省存储空间,采用纠删码技术保证数据的可靠性,提出了在HDFS平台下基于纠删码的一种数据放置策略.该策略以HDFS为平台,结合HDFS的副本备份策略和纠删码技术,通过改进HDFS平台下原本的数据放置策略,使改进后的数据放置策略能够适用于基于纠删码和HDFS的云文件系统.     

云存储系统中数据冗余策略优化问题

针对云存储系统现有冗余策略及其改进策略的不足, 提出一种将完全备份与改进的RS(Reed\|Solomon)纠删码结合的自适应数据冗余策略RIRS(Replication Improved RS)。该策略能根据具体应用环境调整参数以最大限度地优化系统性能。在参数调整使其退化成纯粹的完全备份方法条件下, 提出一个动态副本管理优化模型DRMO（Dynamic Replication Management Optimized）对其进行改进。实现副本数和副本位置的动态调整。分析表明, RIRS充分融合了完全备份和纠删码冗余的优势, 能节省存储空间, 降低访问时延并提高系统的可靠性和稳定性。在此基础上提出的DRMO能在满足数据有效性要求的同时, 进一步节省存储空间并实现负载均衡。     

基于RS纠删码的HDFS云存储动态副本策略研究

目前多数云存储文件系统为保证其系统可靠性和性能所采用的静态完全副本冗余机制存在存储效率低、负载均衡能力差等缺点,为了提高云存储效率以及优化云存储的负载均衡能力,该文根据应用HDFS的经验,提出一种基于RS纠删码的云存储动态副本的冗余策略-SeaMaiden. SeaMaiden引入了副本调整模块和纠删码编解码模块,通过周期性的计算文件的热度,进而动态调整文件的副本数.当文件的副本数低于3时,则调用纠删码编解码模块对文件进行编码,提升文件的可靠性.当文件的热度级别上升时,则动态增加文件副本数,提升HDFS的负载均衡能力.通过实验证明SeaMaiden 能有效提高HDFS的存储效率、可靠性及响应速度.     

一种副本复制和纠错码融合的云存储文件系统容错机制

在云存储技术中,云存储文件系统的数据容错十分重要,直接关系到整个系统的可用性。该文通过对有中心的分布式文件系统进行分析,提出了双机热备的元数据管理节点容错技术和块副本与基于纠删编解码算法相结合的存储节点容错技术,为云存储文件系统设计了双重保险的容错机制。实验结果表明,该机制大大提高了云存储系统的可靠性,并提高了磁盘空间利用率。     

基于纠删码的低时延卫星时隙ALOHA接入方式

对时隙ALOHA(slotted ALOHA,SA)进行卫星接入的冲突问题进行分析,提出了一种基于纠删码的时隙ALOHA接入方式.该方式将突发数据等分并以包为单位编码,使生成的编码包序列能够通过纠删功能恢复冲突数据包,以实现容忍时隙冲突、缩短接入时延的目的.针对编码策略选取的问题,研究了定长编码策略和喷泉码策略对接入性能的影响.仿真结果表明,基于纠删码ALOHA能有效改善用户接入的时延性能,且喷泉码策略和定长编码相比,性能更为优良.     

基于译码可靠性的系统Polar码删余方法

为了研究删余系统Polar码的性能,提出了一种基于译码可靠性的系统Polar码删余方法.考虑到信道噪声对不同码字比特译码结果的影响并不相同,通过高斯近似的方法计算码字中每个比特的译码可靠性值并对其排序,选择可靠性值较低的码字比特位置作为删余位,构造删余系统Polar码.分析了不同删余方法对误比特率(BER)性能的影响,并将系统Polar码与非系统Polar码的性能进行了对比.仿真结果表明:在同等删余码率下,基于译码可靠性删余法的Polar码性能优于随机删余法的Polar码性能;与等条件下非系统Polar码相比,基于译码可靠性删余法的系统Polar码具有更好的误比特率性能.