HDFS平台下基于纠删码的一种数据放置策略

数据的可靠性一直是云计算领域中的热点问题,副本备份机制作为保证数据可靠性的重要手段应用比较广泛.但随着副本个数的增加,该机制浪费存储空间这一缺陷暴露无遗.为节省存储空间,采用纠删码技术保证数据的可靠性,提出了在HDFS平台下基于纠删码的一种数据放置策略.该策略以HDFS为平台,结合HDFS的副本备份策略和纠删码技术,通过改进HDFS平台下原本的数据放置策略,使改进后的数据放置策略能够适用于基于纠删码和HDFS的云文件系统.     

基于纠删码的低时延卫星时隙ALOHA接入方式

对时隙ALOHA(slotted ALOHA,SA)进行卫星接入的冲突问题进行分析,提出了一种基于纠删码的时隙ALOHA接入方式.该方式将突发数据等分并以包为单位编码,使生成的编码包序列能够通过纠删功能恢复冲突数据包,以实现容忍时隙冲突、缩短接入时延的目的.针对编码策略选取的问题,研究了定长编码策略和喷泉码策略对接入性能的影响.仿真结果表明,基于纠删码ALOHA能有效改善用户接入的时延性能,且喷泉码策略和定长编码相比,性能更为优良.     

互联网数据可靠传输中前向纠错技术

前向纠错（Forward Error Correction)技术在互联网应用是近几年发展起来的一个新的研究课题，如何采用前向纠错技术保证大容量数据在互联网中实时可靠传输是目前的研究热点。以互联网中多址传输（Multicast)为例，介绍了纠删码在互联网中的应用前景，对目前采用的RS纠删码和Tornado码的编码方案进行了分析，比较两种方案在互联网应用中的优缺点，并提出了该技术今后研究的重点和方向。     

云存储环境下分组校验纠删码冗余算法研究

在海量云存储系统中,提高存储利用率,降低冗余方案的计算复杂度是热点研究问题.分组校验纠删码冗余算法能够减少在数据重构时所需的纠删码片段,从而减少对存储网络带宽以及系统I/O的需求,降低存储系统的负载.介绍了分组校验纠删码的编码规则,参数设置,通过实验分析算法具有良好的容错能力与空间利用率,能够满足云存储系统需要的编解码性能.     

纠删码存储系统中数据修复性能优化研究进展与展望

纠删码被广泛应用于分布式存储系统以保存在线应用的用户数据。当部分存储节点发生故障时,纠删码存储系统需使用新的存储节点替换原有失效节点,并恢复失效的用户数据。由于需要执行数据编码、传输和读写等操作,纠删码存储系统通常需要消耗较长的时间执行数据修复操作,存储的用户数据将长期处于不可靠状态。为了保障存储数据的可靠性,研究学者提出了多种数据修复性能优化方案以减少数据修复时间。本文介绍了数据修复性能优化问题,分析了各个应用场景下主要的性能瓶颈和性能优化难点,总结了提升数据修复性能的主要技术方案和研究工作,并对数据修复性能优化研究领域的未来发展方向进行展望,为纠删码存储系统设计人员准确选择适合特定应用场景的数据修复性能优化方案提供思路。     

MassCloud云存储系统构架及可靠性机制

为了解决分布式存储系统的存储容量、可靠性以及效率问题,首先提出了高可靠性海量云存储系统MassCloud的分层体系结构,并在此构架的基础上提出了基于纠删码机制的快速编解码算法--双表法,以及基于纠删码、副本冗余和RAID技术相结合的MasseCloud可靠性保证策略,并且进行了测试与分析.结果表明:双表法具有较高的编解...     

分布式存储中的再生码综述

分布式存储系统中通过引入冗余提高系统的可靠性,纠删码作为重要的冗余策略在分布式存储中得到越来越多的重视.分布式存储系统中,当某个存储节点失效后,需要引入新的节点来修复失效节点的数据.传统纠删码冗余策略在修复失效节点时需要传输的数据量较大近年来出现的再生码对传统纠删码进行改进以减少修复失效节点的带宽消耗.再生码引入网络编码的思想,在修复失效节点时,参与修复过程的节点首先将本节点内的数据作线性组合后再上传,最终修复带宽消耗最小 介绍了再生码的基本概念,然后介绍单节点修复再生码和合作修复再生码的编码策略,最后总结再生码的发展和研究方向     

基于RS纠删码的HDFS云存储动态副本策略研究

目前多数云存储文件系统为保证其系统可靠性和性能所采用的静态完全副本冗余机制存在存储效率低、负载均衡能力差等缺点,为了提高云存储效率以及优化云存储的负载均衡能力,该文根据应用HDFS的经验,提出一种基于RS纠删码的云存储动态副本的冗余策略-SeaMaiden. SeaMaiden引入了副本调整模块和纠删码编解码模块,通过周期性的计算文件的热度,进而动态调整文件的副本数.当文件的副本数低于3时,则调用纠删码编解码模块对文件进行编码,提升文件的可靠性.当文件的热度级别上升时,则动态增加文件副本数,提升HDFS的负载均衡能力.通过实验证明SeaMaiden 能有效提高HDFS的存储效率、可靠性及响应速度.     

云存储系统中数据冗余策略优化问题

针对云存储系统现有冗余策略及其改进策略的不足, 提出一种将完全备份与改进的RS(Reed\|Solomon)纠删码结合的自适应数据冗余策略RIRS(Replication Improved RS)。该策略能根据具体应用环境调整参数以最大限度地优化系统性能。在参数调整使其退化成纯粹的完全备份方法条件下, 提出一个动态副本管理优化模型DRMO（Dynamic Replication Management Optimized）对其进行改进。实现副本数和副本位置的动态调整。分析表明, RIRS充分融合了完全备份和纠删码冗余的优势, 能节省存储空间, 降低访问时延并提高系统的可靠性和稳定性。在此基础上提出的DRMO能在满足数据有效性要求的同时, 进一步节省存储空间并实现负载均衡。     

大数据存储中的容错关键技术综述

不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术.文中介绍了数据容错的两种基本策略：复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等.     

二元局部修复码的新构造

局部修复码(Locally Repairable Codes,简记为LRCs)是一种可以减小分布式存储系统修复带宽的新型纠删码。依据二元最优码的不同距离特性而改变校验矩阵的方法,提出了由奇距离局部修复码扩展构造偶距离局部修复码的一种方法;而且提出了通过删截的方法构造新的性能优良的局部修复码。利用这两种方法,构造出四组码长为n≤24,维数为k≥8且距离为6≤d≤8具有较小局部修复度的码,这些码都达到了C-M界。这些结果对于研究更大距离的二元最优局部修复码以及一般域上的最优局部修复码的构造,将具有借鉴意义。     

基于CRS编码的单向文件传输系统容错性研究

为了提高单向文件传输系统的传输可靠性,该文提出使用Cauchy Reed-Solomon(CRS)纠删码对被传输文件进行冗余编码,可将冗余信息与原文件一起传输。单向文件传输系统可以实现信息在不同密级网络的单向安全传输,但不具备直接反馈信息的功能,因此在系统设计中面临着容错性问题。该文通过实验研究了单向文件传输系统的丢包现象,发现拥塞丢包发生时往往会伴随着连续的丢包,连续丢包具有周期性的规律。针对以上的规律,将纠删码应用到单向文件传输系统中。通过实验证明,采用CRS编码可以有效提高单向文件传输系统的容错性。     

基于译码可靠性的系统Polar码删余方法

为了研究删余系统Polar码的性能,提出了一种基于译码可靠性的系统Polar码删余方法.考虑到信道噪声对不同码字比特译码结果的影响并不相同,通过高斯近似的方法计算码字中每个比特的译码可靠性值并对其排序,选择可靠性值较低的码字比特位置作为删余位,构造删余系统Polar码.分析了不同删余方法对误比特率(BER)性能的影响,并将系统Polar码与非系统Polar码的性能进行了对比.仿真结果表明:在同等删余码率下,基于译码可靠性删余法的Polar码性能优于随机删余法的Polar码性能;与等条件下非系统Polar码相比,基于译码可靠性删余法的系统Polar码具有更好的误比特率性能.     

基于软译码的系统LT码及其无线信道应用

LT码在删除信道下显示出优异的纠删性能,但在无线信道中由于信道噪声固有的影响,接收端必然产生误码,错误的译码起始信息导致LT码在解码后出现错误传播现象。为了减少误码,实现LT码在无线信道下的应用,提出构造系统LT码,同时在译码时产生校验矩阵,采用基于对数似然比的置信传播算法(LLR-BP)进行软信息译码的方法。仿真实验结果表明,基于软译码的系统LT码具备良好的纠错性能,显示了其在无线信道应用的可行性和有效性。     

基于精确再生码的秘密共享方案

为解决云存储系统中数据安全性问题,利用精确再生码构造一种新的(t,n)门限秘密共享方案。方案由子秘密的分发、原始秘密的恢复和子秘密丢失者的数据重建共3种算法组成。子秘密的分发就是将原始秘密先进行分块,再进行纠删编码,最后按一定的规则将编码后的数据块分发给n个分享者。选取t个分享者提供的数据块,按纠删码的译码算法恢复原始秘密。选取t个以上分享者的数据块,按精确再生码的译码算法重建出子秘密丢失者的数据。研究结果表明:访方案是一种信息论安全的门限体制,与传统的基于Lagrange多项式插值算法的秘密共享方案相比,具有运算复杂性低、节点存储量小、丢失子秘密易再生等优点。     

关于有界延迟码嵌入到完全码的又一构造

在以前工作的基础上,给出有界延迟码嵌入到完全码的又一构造,它保持码的正则性与薄性,证明了每一个有界延迟的正则(薄)码都能嵌入在一个具有相同延迟界的正则(薄)极大码中。     

一类纠二元突发错的准循环码的译码算法

介绍了一种基于二维乘积码的一类纠二元突发错的准循环码及其最大纠突发错能力,并提出了一种译码算法.在一定条件下,这类码可化为循环Gilbert码.经常这类码比具有相同码长和校验位的Gilbert码可纠更长的突发错.计算机模拟表明,所提出的译码算法可行.     

删截Turbo码中交织器和删截方案的综合设计

删截是构造高码率Turbo码的主要方法，删截方案对于删截Turbo码的性能有重要影响。介绍了删截Turbo码的原理，提出了交织器和删截方案相结合的综合设计思想，设计了一种新的交织器以及相应的删截方案，并给出了该交织器的实现算法，仿真结果表明，该综合设计具有优异的性能。     

带有纠删或纠错性质的隐私保护信息检索方案

隐私保护信息检索(private information retrieval,PIR)是理论计算机科学和密码学领域中的经典问题之一。近年来,此问题与分布式存储系统相结合,产生了新的研究方向。考虑一个由N个服务器组成的分布式存储系统,以一定的编码方式存储了由M个文件组成的数据库,每个文件经由一个(N,K)-MDS码独立存储。PIR方案可以保障用户在数据库中检索某个文件时,任意T个可合谋的服务器无法得知所检索文件指标的任何信息。PIR方案的主要指标是PIR码率,即所检索文件的大小与总下载量的比值的最大值。在这一经典模型下已有最优PIR方案。在实际应用中,数据的传输必然面临着数据丢失、噪声甚至人为篡改等干扰。因此,本文考虑带有纠删纠错性质的PIR方案。在无纠删纠错性质的PIR方案的基础上,通过引入额外的编码方法对用户问询加以适当的冗余,得到了适用于纠删纠错模型的PIR方案,并精确计算出其PIR码率。     

基于一个等价条件的量子码的新构造

基于一个等价条件导出了表示数的概念，并且由此给出了一种构造量子码的新方法．还结合CRSS码证明了一类量子码的存在．