HDFS平台下基于纠删码的一种数据放置策略

数据的可靠性一直是云计算领域中的热点问题,副本备份机制作为保证数据可靠性的重要手段应用比较广泛.但随着副本个数的增加,该机制浪费存储空间这一缺陷暴露无遗.为节省存储空间,采用纠删码技术保证数据的可靠性,提出了在HDFS平台下基于纠删码的一种数据放置策略.该策略以HDFS为平台,结合HDFS的副本备份策略和纠删码技术,通过改进HDFS平台下原本的数据放置策略,使改进后的数据放置策略能够适用于基于纠删码和HDFS的云文件系统.     

纠删码存储系统中数据修复性能优化研究进展与展望

纠删码被广泛应用于分布式存储系统以保存在线应用的用户数据。当部分存储节点发生故障时,纠删码存储系统需使用新的存储节点替换原有失效节点,并恢复失效的用户数据。由于需要执行数据编码、传输和读写等操作,纠删码存储系统通常需要消耗较长的时间执行数据修复操作,存储的用户数据将长期处于不可靠状态。为了保障存储数据的可靠性,研究学者提出了多种数据修复性能优化方案以减少数据修复时间。本文介绍了数据修复性能优化问题,分析了各个应用场景下主要的性能瓶颈和性能优化难点,总结了提升数据修复性能的主要技术方案和研究工作,并对数据修复性能优化研究领域的未来发展方向进行展望,为纠删码存储系统设计人员准确选择适合特定应用场景的数据修复性能优化方案提供思路。     

基于CRS编码的单向文件传输系统容错性研究

为了提高单向文件传输系统的传输可靠性,该文提出使用Cauchy Reed-Solomon(CRS)纠删码对被传输文件进行冗余编码,可将冗余信息与原文件一起传输。单向文件传输系统可以实现信息在不同密级网络的单向安全传输,但不具备直接反馈信息的功能,因此在系统设计中面临着容错性问题。该文通过实验研究了单向文件传输系统的丢包现象,发现拥塞丢包发生时往往会伴随着连续的丢包,连续丢包具有周期性的规律。针对以上的规律,将纠删码应用到单向文件传输系统中。通过实验证明,采用CRS编码可以有效提高单向文件传输系统的容错性。     

R-S码纠错算法的软件实现(简报)

0引言 在数字通信系统中，由于传输信道或其他噪声的存在会引起数据传输及交换过程产生差错，尤其是远程、高速传输．对这些不可避免的差错进行检测和纠正显得尤为重要，编码技术是一种有效的方法．实际产生的错误往往是随机错与突发错同时存在，尤其在短波信道中，传送时错误往往呈区间出现，即连续几个位的码元或连续码元除其中少数几个位以外都发生差错，这时仅采用单一的纠随机错码或纠突发错码均不能取得良好的效果．当前最常用的方法是自动请求重发方式（ARQ）、前向纠错方式（FEC）和混合纠错方式（HEC）．ARQ方式不能纠错只能检错，而FEC方式用在传输误码率较低时比较理想．在传输误码率较高时，则容易出现“乱纠”现象．考虑到本系统的传输速率及外界较强的干扰，用上述方法无法胜任．     

分布式存储中的再生码综述

分布式存储系统中通过引入冗余提高系统的可靠性,纠删码作为重要的冗余策略在分布式存储中得到越来越多的重视.分布式存储系统中,当某个存储节点失效后,需要引入新的节点来修复失效节点的数据.传统纠删码冗余策略在修复失效节点时需要传输的数据量较大近年来出现的再生码对传统纠删码进行改进以减少修复失效节点的带宽消耗.再生码引入网络编码的思想,在修复失效节点时,参与修复过程的节点首先将本节点内的数据作线性组合后再上传,最终修复带宽消耗最小 介绍了再生码的基本概念,然后介绍单节点修复再生码和合作修复再生码的编码策略,最后总结再生码的发展和研究方向     

基于软译码的系统LT码及其无线信道应用

LT码在删除信道下显示出优异的纠删性能,但在无线信道中由于信道噪声固有的影响,接收端必然产生误码,错误的译码起始信息导致LT码在解码后出现错误传播现象。为了减少误码,实现LT码在无线信道下的应用,提出构造系统LT码,同时在译码时产生校验矩阵,采用基于对数似然比的置信传播算法(LLR-BP)进行软信息译码的方法。仿真实验结果表明,基于软译码的系统LT码具备良好的纠错性能,显示了其在无线信道应用的可行性和有效性。     

带有纠删或纠错性质的隐私保护信息检索方案

隐私保护信息检索(private information retrieval,PIR)是理论计算机科学和密码学领域中的经典问题之一。近年来,此问题与分布式存储系统相结合,产生了新的研究方向。考虑一个由N个服务器组成的分布式存储系统,以一定的编码方式存储了由M个文件组成的数据库,每个文件经由一个(N,K)-MDS码独立存储。PIR方案可以保障用户在数据库中检索某个文件时,任意T个可合谋的服务器无法得知所检索文件指标的任何信息。PIR方案的主要指标是PIR码率,即所检索文件的大小与总下载量的比值的最大值。在这一经典模型下已有最优PIR方案。在实际应用中,数据的传输必然面临着数据丢失、噪声甚至人为篡改等干扰。因此,本文考虑带有纠删纠错性质的PIR方案。在无纠删纠错性质的PIR方案的基础上,通过引入额外的编码方法对用户问询加以适当的冗余,得到了适用于纠删纠错模型的PIR方案,并精确计算出其PIR码率。     

恶劣信道上的信令传输

为解决数字通信系统中恶劣信道上信令传输的差错控制问题，分析了重发纠错和大数判决、ＢＣＨ码、ＧＯＬＡＹ码等几种前向纠错方法在恶劣信道上的检纠错能力和相应的信令传输性能，通过理论推导和数值计算，给出了一组典型数据和曲线，并对它们进行了比较。根据信令传输的特点和要求，指出恶劣信道上的差错控制必须把前向纠错和重发纠错相结合，并且采用码长较短的纠错编码。最后讨论这些信令传输方法可能的应用。     

数据通信中实时差错控制的研究

本文分析了数据通信中实时差错产生的原因,其次讨论了差错控制的三种基本方式:重发纠错、前向纠错和混合纠错,再次对海明码、奇偶校验码、循环冗余码(CRC)等较为成熟的编码技术进行了研究,提高了数据通信系统的抗干扰能力,降低了系统的误码率,提高了数据传输的可靠性,实现了数据通信中的实时差错控制,保证了通信质量。     

基于LDPC码的数字图像水印技术研究与利用

主要研究了LDPC码在数字水印中的应用。图像水印系统和通信系统的模式具有相似性,对一种基于LDPC码的图像数字水印算法进行了研究。该算法利用LDPC码的纠错性能和图像的人眼视觉特性（HVS）,以实现静止图像中数字水印的嵌入和提取。实验结果表明,该算法降低了水印在传输过程中的差错率,具有很强的鲁棒性和隐匿性。