带重复数据删除的大规模存储系统可靠性保证

重复数据删除技术将重复数据块归并存储,提高空间利用率却降低数据可靠性。该文提出一种数据可靠性保证机制——RLDS。RLDS将变长数据块打包成定长块,再使用ECC编码从一组数据块生成带纠错的块,分布到动态挑选的存储节点冗余组中。在节点发生错误时,RLDS分布式地恢复出错数据。实验结果表明:RLDS能取得与用RAID纠错机制的系统相近的空间利用率,同时提供与用多倍冗余复制机制的系统相近的数据可靠性,数据块平均恢复时延也比RAID系统大为缩短。RLDS通过数据再生还解决了节点超载问题,提供系统动态负载均衡功能。