重复数据删除系统元数据存储布局研究

根据重复数据删除的特点,针对连续数据访问为主的应用,设计基于B+树的元数据索引结构;将元数据分为冷热两种,分别设计不同的元数据布局策略.研究结果表明,低能耗磁盘能够保持更长时间的待机状态以便节能,同时可以有效地减少重复数据删除时的随机磁盘访问次数.并且没有额外的硬件开销,实现仅在磁盘上存储索引,而不是之前研究中的在磁盘和内存中存储索引.  

企业多租户云存储平台的设计与实现

针对企业内部的文档存储安全系数低、共享效率低、维护成本高等问题，结合云存储模型并利用对象存储技术，使用多租户技术隔离企业用户，结合组织机构进行企业内部数据访问控制，设计并实现一个企业多租户云存储服务平台，并提出了一种文件分块对象去重模型和对象重组文件版本管理模型。分析结果表明，企业多租户云存储服务平台满足企业数据的高可靠性、安全性要求，能有效提高网络共享效率。  

重复数据删除中的无向图遍历分组预测方法

针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法.该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量.对于索引表缓存命中率低、系统性能差的问题,采用了图遍历分组方法予以解决,根据数据块访问序列特征信息建立无向图并进行分析,基于分析结果对索引项进行分组,并以组进行缓存替换,从而提高缓存命中率和系统性能.实验结果表明,基于缓存预取原理和无向图遍历分组,在将缓存设置为索引表大小的10％时,重复数据删除存储系统最大存储容量比原有方法提高了7.5倍,缓存命中率由不进行索引项分组时的47％提高到87.6％.  

一种基于Winnowing分块的重复数据删除备份与恢复系统设计与实现

针对海量数据中存在的大量冗余信息，本文设计并实现了一种基于重复数据删除的文件备份与恢复系统，该系统采用改进的Winnowing动态分块算法，将文件分割成不同长度的数据块，并结合摘要算法、索引表、数据压缩等技术，确保服务器仅存储数据块唯一副本，以达到重复数据的删除目的.实验表明，该系统相比cwRsync能较更好的减少网络流量，并且相比传统的压缩技术能更进一步减少磁盘空间占用率.  

基于差异数据的块级数据库备份系统

针对传统数据库备份系统中备份方法存在的重复数据过多、磁盘存储空间利用率低等问题,本文提出了一种基于块差异数据的数据库备份系统.该系统通过实现基于rsync算法的块差异备份,将备份文件划分固定大小的块并利用索引表对块进行排序,Hash表对块进行标识,检测相邻时间点备份文件间及备份文件内部的重复数据,并利用块差异数据备份文件和块差异指示文件实现备份数据的差异传输.实验结果表明,与传统数据库备份系统的备份方法相比,该系统的块差异备份方法消除了各时间点备份数据中的重复数据,从而有效地提高了存储空间的利用率.  

基于重复数据删除技术的数据容灾系统的设计与测试

针对当今企业海量数据的增长给数据容灾系统的存储容量、处理能力、数据传输带宽带来巨大压力的现状,设计了一种基于重复数据删除技术的数据容灾系统.通过I/O吞吐量、CPU利用率、响应时间、数据备份时间和重复数据删除率等指标对数据容灾系统性能进行了测试,测试结果表明数据容灾系统对应用服务器响应时间的影响甚小,重复数据删除效果显著.  

Markov逻辑网在重复数据删除中的应用

为了解决和突破现阶段重复数据删除方法大多只能针对特定领域,孤立地解决问题的某个方面所带来的不足和局限,提出了基于Markov逻辑网的统计关系学习方法.该方法可以通过计算一个世界的概率分布来为推理服务,从而可将重复数据删除问题形式化.具体采用了判别式训练的学习算法和MC SAT推理算法,并详细阐述了如何用少量的谓词公式来描述重复数据删除问题中不同方面的本质特征,将Markov逻辑表示的各方面组合起来形成各种模型.实验结果表明基于Markov逻辑网的重复数据删除方法不但可以涵盖经典的Fellegi Sunte