首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到10条相似文献,搜索用时 15 毫秒
1.
为提高重复数据删除算法的重删率,减少CDC算法边界硬分块,使重复数据删除率和性能之间得到平衡,提出了指纹极值的双层重复数据删除算法(DDFE).首先在第一层重复数据删除模型中使用较大的分块大小,保证重删操作的速度;然后将第一层模型重删后的不重复数据输入到分块大小较小的第二层重复数据删除模型,保证重复数据删除的精度.数据分块时,在可容忍范围内,提出了指纹极值的分块算法,减少了硬分块对重复删除的影响.在多种分块组合下的实验结果表明,与任何传统的单层重复数据删除算法相比,DDFE能够较好地防止硬分块、平衡性能和时间,在大量小数据块和频繁变化的数据间有效地消除更多的重复数据.  相似文献   

2.
针对传统数据库备份系统中备份方法存在的重复数据过多、磁盘存储空间利用率低等问题,本文提出了一种基于块差异数据的数据库备份系统.该系统通过实现基于rsync算法的块差异备份,将备份文件划分固定大小的块并利用索引表对块进行排序,Hash表对块进行标识,检测相邻时间点备份文件间及备份文件内部的重复数据,并利用块差异数据备份文件和块差异指示文件实现备份数据的差异传输.实验结果表明,与传统数据库备份系统的备份方法相比,该系统的块差异备份方法消除了各时间点备份数据中的重复数据,从而有效地提高了存储空间的利用率.  相似文献   

3.
针对系统中存在的索引检索效率问题,提出了一种基于时序参数的快速索引优化算法,该算法通过时间参数和序数参数获取数据块的热度值,将高热度值的数据块指纹组合成了一个高优先度的快速索引.快速索引与主索引组成了重复数据删除中的两层索引结构,从而提高了系统的检索性能.通过实验验证了基于时序参数的索引优化算法的优越性.  相似文献   

4.
针对基于重删后云存储系统中数据碎片引起恢复性能降低的问题,采用自适应碎片分组设计了一个云存储系统中重删后优化数据恢复的处理方法.该方法不使用固定大小的读窗口,根据数据块地址关联性分成可变大小的逻辑组,旨在选择有限数量的容器,为备份提供更多不同的引用块,减少所选容器中重复或未引用块的数量,减少磁盘访问,以精确识别和删除碎片数据,提升数据恢复性能以及重删率.实验结果表明,该方法在提高恢复性能的同时减少重写数据量.   相似文献   

5.
移动群智感知(mobile crowd sensing,MCS)技术在无线电环境地图(radio environment map,REM)的数据收集系统中优势明显,具有良好的应用前景.但由于移动群智感知的时空相关性特点,感知数据中存在大量的冗余,造成了数据存储效率低与传输带宽消耗大的问题.针对此问题,提出一种基于感知数据综合差异度的无线电环境地图冗余数据删除技术.该技术通过计算感知数据之间的综合差异度,实现对无线电环境地图系统中感知数据的冗余检测与删除.为了验证所提技术的有效性,通过实验将该技术与传统的重复数据删除技术进行比较.实验结果表明,与传统的重复数据删除技术相比,所提出的技术在保证数据完整性的前提下,极大地提高了系统的存储效率,降低了数据传输过程中网络带宽的消耗.  相似文献   

6.
在建立数据库时,重复数据的判断对于数据库管理至关重要,没有准确关键词作为对比,重复数据的判断将变得非常困难.传统的哈稀技术、固定分块技术、滑动块技术、可变分块技术和数据指纹等对重复数据进行查找与删除时,占用了大量系统处理时间,且准确性较低.为提高数据处理效率,提出了ASP批量数据在入库时的查重筛选方法,实践验证了该方法的鲁棒性与可靠性,极大地减轻了操作员对数据库管理的繁重工作.  相似文献   

7.
针对当今企业海量数据的增长给数据容灾系统的存储容量、处理能力、数据传输带宽带来巨大压力的现状,设计了一种基于重复数据删除技术的数据容灾系统.通过I/O吞吐量、CPU利用率、响应时间、数据备份时间和重复数据删除率等指标对数据容灾系统性能进行了测试,测试结果表明数据容灾系统对应用服务器响应时间的影响甚小,重复数据删除效果显著.  相似文献   

8.
针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法.该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量.对于索引表缓存命中率低、系统性能差的问题,采用了图遍历分组方法予以解决,根据数据块访问序列特征信息建立无向图并进行分析,基于分析结果对索引项进行分组,并以组进行缓存替换,从而提高缓存命中率和系统性能.实验结果表明,基于缓存预取原理和无向图遍历分组,在将缓存设置为索引表大小的10%时,重复数据删除存储系统最大存储容量比原有方法提高了7.5倍,缓存命中率由不进行索引项分组时的47%提高到87.6%.  相似文献   

9.
重复数据删除技术将重复数据块归并存储,提高空间利用率却降低数据可靠性。该文提出一种数据可靠性保证机制——RLDS。RLDS将变长数据块打包成定长块,再使用ECC编码从一组数据块生成带纠错的块,分布到动态挑选的存储节点冗余组中。在节点发生错误时,RLDS分布式地恢复出错数据。实验结果表明:RLDS能取得与用RAID纠错机制的系统相近的空间利用率,同时提供与用多倍冗余复制机制的系统相近的数据可靠性,数据块平均恢复时延也比RAID系统大为缩短。RLDS通过数据再生还解决了节点超载问题,提供系统动态负载均衡功能。  相似文献   

10.
为了实现图像水印作为一种数据认证和版权保护等功能,提出一种Hopfield网络与人类视觉系统相结合的小波域图像水印算法.该算法首先对水印进行存储,将其分成互不重叠的同样大小得子块,然后将子块由二维变换成一位序列,得到Hopfield网络的输入样本集Q,并对网络节点的权值进行初始化及修正,将其模式保存到网络中;然后对水印图像多次矩阵置乱处理,并对原始图像进行3级DWT分解;最后结合人眼视觉特性和Hopfield网络的记忆上限,保证低频部分只嵌入一次水印,高频部分重复嵌入水印.实验结果表明,该算法能抵抗JPEG压缩、加噪、剪切等多种攻击,显著提高了水印图像的质量,与直接提取水印的算法相比,性能有了很大的改善.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号