大型文本数据库中分布式数据去重备份方法

数据去重可删除备份过程中的冗余数据,节约存储资源与与网络带宽,是目前数据存储领域研究的重点问题。针对传统方法去重率和吞吐量低的问题,提出一种新的大型文本数据库中分布式数据去重备份方法。介绍了大型文本数据库中分布式数据去重方法基本思想,通过文件管理部分对数据片组中的扶贫数据进行查询和统计,给出数据片组路由策略,分析了数据预取过程。通过最终权值完成对数据块的排列,以恢复时间与恢复成本达到最小化为目的设计适应度函数。通过改进遗传方法对大型文本数据库中分布式扶贫数据进行备份。实验结果表明,所提方法有很高的去重率和吞吐量,且成本低,恢复速度快。     

面向虚拟机镜像的改进相似度分组去重优化方法

根据实验研究发现,云计算环境中虚拟机镜像备份之间存在大量的冗余数据。尽管传统的去重方法有较高的去重率,但需要花费大量时间,这对有时效性要求的海量镜像备份场景并不适用。考虑虚拟机镜像之间存在大量相同或相似的操作系统和应用程序等相似性特性,提出一种基于虚拟机镜像改进相似度分组去重优化方法。该方法利用镜像之间的相似性对镜像进行相似度分组,把相似度达到阈值的镜像归为一组,形成多个相似的镜像组。仿真实验验证了该方法减少去重过程中的索引空间范围,缩短去重的时间,提高了备份效率,特别适用于海量虚拟机镜像的快速备份场景中。     

浅谈SQL Server 2005数据库备份与恢复

数据库的备份和恢复是系统管理员维护数据库安全性和完整性的两个重要操作,本文对SQL Server 2005数据库备份与恢复过程中应注意的问题以及经常出现的问题进行了归纳和总结,其中这些问题带有一定的普遍性,针对出现的问题提供可行性的解决方法。     

浅谈SQL Server 2005数据库备份号恢复

数据库的备份和恢复是系统管理员维护数据库安全性和完整性的两个重要操作,本文对SQL Server2005数据库备份与恢复过程中应注意的问题以及经常出现的问题进行了归纳和总结,其中这些问题带有一定的普遍性,针对出现的问题提供可行性的解决方法。     

如何使用delphi实现软件前台对sql server数据库的备份

备份是恢复数据最容易和最有效的保证方法,备份和恢复数据的方法据所使用数据库的不同而有所不同.本文阐述如何使用第三方软件BORLAND公司的DELPHI开发应用程序对Microsoft公司的SQL Server大型数据库进行备份.     

谈汇文系统中Oracle数据库的备份

数据库系统中的数据一旦发生意外可能造成灾难性的后果,而发生故障时数据库能否及时有效地恢复取决于备份的情况.Oracle数据库的三种基本的备份方法(脱机备份、联机备份、逻辑备份)各有其自身的特点,根据镇江高专图书馆的实际情况,在数据库开发与管理过程中采用脱机备份与逻辑备份相结合的备份策略实例.     

一种分布式冗余的实时数据存储检索机制

为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方面进行设计和优化,在保证数据存取实时性的基础上实现了备份同步、一致性修复等核心功能,从而有效提高了实时数据库的海量数据存储与处理能力,为实时数据库向分布式存储、多重冗余备份、系统规模动态调整等方向的转变奠定了基础.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求.     

基于C/S模式下的Oracle数据库备份与恢复技术

简要介绍C/S模式数据库的相关知识,浅述基于C/S模式下的Oracle数据库备份与恢复技术的原理,并给出常用的Oracle数据库备份与恢复的实现方法。针对该模式下的Oracle数据库的数据安全问题,以数据备份与恢复原理作为理论基础,结合实际情况,选择适合的数据库备份与恢复方法,从而保证数据库系统的数据完整性和安全性。     

基于SQL-DMO的数据备份和恢复的设计与实现

应用系统的重要数据都存储在数据库中,为了避免这些数据遭到破坏或丢失,加强数据库的备份与恢复功能,采用ASP.NET技术,在VS.NET_2003和SQL SERVER 2000环境下,应用C#语言和SQL-DMO组件设计并实现了数据库的本地、异地等多种方式的备份和恢复功能,从而保证了系统中数据的安全性,最后分析了实现方法的部分关键代码。     

基于差异数据的块级数据库备份系统

针对传统数据库备份系统中备份方法存在的重复数据过多、磁盘存储空间利用率低等问题,本文提出了一种基于块差异数据的数据库备份系统.该系统通过实现基于rsync算法的块差异备份,将备份文件划分固定大小的块并利用索引表对块进行排序,Hash表对块进行标识,检测相邻时间点备份文件间及备份文件内部的重复数据,并利用块差异数据备份文件和块差异指示文件实现备份数据的差异传输.实验结果表明,与传统数据库备份系统的备份方法相比,该系统的块差异备份方法消除了各时间点备份数据中的重复数据,从而有效地提高了存储空间的利用率.     

Efficient Multi-Resolution Compression Algorithm for Disk-Based Backup and Recovery

0 IntroductionTraditionally,there are two kinds of compression meth-ods developedfor tape-based backup.Oneisincrementalbackup method, which can distinguish modified files , andbackup only those modifiedfilesinthe backup set . The otherone is streamcompression, which eli minate redundancy in asingle file.In a large backup system,numerous redundant data ex-ists across files .Files with the same content may be foundinother nodes due tofile reduplication and distribution;a partlymodifiedfile may …     

无线电环境地图的冗余感知数据删除技术研究

移动群智感知(mobile crowd sensing,MCS)技术在无线电环境地图(radio environment map,REM)的数据收集系统中优势明显,具有良好的应用前景.但由于移动群智感知的时空相关性特点,感知数据中存在大量的冗余,造成了数据存储效率低与传输带宽消耗大的问题.针对此问题,提出一种基于感知数据综合差异度的无线电环境地图冗余数据删除技术.该技术通过计算感知数据之间的综合差异度,实现对无线电环境地图系统中感知数据的冗余检测与删除.为了验证所提技术的有效性,通过实验将该技术与传统的重复数据删除技术进行比较.实验结果表明,与传统的重复数据删除技术相比,所提出的技术在保证数据完整性的前提下,极大地提高了系统的存储效率,降低了数据传输过程中网络带宽的消耗.     

一种定时备份系统的设计与实现

网络备份系统可以保证在灾难发生后,远地存储设备上仍有本地数据的一份或多份拷贝.将本地数据复制到远地存储设备是网络备份系统的主要功能.本文设计并实现了一种定时网络备份系统,该系统使用了带有监控的数据复制方法.方法通过监测业务期间数据卷上数据的变化,将比较数据所花费的开销分布到业务期间内.通过试验表明,该方法可以有效地减少系统备份所需的时间.     

一种定时网络备份系统的设计与实现

网络备份系统可以保证在灾难发生后,远地存储设备上仍有本地数据的一份或多份拷贝.将本地数据复制到远地存储设备是网络备份系统的主要功能.本文设计并实现了一种定时网络备份系统,该系统使用了带有监控的数据复制方法.方法通过监测业务期间数据卷上数据的变化,将比较数据所花费的开销分布到业务期间内.通过试验表明,该方法可以有效的减少系统备份所需的时间.     

数字图书馆平台建设工作探讨——以湖南图书馆为例

以湖南图书馆为例,详细论述了如何在不对现有应用模块及支撑其运行的逻辑架构环境做变动的前提下,通过主机系统虚拟化技术实现绝大部分应用模块底层架构平台的统一;如何采用源端去重、窄带传输这种全新的备份方式实现全省数字图书馆平台的异地灾备,最终结合主机、存储虚拟化及IP SAN技术实现各馆关键业务数据的异地实时同步;以及如何同时利用各馆剩余资源建立异地容灾中心,真正实现全省数字图书馆的永不打烊。     

一种基于云存储系统的自适应数据碎片恢复优化方法

针对基于重删后云存储系统中数据碎片引起恢复性能降低的问题,采用自适应碎片分组设计了一个云存储系统中重删后优化数据恢复的处理方法.该方法不使用固定大小的读窗口,根据数据块地址关联性分成可变大小的逻辑组,旨在选择有限数量的容器,为备份提供更多不同的引用块,减少所选容器中重复或未引用块的数量,减少磁盘访问,以精确识别和删除碎片数据,提升数据恢复性能以及重删率.实验结果表明,该方法在提高恢复性能的同时减少重写数据量.      

关系数据库中分布式大数据的集成冲突消解算法

针对现有关系数据库中分布式大数据集成冲突消解研究的不足,提出一种新的集成冲突消解算法。依据关系数据库中分布式大数据的集成过程对冲突进行分类,将其划分成语义冲突、模式冲突以及实例冲突。针对语义冲突,通过句法融合、逻辑树融合和频率融合法实现冲突消解。通过属性有向图对关系数据库中模式数据和实例数据的属性进行描述。从属性关系参与分布式大数据集成冲突的状态分析,通过关系的权重值对属性关系的重要程度进行量化处理。通过有向图全部关系的权重和对所有属性有向图的重要程度进行描述。综合分析冲突数与权重定义代价函数,在此基础上给出关系数据库分布式大数据集成冲突消解详细过程。实验结果表明,所提算法冲突识别和消解性能高。     

Public Auditing for Encrypted Data with Client-Side Deduplication in Cloud Storage

Storage auditing and client-side deduplication techniques have been proposed to assure data integrity and improve storage efficiency, respectively. Recently, a few schemes start to consider these two different aspects together. However, these schemes either only support plaintext data file or have been proved insecure. In this paper, we propose a public auditing scheme for cloud storage systems, in which deduplication of encrypted data and data integrity checking can be achieved within the same framework. The cloud server can correctly check the ownership for new owners and the auditor can correctly check the integrity of deduplicated data. Our scheme supports deduplication of encrypted data by using the method of proxy re-encryption and also achieves deduplication of data tags by aggregating the tags from different owners. The analysis and experiment results show that our scheme is provably secure and efficient.     

面向分布式存储的空间数据放置方法研究

目前,互联网中海量空间数据采用分布式存储,空间数据放置直接关系到数据访问效率.为了提高分布式存储中空间数据访问效率,提出了一种DHT-R数据放置策略,该策略将分布式哈希表（DHT）和R树相结合,按照分布式哈希表存储空间数据基本信息和索引地址,同时以R树型结构组织和存放空间数据,R树存储使得快速访问空间数据成为可能.实验发现,数据存取的可靠性较高,数据的吞吐时延也明显低于业界的阀值,DHT-R放置方法在大量访问压力下依然能良好的平衡和并发.