一种基于云存储系统的自适应数据碎片恢复优化方法

针对基于重删后云存储系统中数据碎片引起恢复性能降低的问题,采用自适应碎片分组设计了一个云存储系统中重删后优化数据恢复的处理方法.该方法不使用固定大小的读窗口,根据数据块地址关联性分成可变大小的逻辑组,旨在选择有限数量的容器,为备份提供更多不同的引用块,减少所选容器中重复或未引用块的数量,减少磁盘访问,以精确识别和删除碎片数据,提升数据恢复性能以及重删率.实验结果表明,该方法在提高恢复性能的同时减少重写数据量.      

云存储环境下分组校验纠删码冗余算法研究

在海量云存储系统中,提高存储利用率,降低冗余方案的计算复杂度是热点研究问题.分组校验纠删码冗余算法能够减少在数据重构时所需的纠删码片段,从而减少对存储网络带宽以及系统I/O的需求,降低存储系统的负载.介绍了分组校验纠删码的编码规则,参数设置,通过实验分析算法具有良好的容错能力与空间利用率,能够满足云存储系统需要的编解码性能.     

一种基于源端数据重删的数据备份和恢复系统设计与实现

针对当前源端数据重删技术中,数据重删效率低、计算指纹耗时长以及频繁操作数据库耗时的问题,设计并实现了一种采用基于源端数据重删技术的数据备份与恢复系统.系统通过在客户端预先将数据流进行分段并采用预处理环形队列进行存储,基于可变分块对数据段进行分块,整个处理过程并发执行,因此该预处理并发计算模块有效缩短了计算时间,而服务端通过用容器存放临近的数据块与索引信息,设计以容器为单位的多级缓存,明显提高缓存命中率.此外,通过使用布隆过滤器与多级缓存减少了数据库的操作频率.仿真实验表明该系统能有效提高数据备份与恢复效率.     

对象存储系统的合作缓存方案

结合对象存储系统的数据访问模式,综合设计客户端和元数据服务的缓存,构造存储系统的合作缓存方案.该方案将客户端和元数据服务器的缓存作为整体进行设计,以达到提高缓存利用率的目的;通过缓存准入策略合理选择数据传送模式,减少数据传送的通信量;同时,合作缓存方案根据数据对象的大小、访问成本和网络负载动态地调整缓存策略,提高存储系统的服务质量.实验显示,合作缓存方案能较好地适应不同的工作负载,有效提高了系统的输入输出性能.     

按序选取的并行存储系统数据分布方式研究

针对采用轮转方式的并行存储系统在增加新存储节点后的重均衡操作中移动数据量大、资源消耗高的问题,提出了按序选取的数据分布方式.它通过多次模拟数据重均衡操作来完成并行存储系统的数据分布,从而使得系统更易于节点扩展.基于此,又提出了优化按序选取方式,这样可以通过改变数据抽取规则来提高按序选取方式的访问并行度.理论分析和模拟实验表明,采用所提方式的并行存储系统,数据重均衡操作均可达到零无效移动率,从而最大程度地减少数据的移动量,降低系统的资源耗费.     

一种副本复制和纠错码融合的云存储文件系统容错机制

在云存储技术中,云存储文件系统的数据容错十分重要,直接关系到整个系统的可用性。该文通过对有中心的分布式文件系统进行分析,提出了双机热备的元数据管理节点容错技术和块副本与基于纠删编解码算法相结合的存储节点容错技术,为云存储文件系统设计了双重保险的容错机制。实验结果表明,该机制大大提高了云存储系统的可靠性,并提高了磁盘空间利用率。     

重复数据删除中的无向图遍历分组预测方法

针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法.该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量.对于索引表缓存命中率低、系统性能差的问题,采用了图遍历分组方法予以解决,根据数据块访问序列特征信息建立无向图并进行分析,基于分析结果对索引项进行分组,并以组进行缓存替换,从而提高缓存命中率和系统性能.实验结果表明,基于缓存预取原理和无向图遍历分组,在将缓存设置为索引表大小的10％时,重复数据删除存储系统最大存储容量比原有方法提高了7.5倍,缓存命中率由不进行索引项分组时的47％提高到87.6％.     

纠删码存储系统中数据修复性能优化研究进展与展望

纠删码被广泛应用于分布式存储系统以保存在线应用的用户数据。当部分存储节点发生故障时,纠删码存储系统需使用新的存储节点替换原有失效节点,并恢复失效的用户数据。由于需要执行数据编码、传输和读写等操作,纠删码存储系统通常需要消耗较长的时间执行数据修复操作,存储的用户数据将长期处于不可靠状态。为了保障存储数据的可靠性,研究学者提出了多种数据修复性能优化方案以减少数据修复时间。本文介绍了数据修复性能优化问题,分析了各个应用场景下主要的性能瓶颈和性能优化难点,总结了提升数据修复性能的主要技术方案和研究工作,并对数据修复性能优化研究领域的未来发展方向进行展望,为纠删码存储系统设计人员准确选择适合特定应用场景的数据修复性能优化方案提供思路。     

MassCloud云存储系统构架及可靠性机制

为了解决分布式存储系统的存储容量、可靠性以及效率问题,首先提出了高可靠性海量云存储系统MassCloud的分层体系结构,并在此构架的基础上提出了基于纠删码机制的快速编解码算法--双表法,以及基于纠删码、副本冗余和RAID技术相结合的MasseCloud可靠性保证策略,并且进行了测试与分析.结果表明:双表法具有较高的编解...     

指纹极值的双层重复数据删除算法

为提高重复数据删除算法的重删率,减少CDC算法边界硬分块,使重复数据删除率和性能之间得到平衡,提出了指纹极值的双层重复数据删除算法(DDFE).首先在第一层重复数据删除模型中使用较大的分块大小,保证重删操作的速度;然后将第一层模型重删后的不重复数据输入到分块大小较小的第二层重复数据删除模型,保证重复数据删除的精度.数据分块时,在可容忍范围内,提出了指纹极值的分块算法,减少了硬分块对重复删除的影响.在多种分块组合下的实验结果表明,与任何传统的单层重复数据删除算法相比,DDFE能够较好地防止硬分块、平衡性能和时间,在大量小数据块和频繁变化的数据间有效地消除更多的重复数据.     

BDCode:一种面向大数据存储系统的纠删码算法

针对含有大量数据的大数据存储系统,提出了一种基于编码技术的面向大数据备份的优化算法(BDCode).该算法通过对不同编解码服务器设置不同的虚拟节点存储组来保证系统的可用性,节点和数据块的并行解码计算提高了系统中数据损坏时的恢复效率.实验表明,所提出基于编码的大数据系统备份机制可以提高系统的存储利用率,并行解码方式的引入能加速减少数据损坏时的恢复时间,并能达到零号的系统负载均衡;此外不同的用户设置不同的编码参数,增加了大数据系统的鲁棒性.实验通过设置不同的数据块m和校验块k的比例来提升利用率,并行解码速度相比以前的串行提高近两倍.使用BDCode比CRS编码效率平均高36.1%,解码效率平均高19.3%;比RS码编码效率平均高58.2%,解码效率平均高33.1%.     

基于多元增量分析的全网络在线异常检测方法

现有的全网络流量异常检测方法大多是离线方法或是对其进行数据更新的简单在线化改造,无法提供良好的在线检测性能.以全网络多维流量数据为研究的数据源,采用多元增量分析的方法,提出一种非先验自适应的在线异常检测算法.该算法以增量的方式构建流量矩阵的常态模型,不需要特殊的训练数据和独立的训练阶段.采用仿真实验数据和骨干网Abilene的采集数据,并通过与现有广泛采用的离线和在线方法进行对比分析,结果表明该算法在保持较好的检测性能的基础上实现了全网络在线异常检测.     

重删环境下双 B-树索引性能优化研究

为了减少重删环境下磁盘访问次数,提高重删系统的读取性能,提出了一种基于双B-树的索引结构DBIS(Double B-tree Index Structure).DBIS由两种结构不同的B-树构成,B-tree-1通过优化B-树结构,提高检索效率;Btree-2则在B-树的基础上,结合改进的LRU算法构成优化的索引结构,提高了检索命中率.实验验证了DBIS的有效性和优越性,达到了对重复数据删除系统读性能优化的目的.     

采用弧映射的双层对象分布算法

针对由混合存储设备组成的对象存储系统中数据对象分布时间开销过大的问题,提出了支持权值和副本机制的弧映射双层对象分布(TMHR)算法。该算法利用存储系统批量扩容、删除的特点,将存储系统内存储节点划分为多个子集群,采用可扩展的子集群哈希(SHFC)算法将数据对象按概率分布到子集群上以保证分布的公平性;在子集群内采用随机置换算法将数据对象等概率分布到节点上以降低数据对象分布时间开销。实验结果表明:与一致性哈希算法和随机切片算法相比,TMHR算法的数据对象分布时间分别缩短了20%和28%;数据对象的分布也更加接近理论情况;在存储节点数变化后,存储系统能够迁移较少的数据对象以进行重新均衡。该算法满足公平性、高效性、简洁性和自适应性,可以降低存储系统I/O路径的时延,提高存储系统性能,较适用于异构混合对象存储系统。     

基于SOA的办公自动化管理系统设计

基于SOA理论,本文以办公自动化管理系统的设计为例,运用面向服务的分析与设计方法（SOAD）和Web服务技术,利用可视化统一建模语言UML和面向服务的统一过程（SOUP）进行分析和建模。系统应用以下技术提高整体性能：采用Web缓存技术加快系统的响应时间,采用数据库连接池技术提高数据库的存储访问效率,采用同步令牌机制Token避免重复提交,有效减少了冗余数据的产生等等。     

面向高性能计算的混合存储系统设计与实现

提出了一种采用RAM-disk的混合存储系统,在计算节点的并行文件系统的元数据服务器和对象存储服务器组件中设置不同用途的RAM-disk,用于缓存各种访问模式的文件并提高系统的读写性能.结果表明,采用RAM-disk的混合存储系统可以明显提高系统的读写性能,同时可提高系统的可用性和可维性.     

一种提高云存储中小文件存储效率的方案

针对基于HDFS(Hadoop distribated file system)的云存储系统中小文件存储效率不高的问题,采用序列文件技术设计了一个云存储系统中小文件的处理方案.该方案利用多维属性决策理论,综合读文件时间、合并文件时间及节省内存空间大小等指标,得出合并小文件的最优方式,能够在消耗的时间和节省的内存空间之间取得平衡;设计基于层次分析法的系统负载预测算法对系统负载进行预测,从而实现负载均衡的目的;利用序列文件技术对小文件进行合并.实验结果表明,在不影响存储系统运行状况的基础上,该方案提高了小文件的存储效率.     

基于生存期的云存储元数据缓存算法

针对元数据管理子系统成为云存储中性能瓶颈的问题,研究了云存储元数据缓存算法.在分析元数据被访问特性的基础上,提出了元数据缓存生存期的概念;依据云存储的特性设计了元数据缓存生存期的计算规则,给出了基于生存期的元数据调出策略和元数据缓存写回策略,提高了云存储元数据管理的效率;分析了基于生存期元数据缓存算法适应用户访问特性的能力,讨论了使用基于生存期元数据缓存算法后如何保证元数据一致性的问题;使用基于生存期元数据缓存算法,实现了云存储元数据缓存原型系统,并使用通用数据集和测试工具进行了测试与分析.结果表明,该算法能提高云存储15％的I/O速度和16％的操作处理速度.     

云存储中基于相似性的客户-服务端双端数据去重方法

数据去重是云存储系统提高存储率的主要手段之一,为解决查重过程中因数据量大而导致的索引I/O瓶颈和数据块指纹冲突问题,从而提高查重效率和去重准确度,提出了一种快速且安全的数据去重方法。该方法采用客户-服务器端双重检测框架,基于滑动窗口技术和Rabin指纹算法并根据文件内容确定数据块边界,摒弃传统的MD5和SHA1算法,应用第3代安全哈希函数SHA3来计算数据块的指纹。提出两级索引策略,基于数据相似性原理来加快索引查找和比对速度。试验结果表明,客户-服务器双重检测框架能有效提高系统查重效率,基于SHA3的数据块指纹计算更加精确,能有效提高去重准确度。     

一种基于F-HMIPv6的混合无缝切换算法

切换性能是影响移动Wi MAX服务质量的关键因素之一。提出一种混合无缝切换算法(hybrid seamless handover,HSH)。研究结果表明:HSH在F-HMIPv6算法的基础上集成MSCTP协议进行子网间快速切换,有效地消除数据分组的隧道传输及HA绑定更新过程所引起的服务中断;采用快速重复地址检测(F-DAD)机制可减少DAD产生的服务中断时间;在基站中设计业务调度缓存机制减少了子网间切换时因快速机制引起的丢包;结合CIP协议实现子网内链路变换的软切换方式,有效降低了服务中断时间和丢包率;与F-HMIPv6相比,HSH的子网间切换延迟降低近30%,子网内切换时的丢包数减少近60%。