采用弧映射的双层对象分布算法

针对由混合存储设备组成的对象存储系统中数据对象分布时间开销过大的问题,提出了支持权值和副本机制的弧映射双层对象分布(TMHR)算法。该算法利用存储系统批量扩容、删除的特点,将存储系统内存储节点划分为多个子集群,采用可扩展的子集群哈希(SHFC)算法将数据对象按概率分布到子集群上以保证分布的公平性;在子集群内采用随机置换算法将数据对象等概率分布到节点上以降低数据对象分布时间开销。实验结果表明:与一致性哈希算法和随机切片算法相比,TMHR算法的数据对象分布时间分别缩短了20%和28%;数据对象的分布也更加接近理论情况;在存储节点数变化后,存储系统能够迁移较少的数据对象以进行重新均衡。该算法满足公平性、高效性、简洁性和自适应性,可以降低存储系统I/O路径的时延,提高存储系统性能,较适用于异构混合对象存储系统。     

高可靠可扩展PC集群存储系统的设计

针对当前网络存储技术存在的存储服务瓶颈问题,介绍了一种高可靠可扩展PC集群存储系统的设计方案,并提出了对各个存储结点所挂磁盘的分组方案,对大小数据对象分别采用不同的放置、定位技术,重点讨论了小数据对象的伪随机放置算法,该算法在系统扩展时也能够有效地定位数据对象.另外通过对数据对象的有效复制,使系统具有很好的容错性.     

结合URE探讨医疗数据存储中RAID的选用

通过分析磁盘故障率和磁盘URE的特点,分析RAID技术的性能特点,讨论医院业务系统中数据存储容错技术的选择,总结RAID选择的一般性结论.     

基于网络编码的多媒体云存储系统单节点修复算法

针对现有多媒体云存储系统单节点修复算法中,有限域大,编解码复杂度高,磁盘I/O开销大,存储开销与修复带宽开销不均衡等问题,基于网络编码提出一种多媒体云存储系统单节点修复算法.该算法将系统中节点已分组的多媒体文件数据进行分组存储,并将组内数据在GF(2)有限域上进行异或编码,当部分节点失效时,新生节点只要连接同组中2~3个未失效节点即可精确修复失效节点中的数据.理论分析与仿真实验结果表明:该算法可减小编解码与修复的复杂度,降低磁盘I/O开销;在相同条件下,该算法存储开销与基于最小存储再生码(minimum storage regeneration codes,MSR)算法的存储开销一致,而修复带宽开销与最小带宽再生码(minimum bandwidth regeneration codes,MBR)算法接近.     

一种Ceph块设备跨集群迁移算法

在虚拟机全系统在线迁移中,由于镜像文件数据量巨大,对整个迁移过程的效率有着关键的影响,因此优化迁移时间,成为虚拟机迁移技术的研究热点.对于以分布式存储系统(其中较为常见的是Ceph块设备)作为镜像文件存储方式的虚拟机进行迁移时,镜像文件需要经过源存储节点到源计算节点,再到目的计算节点,最后到目的存储节点.这种方式忽略了底层存储系统特点可以给迁移带来的好处,针对上述问题,提出了一种Ceph块设备跨集群迁移算法,采用源存储节点并行向目的存储节点迁移数据的方式,利用了存储节点的计算和网络能力.实验表明,该算法加快了迁移速度,同时适当增加存储节点数目能进一步提升算法效率.     

廉价磁盘冗余阵列组织结构分析

廉价磁盘冗余阵列（RAID）作为二级存储系统,具有高吞吐量和错误恢复能力,因此在大规模存储系统中占统治地位。RAID级别众多．采用不同的数据条带化和冗余方法,容易导致设计者和使用者对一系列选项产生迷惑。针对这个问题,本文总结了RAID的核心思想,描述了七种磁盘阵列组织结构和它们的优点缺点,并对它们的可靠性、性能和成本进行分析。     

数据分级存储系统中数据分级算法研究

随着数据存储规模的海量增长,降低存储系统的总拥有成本,提高数据访问效率是海量数据分级存储系统的关键.在分析了两种典型的数据分级算法后,结合两种算法的优点对算法进行了改良,提出了基于数据访问频率和数据设备依赖度的自动分级算法,实验结果验证了算法的有效性和数据分级算法具有较高的准确率.     

浅析磁盘冗余阵列的数据恢复

随着RAID技术的发展和产品成本的不断下降,应用RAID存储数据的用户越来越多。而采用RAID技术存储的数据出现了故障如何进行恢复成了好多用户的问题,本文从磁盘冗余阵列的原理出发阐述了RAID出现故障后的数据恢复。     

浅谈海量数据存储中的几个问题

近些年,随着NAS,SAN等存储技术日益发展和完善,容量达到TB甚至PB级的海量存储系统已经成为现实。本文介绍了海量数据的基本特点,分析了海量数据存储的基本原则,根据特点及原则提出了海量数据存储的实现方法,最后简述了海量数据存储的发展趋势。     

磁盘冗余阵列技术解析

采用磁盘冗余阵列(Redundant Array of Disks 简称 RAID)技术存储数据,可以实现不同等级的冗余和错误修复。RAIDO 只是简单地增加了存储的容量和数据的操作速度,RAIDI 实现了数据的镜像备份,RAID3则具有效据的检错和纠错功能。各种 RAID 技术的结合是一个符合服务器大容量硬盘、数据安全性和服务器运行速度等综合要求的廉价解决方案。     

可快速响应的虚拟三级存储系统RAT

利用SCST中间驱动层,将磁盘阵列与磁带虚拟为一种有别于虚拟磁带库的新型三级虚拟存储系统,将用户文件分割存放在阵列和磁带库上,在服务用户请求时,首先由阵列快速响应用户请求的前一部分数据,同时磁带库执行机械操作准备剩余数据,以屏蔽磁带库响应等待时间,并利用磁盘阵列数据冗余特性确保数据可靠保存,形成海量、快速、可靠的第三级存储子系统.经对比测试该系统用于备份应用时,其备份恢复操作的初始响应时间显著小于传统磁带库系统.     

TSHOVER:A Novel Coding Scheme for Tolerating Triple Disk Failures in RAID/DRAID

This paper presents a novel method, called TSHOVER, for tolerating up to triple disk failures in RAID/DRAID architectures or others reliable storage systems. TSHOVER is two-dimensional code, which employs horizontal code and vertical code at the same time with simple exclusive-OR (XOR) computations. This paper shows the new step ascending concepts used in encoding, and it has the capability of realizing fault tolerance. TSHOVER has better data recovery ability to those disk network storage systems with relatively more dynamic changes in the number of disks. Compared with RS and STAR code, TSHOVER has better encoding performance. When updating a data strip, only 6 XOR operations are needed. Both experimental results and theoretical analyses show that TSHOVER has better performance and higher efficiency than other algorithms.     

一种提高磁盘阵列重建效率的缓存替换算法

磁盘的高故障率导致磁盘阵列重建成为数据处理中心一个经常性发生的事件.为了提高磁盘阵列的重建效率,提出了一种新的磁盘阵列缓存替换策略,即分支刷新算法,从缓存管理的角度加快磁盘阵列的重建过程.分支刷新算法淘汰脏数据到后备磁盘阵列时,优先淘汰重建区域附近的脏数据块,从而减少了磁头在重建区域和淘汰区域之间的移动开销,尽可能地保证重建过程的顺序性.仿真实验结果表明:对比传统的最近最少使用缓存淘汰算法,分支刷新算法显著地提高了磁盘阵列的重建效率.通过对4种负载的回放测试,分支刷新算法平均减少了41.6%的磁盘阵列重建时间和16.1%磁盘阵列重建过程的平均用户响应时间.     

总线复用型存储器阵列系统数据记录速度模型

为提高总线复用型存储器阵列的性能 ,在小型计算机系统接口总线标准的基础上 ,建立了总线复用型存储器阵列的数据记录速度模型 ,讨论了系统的工作流程、数据记录速度、阵列规模确定以及缓存容量对系统性能影响等阵列系统设计和性能评估中的关键内容 ,提出了优化设计方法。实验研究证明了 :阵列规模、存储设备缓存容量、SCSI(sm allcom puter system interface)适配器的性能和存储设备的性能直接影响总线复用型阵列系统数据记录速度     

一种RAID评价新方法

引入时间冗余度对冗余磁盘阵列（ＲＡＩＤ）并行存储系统的速度特性给予直观描述，分析讨论为提高可靠性而付出的冗余时间开销程度，探索和建立一种ＲＡＩＤ评价新方法。这种方法以解析表达式给出时间冗余度与阵列结构特性参数间的关系，一方面可用作估计系统的带宽、比较不同系统的速度特性；另一方面可用以指导系统的优化设计。     

新型高可靠磁盘阵列研究

为提高磁盘阵列的可靠性提出采用扩展海明码构造阵列存储数据，形成一种高可靠磁盘阵列──ＲＡＩＤ７．充分利用磁盘的ＥＣＣ检错指示和扩展海明码的纠１检２能力实现ＲＡＩＤ７的容错功能，可有效地提高磁盘阵列的数据有效性和系统可靠性     

简单树结构存储系统数据分块标准及其证明

为解决传统磁盘阵列技术受系统总线与设备通道制约的问题,采用树结构和单元控制器构建了新型的存储系统.在树结构存储系统的基础上,通过对简单树结构存储系统数据分块方式的定义、推论,以及冲突系数的证明,给出了简单树结构存储系统的数据分块标准.结果证明:简单树结构存储系统数据分块标准能最大程度降低存储系统有效冲突系数,提升存储系统性能.     

集群式VOD系统的视频数据存储技术研究

在采用层次化存储的并行VOD系统中,若将视频文件进行拆分并把它打散存储在各个存储单元,将获得更高的磁盘利用率.在我们提出的集群式并行视频服务器结构中,数据节点的独立性很强,为提高数据的并发度、负载平衡及容错性,本文提出了一种类似RAID5结构的独立冗余数据节点阵列RAIDN,并讨论了它的容错机制.     

可快速定位的视频流媒体大数据存储系统

根据流媒体大数据的特点及其在检索定位、存储容量和速度上的局限性,提出了一种新型的视频流媒体大数据以帧为单位的存储架构;设计了与之相适应的硬件存储阵列系统架构和数据管理系统。重点研究了利用现有IDE硬盘设计形成存储视频流媒体大数据的控制器和硬盘存储阵列系统的结构。利用本文设计的存储阵列结构,一个具有n个硬盘的阵列,在实现n倍扩容的同时可以实现n倍提速;并且可以实现快速定位到帧。系统已经在Xilinx的XUPV5_LX110T开发平台通过验证。