一种Ceph块设备跨集群迁移算法

在虚拟机全系统在线迁移中,由于镜像文件数据量巨大,对整个迁移过程的效率有着关键的影响,因此优化迁移时间,成为虚拟机迁移技术的研究热点.对于以分布式存储系统(其中较为常见的是Ceph块设备)作为镜像文件存储方式的虚拟机进行迁移时,镜像文件需要经过源存储节点到源计算节点,再到目的计算节点,最后到目的存储节点.这种方式忽略了底层存储系统特点可以给迁移带来的好处,针对上述问题,提出了一种Ceph块设备跨集群迁移算法,采用源存储节点并行向目的存储节点迁移数据的方式,利用了存储节点的计算和网络能力.实验表明,该算法加快了迁移速度,同时适当增加存储节点数目能进一步提升算法效率.     

局部修复码综述

分布式存储系统因其海量存储能力、高扩展性和低成本等特性受到广泛开发和使用.如何有效保障数据可靠性也成为当前分布式存储系统重点关注的问题之一.局部修复码是目前广泛使用的保障数据可靠性的手段.介绍国际上目前比较热门的三类局部修复码,即经典的局部修复码、再生码和极大局部修复码,并重点介绍这三类码的最优性质.     

一种基于Erasure code技术的跨域文件存储系统

在异构的跨域网络环境中,实现一种基于Erasure Code技术的跨域安全文件存储系统。在域内由域服务器、目录存储节点及基础存储设施组成。域间在形成跨域的信任联盟的同时建立分布式跨域存储网络。跨域的文件容灾采用ErasureCode文件编码及两级的文件目录结构并采用DHT方式进行目录管理。测试结果表明,该存储系统具有较高的跨域文件存储可靠性、安全性及便捷性。     

2类最优局部修复码的构造

局部修复码可以提高分布式存储系统中失效节点的修复效率,是分布式存储编码领域的研究热点。文章研究最优局部修复码的构造,利用二元常重量码构造了两类矩阵,并以这两类矩阵作为校验矩阵,构造了局部性为r、最小距离分别为d=5和d=6的两类最优局部修复码。     

分布式存储中的再生码综述

分布式存储系统中通过引入冗余提高系统的可靠性,纠删码作为重要的冗余策略在分布式存储中得到越来越多的重视.分布式存储系统中,当某个存储节点失效后,需要引入新的节点来修复失效节点的数据.传统纠删码冗余策略在修复失效节点时需要传输的数据量较大近年来出现的再生码对传统纠删码进行改进以减少修复失效节点的带宽消耗.再生码引入网络编码的思想,在修复失效节点时,参与修复过程的节点首先将本节点内的数据作线性组合后再上传,最终修复带宽消耗最小 介绍了再生码的基本概念,然后介绍单节点修复再生码和合作修复再生码的编码策略,最后总结再生码的发展和研究方向     

纠删码存储系统中数据修复性能优化研究进展与展望

纠删码被广泛应用于分布式存储系统以保存在线应用的用户数据。当部分存储节点发生故障时,纠删码存储系统需使用新的存储节点替换原有失效节点,并恢复失效的用户数据。由于需要执行数据编码、传输和读写等操作,纠删码存储系统通常需要消耗较长的时间执行数据修复操作,存储的用户数据将长期处于不可靠状态。为了保障存储数据的可靠性,研究学者提出了多种数据修复性能优化方案以减少数据修复时间。本文介绍了数据修复性能优化问题,分析了各个应用场景下主要的性能瓶颈和性能优化难点,总结了提升数据修复性能的主要技术方案和研究工作,并对数据修复性能优化研究领域的未来发展方向进行展望,为纠删码存储系统设计人员准确选择适合特定应用场景的数据修复性能优化方案提供思路。     

开放网络存储系统

为了减少运营和维护分布式存储系统的成本,分布式存储系统应该能够整合并利用开放网络闲散资源提供存储服务.因此,本文提出了基于开放网络资源的分布式存储系统.系统收集并整合网络存储资源来提供存储服务,采用垂直的设计思想来达到各模块之间的低耦合性,利用精确的数据定位算法来完成远程服务器数据的定位.测试结构证明:系统能够正常的与...     

基于虚拟磁盘块存储的分布式文件系统研究

研究了一种分两层构建分布式文件系统的方法,即首先在设备管理层提供一个块一级的分布式存储系统,然后在其上的文件系统层构建分布式文件系统.底层的分布式存储系统提供了块一级的分布界面,并且通过存储虚拟化技术将用户视图下的存储设备与真正的物理存储资源分离开来,从而为上层的文件系统屏蔽了底层存储系统的分布式特性.这种分层实现分布式文件系统的方法使得整个系统更加容易设计、实现以及优化,且在性能、缩放性和灵活性等方面与传统的在文件层中实现分布界面的方法相比具有很大的优势.     

基于云计算分布式无中心节点存储系统的设计研究

文章通过阐述在基于云计算平台中分布式无中心节点存储系统的重要性,提出了分布式无中心节点存储系统(Distributed uncenters node of saving system,DUNSS)的主要问题及其解决相关问题的技术实现.     

基于JXTA的P2P分布式存储系统的研究

分布式存储是P2P的一个重要研究方向。借助JXTA技术平台与内容管理服务（CMS）在网络信息存储和交换等方面优势,对P2P系统中的资源发现、防火墙穿越、通信安全和内容管理等问题进行了研究,在此基础上设计了一种基于JXTA的P2P分布式存储系统模型,并完成了该系统模型的编码工作,实现了基于JXTA平台的分布式存储功能。     

基于分布式PowerBuilder应用的协同交互式远程教学技术

讨论了基于Web的协同交互式远程教学的工作原理以分布式PowerBulilder应用程序的工作机制，提出一条反分布式PowerBuilder应用与Web技术结合，实现协同交互式远程教学途径和方法。其特点是后端数据库无关性和跨服务器、跨操作平台开发的高效性和可移植性。     

基于分布式架构的内容存储解决方案——以Bycast内容寻址产品为例

本文介了Bycast分布式内容存储系统,可以对企业与机构的存档信息进行快速安全访问.通过该系统构建的分布式存储环境为内容管理环境提供了新的参考.     

五维三元最优线性码的局部度

局部修复码(Locally Repairable Code)中每一码字的任意位发生错误可通过读取此码字的其它若干位予以修复。在应用了局部修复码的分布式存储系统中,任意节点发生损坏时均可通过读取较小数量的其它节点对其进行修复,给出了一些可以达到较小局部修复度的码的生成矩阵的构造方法。通过对相应最优码参数的分析,采用删截、扩展,并置等方法构造出了五维三元最优码的生成矩阵,分析了生成矩阵列向量之间的线性相关关系后,得到了许多具有较小局部度的五维三元最优码。     

基于柯西矩阵的最小带宽再生码研究

节点的失效在大规模分布式存储系统中是常见现象.为防止数据的丢失,系统必须解决失效节点的自修复问题.利用再生码可以在无需下载整个源文件的情况下即可恢复出失效节点的数据,从而能有效节省修复带宽.本文利用柯西矩阵作为编码矩阵,构造了一种精确修复最小带宽再生码(ER-MBR),可以精确修复失效节点,并通过实例演示了在有限域上进行编码解码及节点修复的过程.理论分析和仿真实验都表明利用柯西矩阵作为编码矩阵,其算法的运算效率优于利用范德蒙矩阵或者随机矩阵.     

基于对象存储的集群文件系统CFSlight设计与实现

在线存储以及数据密集型应用的发展,对信息存储性能的要求越来越高,分布式存储系统是应对数据存储需求的重要研究方向.基于对象存储技术和Linux操作系统平台设计与实现的集群文件系统CFSlight,能够有效提高存储系统的可扩展性、I/O性能、可用性等技术指标,具有很好的发展前景.     

低维四元局部修复码的构造

在分布式存储系统中,当节点发生故障时,局部修复码能够提高修复效率.四元距离最优码易于实现,当给定码长和维数时,四元距离最优码的纠错能力优于二元距离最优码,但目前利用四元距离最优码构造四元局部修复码的研究存在很多空白.设四元距离最优码的维数2≤k≤4,由给定维数的四元Simplex码与MacDonald码以及少量距离最优码的生成矩阵,利用扩展、删除与并置等组合方法,设法构造出任意码长n≥k+1且局部度较小的四元局部修复码.确定出达到Singleton-Like界或Cadambe-Mazumdar界的四元局部修复码.证明除55个四元局部修复码外,其余的四元局部修复码都是局部度最优的.     

一类基于极图理论的局部修复编码的性质及构造

由于分布式存储系统大量使用廉价的磁盘构建,磁盘故障往往不可避免导致数据丢失.数据编码是一种防止数据丢失的必要容错机制.局部修复码与经典的最大距离可分(MDS)码相比,以一定的存储空间开销,能够有效提高数据修复的效率,降低网络带宽占用.为了降低该码的存储空间开销,本文研究以极图理论来描述该类编码.将存储节点与编码块抽象为二分图中的X、Y两类顶点,从而存储空间占用最小化等价于计算二分图中边数的极小值.这种求极值问题可以归结为Zarankiewicz问题.本文使用极值二分图对局部修复码进行建模与分析,并给出了相应的构造算法.     

基于MD5加密的Tornado码复制算法改进

基于Tornado码的复制算法具有编解码速度比较快、部分数据丢失时亦能被恢复的优点,但将该算法应用于分布式存储系统时,存在数据易被窃取、篡改的风险.为此,对基于Tornado码的复制算法提出了改进:1)引入加密机制,使数据即使被窃取时也不用担心泄密;2)对原始数据使用MD5算法产生数字指纹,当从分布式存储系统取回数据时,计算数字指纹并与本地的数字指纹对比,就可以判断数据是否被篡改.     

PPOcean分布式存储系统设计

文章设计了一种新型的P2P分布式存储系统——PPOcean。分布式存储系统是P2P技术的一个重要的研究领域,在分析现有研究的基础上,提出了在传输层上构建一个抽象的逻辑网络的架构。该系统采用了最近优先关键字路由算法、基于频率的动态副本管理以及激励管理等技术,提高了搜索速度,有效平衡了副本搜索次数,从而为用户提供了安全的数据访问。     

二元局部修复码的新构造

局部修复码(Locally Repairable Codes,简记为LRCs)是一种可以减小分布式存储系统修复带宽的新型纠删码。依据二元最优码的不同距离特性而改变校验矩阵的方法,提出了由奇距离局部修复码扩展构造偶距离局部修复码的一种方法;而且提出了通过删截的方法构造新的性能优良的局部修复码。利用这两种方法,构造出四组码长为n≤24,维数为k≥8且距离为6≤d≤8具有较小局部修复度的码,这些码都达到了C-M界。这些结果对于研究更大距离的二元最优局部修复码以及一般域上的最优局部修复码的构造,将具有借鉴意义。