分布式存储中的再生码综述

分布式存储系统中通过引入冗余提高系统的可靠性,纠删码作为重要的冗余策略在分布式存储中得到越来越多的重视.分布式存储系统中,当某个存储节点失效后,需要引入新的节点来修复失效节点的数据.传统纠删码冗余策略在修复失效节点时需要传输的数据量较大近年来出现的再生码对传统纠删码进行改进以减少修复失效节点的带宽消耗.再生码引入网络编码的思想,在修复失效节点时,参与修复过程的节点首先将本节点内的数据作线性组合后再上传,最终修复带宽消耗最小 介绍了再生码的基本概念,然后介绍单节点修复再生码和合作修复再生码的编码策略,最后总结再生码的发展和研究方向     

基于链路带宽的分布式存储系统框架及动态负载均衡技术

针对在节点间进行数据传输、备份等操作时,不同节点间链路带宽将限制分布式存储系统的性能的问题,借鉴软件定义网络及云存储技术的基本思想,通过对控制流与数据流的分离,提出了一种基于链路带宽的分布式存储系统框架及动态负载均衡技术.所提出框架中,在分布式数据节点之外引入一个中心控制节点,该节点掌握全局网络视图,全局网络视图中既包括数据存储表记录存储数据的分布,又包括当前链路带宽情况.在用户读取数据时,根据数据存储表确定需要的数据存放于哪些数据存储节点,指派相应的数据存储节点根据路由表发送数据包,并实时监测网络中的链路带宽负载情况,及时调整数据的传输路径.仿真验证所提架构和算法可以有效解决海量数据在不同位置的分配调度,以及缩短用户对大量数据提取的响应时间及提升存储速率等问题.      

基于网络编码的多媒体云存储系统单节点修复算法

针对现有多媒体云存储系统单节点修复算法中,有限域大,编解码复杂度高,磁盘I/O开销大,存储开销与修复带宽开销不均衡等问题,基于网络编码提出一种多媒体云存储系统单节点修复算法.该算法将系统中节点已分组的多媒体文件数据进行分组存储,并将组内数据在GF(2)有限域上进行异或编码,当部分节点失效时,新生节点只要连接同组中2~3个未失效节点即可精确修复失效节点中的数据.理论分析与仿真实验结果表明:该算法可减小编解码与修复的复杂度,降低磁盘I/O开销;在相同条件下,该算法存储开销与基于最小存储再生码(minimum storage regeneration codes,MSR)算法的存储开销一致,而修复带宽开销与最小带宽再生码(minimum bandwidth regeneration codes,MBR)算法接近.     

图的带宽的若干上界与下界

研究图的带宽的上界与下界.通过引进记号N~(r)(S)和δ(S),改进了Harper的层次宽度下界以及Chvatal的层次深度下界.另外,本文还得到一个新的带宽上界,进而推广了Chvatal的另一结果.     

一种新的基于PIM技术的MPP协处理器体系结构设计

图像处理算法的数据并行化有两种实现方案:一种是共享存储器方案,另一种是分布存储器方案.目前,基本上都是采用共享存储器方案.共享存储器方案的一套硬件对应一个存储字长,这样存储字长可以很长.但是,共享存储器方案存在芯片引出头问题.分布存储器方案又称为PIM方案,是将存储器与处理元PE集成到一个芯片中.针对现代媒体处理中存在的数据带宽、数据存储延迟、芯片集成度和引出头等问题,提出了一种基于PIM技术的MPP协处理器体系结构.该协处理器体系结构在芯片引出头、数据带宽、数据存储延迟、低功耗等方面取得了技术创新.     

五维三元最优线性码的局部度

局部修复码(Locally Repairable Code)中每一码字的任意位发生错误可通过读取此码字的其它若干位予以修复。在应用了局部修复码的分布式存储系统中,任意节点发生损坏时均可通过读取较小数量的其它节点对其进行修复,给出了一些可以达到较小局部修复度的码的生成矩阵的构造方法。通过对相应最优码参数的分析,采用删截、扩展,并置等方法构造出了五维三元最优码的生成矩阵,分析了生成矩阵列向量之间的线性相关关系后,得到了许多具有较小局部度的五维三元最优码。     

一种基于博弈论的对等网络带宽分配方案

为解决对等网络中多个异构下载节点从多个源节点下载的带宽分配问题,提出一种基于注水算法及能够容纳自私节点的对等网络带宽分配方案.以节点的满意度为效益函数、以整个网络总效益达到最大为目标,设计一种带宽分配方案,使得未达到其接收能力的下载节点的带宽水面高度保持相平,并且使下载节点在源节点带宽耗尽时进行带宽水面高度的转换.证明了这一方案是约束优化问题的最优解.利用博弈论中的Vickrey-Clarke-Groves(VCG)算法,通过支付函数,设计一种容纳自私节点的机制.利用这种机制,节点只有诚实报告其接收能力,才能使其自身效益最大.     

云存储系统的能耗优化节点管理方法

为节省云存储系统的能耗,文中考虑在云存储系统利用率较低时关闭部分存储节点.为了保证部分存储节点关闭时数据的可用性,针对如何选择云存储系统中可以关闭的节点集合问题,设计了基于辅助节点的贪心算法,并针对异构云存储系统的能耗优化问题,提出了面向异构云存储系统的能耗优化贪心算法.模拟实验结果表明,文中提出的面向异构系统的能耗优化贪心算法能较好地降低异构云存储系统的能耗,其性能明显优于一般的贪心算法,从而验证了所提算法的有效性.     

基于柯西矩阵的最小带宽再生码研究

节点的失效在大规模分布式存储系统中是常见现象.为防止数据的丢失,系统必须解决失效节点的自修复问题.利用再生码可以在无需下载整个源文件的情况下即可恢复出失效节点的数据,从而能有效节省修复带宽.本文利用柯西矩阵作为编码矩阵,构造了一种精确修复最小带宽再生码(ER-MBR),可以精确修复失效节点,并通过实例演示了在有限域上进行编码解码及节点修复的过程.理论分析和仿真实验都表明利用柯西矩阵作为编码矩阵,其算法的运算效率优于利用范德蒙矩阵或者随机矩阵.     

纠删码存储系统中数据修复性能优化研究进展与展望

纠删码被广泛应用于分布式存储系统以保存在线应用的用户数据。当部分存储节点发生故障时,纠删码存储系统需使用新的存储节点替换原有失效节点,并恢复失效的用户数据。由于需要执行数据编码、传输和读写等操作,纠删码存储系统通常需要消耗较长的时间执行数据修复操作,存储的用户数据将长期处于不可靠状态。为了保障存储数据的可靠性,研究学者提出了多种数据修复性能优化方案以减少数据修复时间。本文介绍了数据修复性能优化问题,分析了各个应用场景下主要的性能瓶颈和性能优化难点,总结了提升数据修复性能的主要技术方案和研究工作,并对数据修复性能优化研究领域的未来发展方向进行展望,为纠删码存储系统设计人员准确选择适合特定应用场景的数据修复性能优化方案提供思路。     

基于多维立方体网络的内存存储系统设计与研究

针对OLDI应用的联动特性和低延迟、高带宽、高吞吐量等需求,介绍了一种新型的内存存储系统Mem-ory X,其核心机制是掌握存储在内存存储节点中的数据.将数据备份到网络磁盘中的大量存储节点,然后以相对较低的存储成本实现高I/O性能和故障恢复,支持大数据处理的能效优化.     

一种基于多媒体流平滑磁盘系统带宽的方法

针对多媒体数据量变化范围大、变化频率高,存储系统读取流数据时会造成读取速率不断变化,影响多媒体流的服务质量的问题,采用存储带宽平滑方法,根据特定多媒体流本身的特点对多媒体流进行平滑,有效地降低多媒体流数据本身对系统的影响,提高了系统的服务质量.     

局部修复码综述

分布式存储系统因其海量存储能力、高扩展性和低成本等特性受到广泛开发和使用.如何有效保障数据可靠性也成为当前分布式存储系统重点关注的问题之一.局部修复码是目前广泛使用的保障数据可靠性的手段.介绍国际上目前比较热门的三类局部修复码,即经典的局部修复码、再生码和极大局部修复码,并重点介绍这三类码的最优性质.     

基于节点簇的P2P随机漫步搜索

以Gnutella为代表的P2P系统通常会呈现复杂的网络结构,为此,文中提出了一种基于节点簇的随机漫步搜索算法.该算法利用节点簇来存储系统中文件的索引,通过将搜索过程限制于节点簇内部来提高搜索性能.基于数学模型的理论分析,文中给出了搜索性能上下界的数学描述.实验结果表明:搜索性能与簇的阈值c密切相关;c的建议值为系统中节点最大度值的一半,与普通随机漫步相比,此时稀有文件的搜索效率至少可以提高250%,文件索引的传输和存储代价可以减少一个数量级;该算法具有索引存储代价非常低、搜索效率高、易于实现和部署的优点.     

有限元网格节点编号优化方法

本文采用的有限元网格节点编号优化方法是一种归纳、演绎方法 ,通过对节点编号最优的典型网格的各种拓扑特性进行分析 ,从中归纳出三条规律 ,然后再利用该规律去反复调整节点编号未优化的网格 ,直至网格中的带宽值不变为止。算例的结果表明 ,对于任意划分的有限元网格 ,利用该方法对节点重新编号 ,可得到较小的半带宽值 ,节省了计算机的内存空间 ,提高了计算效率。     

基于节点簇的非结构化P2P搜索策略

以Gnutella为代表的非结构化P2P系统通常会呈现复杂网络结构,针对其度分布服从幂律分布的特点,提出一种基于节点簇的搜索策略。该策略利用节点簇来存储系统中文件的索引,通过将搜索过程限制于节点簇内部来提高搜索性能。然后,基于数学模型的理论分析给出了搜索性能上下界的数学描述。实验结果表明,搜索性能与簇的阈值c密切相关;c的取值范围灵活性很大,此时稀有文件的搜索效率至少可以提高一倍以上,文件索引的传输和存储代价可以减少一个数量级。该策略不需要学习全局拓扑知识,具有稳定并且易于实现和部署的优点。     

采用弧映射的双层对象分布算法

针对由混合存储设备组成的对象存储系统中数据对象分布时间开销过大的问题,提出了支持权值和副本机制的弧映射双层对象分布(TMHR)算法。该算法利用存储系统批量扩容、删除的特点,将存储系统内存储节点划分为多个子集群,采用可扩展的子集群哈希(SHFC)算法将数据对象按概率分布到子集群上以保证分布的公平性;在子集群内采用随机置换算法将数据对象等概率分布到节点上以降低数据对象分布时间开销。实验结果表明:与一致性哈希算法和随机切片算法相比,TMHR算法的数据对象分布时间分别缩短了20%和28%;数据对象的分布也更加接近理论情况;在存储节点数变化后,存储系统能够迁移较少的数据对象以进行重新均衡。该算法满足公平性、高效性、简洁性和自适应性,可以降低存储系统I/O路径的时延,提高存储系统性能,较适用于异构混合对象存储系统。     

一种Ceph块设备跨集群迁移算法

在虚拟机全系统在线迁移中,由于镜像文件数据量巨大,对整个迁移过程的效率有着关键的影响,因此优化迁移时间,成为虚拟机迁移技术的研究热点.对于以分布式存储系统(其中较为常见的是Ceph块设备)作为镜像文件存储方式的虚拟机进行迁移时,镜像文件需要经过源存储节点到源计算节点,再到目的计算节点,最后到目的存储节点.这种方式忽略了底层存储系统特点可以给迁移带来的好处,针对上述问题,提出了一种Ceph块设备跨集群迁移算法,采用源存储节点并行向目的存储节点迁移数据的方式,利用了存储节点的计算和网络能力.实验表明,该算法加快了迁移速度,同时适当增加存储节点数目能进一步提升算法效率.     

多P2P覆盖网络的带宽分配方法

针对多频道对等(P2P)视频直播系统中会出现多个P2P覆盖网络竞争节点带宽资源的问题,提出一种基于多P2P覆盖网络的带宽分配方法.按照不同的观看频道集合并根据需求为各个节点组提供参与频道中的带宽分配策略;以分组带宽分配策略为基础构建和维护与带宽分配相适应的节点伙伴关系和网络拓扑结构;P2P节点数据请求的响应策略在相应的伙伴节点中选择服从带宽分配策略的候选伙伴节点来传输数据,通过节点响应行为完成带宽分配.实验结果表明,所提方法能够使系统的可用带宽在不同频道中按照需求比例进行分配,与随机策略相比可以减少带宽不足频道的数据平均到达时间,加快用户的平均下载速度.     

大数据存储中的容错关键技术综述

不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术.文中介绍了数据容错的两种基本策略：复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等.