分布式存储中的再生码综述

分布式存储系统中通过引入冗余提高系统的可靠性,纠删码作为重要的冗余策略在分布式存储中得到越来越多的重视.分布式存储系统中,当某个存储节点失效后,需要引入新的节点来修复失效节点的数据.传统纠删码冗余策略在修复失效节点时需要传输的数据量较大近年来出现的再生码对传统纠删码进行改进以减少修复失效节点的带宽消耗.再生码引入网络编码的思想,在修复失效节点时,参与修复过程的节点首先将本节点内的数据作线性组合后再上传,最终修复带宽消耗最小 介绍了再生码的基本概念,然后介绍单节点修复再生码和合作修复再生码的编码策略,最后总结再生码的发展和研究方向     

云存储环境下分组校验纠删码冗余算法研究

在海量云存储系统中,提高存储利用率,降低冗余方案的计算复杂度是热点研究问题.分组校验纠删码冗余算法能够减少在数据重构时所需的纠删码片段,从而减少对存储网络带宽以及系统I/O的需求,降低存储系统的负载.介绍了分组校验纠删码的编码规则,参数设置,通过实验分析算法具有良好的容错能力与空间利用率,能够满足云存储系统需要的编解码性能.     

大数据存储中的容错关键技术综述

不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术.文中介绍了数据容错的两种基本策略：复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等.     

基于Ceph的分布式存储系统跨机架修复技术分析

详细介绍了Ceph分布式存储系统的应用性质与层次结构,通过专业的研究与分析,将该类存储系统引入跨机架修复工作中,与修复技术充分融合。实践运用过程包括设计分级解码算法、优化纠删码、修复系统数据、验证试验方案和明确跨机架数据量等,在Ceph分布式存储系统的持续影响下,高效完成跨机架修复工作,确保各类机架使用质量。     

带有纠删或纠错性质的隐私保护信息检索方案

隐私保护信息检索(private information retrieval,PIR)是理论计算机科学和密码学领域中的经典问题之一。近年来,此问题与分布式存储系统相结合,产生了新的研究方向。考虑一个由N个服务器组成的分布式存储系统,以一定的编码方式存储了由M个文件组成的数据库,每个文件经由一个(N,K)-MDS码独立存储。PIR方案可以保障用户在数据库中检索某个文件时,任意T个可合谋的服务器无法得知所检索文件指标的任何信息。PIR方案的主要指标是PIR码率,即所检索文件的大小与总下载量的比值的最大值。在这一经典模型下已有最优PIR方案。在实际应用中,数据的传输必然面临着数据丢失、噪声甚至人为篡改等干扰。因此,本文考虑带有纠删纠错性质的PIR方案。在无纠删纠错性质的PIR方案的基础上,通过引入额外的编码方法对用户问询加以适当的冗余,得到了适用于纠删纠错模型的PIR方案,并精确计算出其PIR码率。     

基于多维立方体网络的内存存储系统设计与研究

针对OLDI应用的联动特性和低延迟、高带宽、高吞吐量等需求,介绍了一种新型的内存存储系统Mem-ory X,其核心机制是掌握存储在内存存储节点中的数据.将数据备份到网络磁盘中的大量存储节点,然后以相对较低的存储成本实现高I/O性能和故障恢复,支持大数据处理的能效优化.     

互联网数据可靠传输中前向纠错技术

前向纠错（Forward Error Correction)技术在互联网应用是近几年发展起来的一个新的研究课题，如何采用前向纠错技术保证大容量数据在互联网中实时可靠传输是目前的研究热点。以互联网中多址传输（Multicast)为例，介绍了纠删码在互联网中的应用前景，对目前采用的RS纠删码和Tornado码的编码方案进行了分析，比较两种方案在互联网应用中的优缺点，并提出了该技术今后研究的重点和方向。     

HDFS平台下基于纠删码的一种数据放置策略

数据的可靠性一直是云计算领域中的热点问题,副本备份机制作为保证数据可靠性的重要手段应用比较广泛.但随着副本个数的增加,该机制浪费存储空间这一缺陷暴露无遗.为节省存储空间,采用纠删码技术保证数据的可靠性,提出了在HDFS平台下基于纠删码的一种数据放置策略.该策略以HDFS为平台,结合HDFS的副本备份策略和纠删码技术,通过改进HDFS平台下原本的数据放置策略,使改进后的数据放置策略能够适用于基于纠删码和HDFS的云文件系统.     

基于纠删码的低时延卫星时隙ALOHA接入方式

对时隙ALOHA(slotted ALOHA,SA)进行卫星接入的冲突问题进行分析,提出了一种基于纠删码的时隙ALOHA接入方式.该方式将突发数据等分并以包为单位编码,使生成的编码包序列能够通过纠删功能恢复冲突数据包,以实现容忍时隙冲突、缩短接入时延的目的.针对编码策略选取的问题,研究了定长编码策略和喷泉码策略对接入性能的影响.仿真结果表明,基于纠删码ALOHA能有效改善用户接入的时延性能,且喷泉码策略和定长编码相比,性能更为优良.     

基于精确再生码的秘密共享方案

为解决云存储系统中数据安全性问题,利用精确再生码构造一种新的(t,n)门限秘密共享方案。方案由子秘密的分发、原始秘密的恢复和子秘密丢失者的数据重建共3种算法组成。子秘密的分发就是将原始秘密先进行分块,再进行纠删编码,最后按一定的规则将编码后的数据块分发给n个分享者。选取t个分享者提供的数据块,按纠删码的译码算法恢复原始秘密。选取t个以上分享者的数据块,按精确再生码的译码算法重建出子秘密丢失者的数据。研究结果表明:访方案是一种信息论安全的门限体制,与传统的基于Lagrange多项式插值算法的秘密共享方案相比,具有运算复杂性低、节点存储量小、丢失子秘密易再生等优点。     

基于链路带宽的分布式存储系统框架及动态负载均衡技术

针对在节点间进行数据传输、备份等操作时,不同节点间链路带宽将限制分布式存储系统的性能的问题,借鉴软件定义网络及云存储技术的基本思想,通过对控制流与数据流的分离,提出了一种基于链路带宽的分布式存储系统框架及动态负载均衡技术.所提出框架中,在分布式数据节点之外引入一个中心控制节点,该节点掌握全局网络视图,全局网络视图中既包括数据存储表记录存储数据的分布,又包括当前链路带宽情况.在用户读取数据时,根据数据存储表确定需要的数据存放于哪些数据存储节点,指派相应的数据存储节点根据路由表发送数据包,并实时监测网络中的链路带宽负载情况,及时调整数据的传输路径.仿真验证所提架构和算法可以有效解决海量数据在不同位置的分配调度,以及缩短用户对大量数据提取的响应时间及提升存储速率等问题.      

云计算中存储数据安全性研究

针对云计算中存储数据安全性问题,提出了一种基于显式精确最小存储再生代码(explicit exact minimal storage regenerating code, EEMSR)的云存储数据安全性新方法,该方法采用EEMSR和哈希函数通过Challenge-Response协议实现云计算存储数据的可用性和完整性。该方法使用EEMSR代码对数据进行编码,再将此编码数据上传到云中,该编码有助于重新生成丢失的数据,以此确保数据的可用性。而加密哈希函数通过Challenge-Response协议可以验证云数据的完整性。EEMSR代码是一个再生代码,可以用较少的修复流量精确地恢复丢失的数据块,EEMSR代码由参数(n,k,d)定义,该参数允许从n个节点中的任意k个节点恢复数据,并且还具有通过连接到任何d个节点来修复故障节点的能力。实验表明,提出方法安全性能高,与其他方法相比,该方法的运行时间较少,而编码速率较高。     

带函数的关系操作

数据库管理系统中的查询优化处理一直回避处理查询定义中函数运算的优化问题,而在异构数据源集成系统、数据仓库系统和ＷＷＷ数据库中,大部分的用户查询了都涉及到复杂的函数运算,因此,有必要研究带函数的关系操作的优化技术。本文定义了６处基本的函数的关系操作,分析了这些操作的交换规则,并给出一些查询优化策略。     

Performance Comparison of IP-Networked Storage

Dramatically increasing amounts of digital data are placing huge requirements on storage systems. IP-networked storage systems, such as the network file system (NFS)-based network-attached storage (NAS) systems and the iSCSI-storage area network (SAN) systems, have become increasingly common in today’s local area network (LAN) environments. The emergence of new storage techniques, such as object-based storage (OBS) and content aware storage (CAS), significantly improves the functionality of storage devices ...     

云存储数据缩减技术研究

基于云计算应用中的云存储技术,使数据存储变得安全可靠和易管理。在云存储技术数据存储的过程中,不仅考虑数据读写的速度,还得处理数据存储效率,以便满足当前海量信息存储的需求。云存储中的数据缩减技术可以缩减数据信息量,提高存储的效率,满足数据存储急剧的要求。通过对几种数据缩减技术进行比较研究分析,探讨了对数据处理后存储的效率以及每项技术发展状况,为用户选择云存储数据缩减技术提供有力的参考。     

行列混合存储数据库的数据分布自适应优化算法研究

随着数据量和数据类型的逐渐增加,用户对数据存储性能的要求和整体需求越来越高,当前数据分布算法因为受到成本及可扩展性的约束,无法达到用户对存储的要求。为此,提出一种新的行列混合存储数据库的数据分布自适应优化算法,给出数据分片、数据访问频率矩阵、拓扑结构和最小支撑树的定义,将总成本最小作为依据判断数据是否冗余分布,获取行列混合存储数据库的利益函数。找到一个使利益最大化的数据分布方案,通过迭代求取该问题的解。输入相关参数,输出的结果即为数据分布结果。实验结果表明,所提算法读写能力和均衡性均较强。     

用于提高电网中风电渗透率的混合储能容量优化分析

为提升电网中风电渗透率,通过提出由电池、超级电容器和抽水蓄能构成的混合储能系统,构建缓和风电并网时不稳定性的双层容量优化模型。首先,提出了风电典型场景和极端场景的提取方案,获得充分逼近原风电出力场景的场景集合。然后,使用小波包分析法,配置电池和超级电容器的容量用来平抑风电功率波动,并在电力系统中利用抽水蓄能进行削峰填谷,建立双层混合储能容量优化模型对储能容量进行优化。最后,利用某风电场一年输出功率数据,对改进的 RTS-96 系统进行仿真验证并分析。算例结果表明：建立的双层混合储能容量优化模型在确保经济性的条件下提升了风电渗透率。     

可快速响应的虚拟三级存储系统RAT

利用SCST中间驱动层,将磁盘阵列与磁带虚拟为一种有别于虚拟磁带库的新型三级虚拟存储系统,将用户文件分割存放在阵列和磁带库上,在服务用户请求时,首先由阵列快速响应用户请求的前一部分数据,同时磁带库执行机械操作准备剩余数据,以屏蔽磁带库响应等待时间,并利用磁盘阵列数据冗余特性确保数据可靠保存,形成海量、快速、可靠的第三级存储子系统.经对比测试该系统用于备份应用时,其备份恢复操作的初始响应时间显著小于传统磁带库系统.     

无线传感网络中空间失效模式下的数据存储恢复算法

针对空间失效模式下的数据存储和恢复问题,设计了一种基于数据复制的存储和恢复算法.该算法为每个数据节点分配一个冗余节点,在数据节点失效时可以利用冗余节点中的数据来成功恢复数据,并且使整个过程消耗的代价最小.理论分析和仿真实验表明,同Greedy算法相比,在保证成功恢复的同时,该方法显著降低了网络的整体能耗,从而有效延长了网络的生存周期.