大数据存储中的容错关键技术综述

不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术.文中介绍了数据容错的两种基本策略：复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等.     

全国林业资源数据集群存储技术研究

为解决全国大规模一体化林业资源管理, 设计了适用于全国林业资源数据的分布式空间数据存储系统。通过数据分块、 索引分级、 集群合并, 将各省和国家的林业资源数据集群在逻辑上合并成一个大数据集群。分布式空间数据存储系统的应用和全国数据集群的合并加快了数据处理速度, 统一了数据管理过程, 建立了全向的并发数据通道。为实现林业资源数据的全国一体化应用做了积极探索。     

校园网数据存储及容错系统的应用与研究

随着学校信息资源的迅速增加,必须选择一个合理、有效的存储方案,以较低成本完成各种信息的集中存储和管理,文章通过分析目前流行的存储及容错技术,结合山东英才职业技术学院的存储及容错系统的设计方案,针对校园网的数据存储及容错问题提出了建议。     

一个可容错并行文件数据存储模型

针对大数据量需求问题, 设计并实现了一个并行文件数据存储模型： 固定大小数据分片和有冗余数据放置模型. 该存储模型简单高效. 实验结果表明, 该模型能够对数据进行容错, 提高了文件数据的可用性.     

分布式数据库数据复制技术的研究

对数据复制技术进行了介绍,并分析了这一技术在分布式数据库系统中的具体应用.在分布式数据库系统中通过应用数据复制技术,使得分布式数据库系统的性能和容错性得到明显地提高.本文重点介绍了oracle数据复制技术在国家教育机关中的应用,并给出了数据复制的具体步骤.     

ODTrans:适用于云数据存储系统的容错的事务协议

云数据存储系统中,由于数据的分片、冗余存储以及频繁的节点故障,导致分布式事务的原子提交问题发生变化,使得原先的两阶段提交协议(2PC)不再适用.作者对云存储中事务提交的典型场景进行刻画,重新定义分布式事务的提交问题,并提出基于一致性协议的方法ODTrans,用于处理分布式提交和副本更新.相比于传统的2PC和主备复制方法,在一个没有拜占庭将军问题的集群中,它可以始终取得进展.实验结果表明,所提方法可以获得与已有的方法相近的性能,既可以容忍从节点发生错误,也可以应对主节点的故障.     

ODTrans:适用于云数据存储系统的容错的事务协议

云数据存储系统中,由于数据的分片、冗余存储以及频繁的节点故障,导致分布式事务的原子提交问题发生变化,使得原先的两阶段提交协议(2PC)不再适用.作者对云存储中事务提交的典型场景进行刻画,重新定义分布式事务的提交问题,并提出基于一致性协议的方法ODTrans,用于处理分布式提交和副本更新.相比于传统的2PC和主备复制方法,在一个没有拜占庭将军问题的集群中,它可以始终取得进展.实验结果表明,所提方法可以获得与已有的方法相近的性能,既可以容忍从节点发生错误,也可以应对主节点的故障.     

空间数据剖分集群存储系统架构初探

为解决超大规模空间数据有序存储与调度管理的统一基准和多尺度问题,针对超大规模空间数据的组织、存储与调度管理方法的不足,提出一套以球面剖分理论为基础,空间剖分面片与存储单元相映射的空时一体化空间数据存储管理架构.阐述了该剖分集群存储系统的概念、总体研究思路及其架构的核心设计.空间数据剖分集群存储理论的建立将为超大规模空间...     

数据存储系统中可靠性及容错性研究

大量数据需要传输和存储,产生了许多新的海量数据的系统结构,文章分析了存储系统的结构,并提出存储系统的可靠性问题。     

数据分级存储系统中数据分级算法研究

随着数据存储规模的海量增长,降低存储系统的总拥有成本,提高数据访问效率是海量数据分级存储系统的关键.在分析了两种典型的数据分级算法后,结合两种算法的优点对算法进行了改良,提出了基于数据访问频率和数据设备依赖度的自动分级算法,实验结果验证了算法的有效性和数据分级算法具有较高的准确率.     

文件分块和动态副本管理机制的容错控制方法

提出了一种基于文件分块访问的动态副本管理的容错控制机制,它根据邮箱服务器的可靠性指标决定文件的分块数目和选择合适的邮箱存储分块文件,并动态地调整邮箱服务器可靠性指标.     

一种有效的并行文件系统容错方法

在分析导致I/O节点失效主要原因的基础上, 提出一种有效的并行文件系统容错方法： 子文件循环冗余备份. 该方法保证了I/O节点失效时并行文件的正常访问, 提高了并行文件系统的可靠性和有效性.     

一种网络服务器冗余容错系统在证券业中的设计与实现

介绍一种NovellHAServer集群容错系统在证券业中的应用实例设计方案 ,该方案具有较强的容错能力 ,它能令人满意地应用于证券业服务平台。     

单位区间图的配对k-DPC容错性问题

【目的】为研究不相交路径覆盖问题,在单位区间图上探讨1-不相交路径可覆盖、2-不相交路径可覆盖、k-不相交路径可覆盖在删除顶点和经过指定边后仍保持DPC性质的结构。【方法】利用单位区间图的结构特点以及路覆盖的结构性质,结合数学归纳法和反证法来研究单位区间图的配对多对多k-DPC容错性问题。【结果】单位区间图G任意删去p个点且经过q条边,仍是配对k-DPC,当且仅当G是(2k+r-1)-连通,其中(p+q)≤r。【结论】单位区间图的容错性路覆盖问题与哈密顿性质以及连通度有紧密联系。研究方法和研究结果为区间图配对k-DPC容错性问题的研究提供了理论依据,同时有助于设计在单位区间图上寻找配对k-DPC容错性的有效算法。     

规则互连多处理器系统的容错性分析

多处理器系统中的互连网络为处理器之间相互通信提供了一种有效的机制,是决定系统性能的重要因素之一.互连网络的容错性可以用互连网络中设备出现故障时,网络保持正常工作的概率来刻画.笔者用概率方法对4种规则互连多处理器系统(超立方体,交叉立方体,M(o)bius立方体,局部扭曲立方体)的容错性进行了分析.通过仿真试验,得到结论:基于超立方体或其变体结构的多计算机系统均具有较好的容错性,其中,交叉立方体具有最好的容错性.     

基于磁盘阵列的双机容错技术

阐述了实现双机容错的关键技术和双机容错的两种模式 ,并通过介绍一个基于PC服务器双机容错技术的典型应用使读者更进一步了解这一技术 .     

大规模分布并行计算系统容错与恢复技术

当前,拥有超级计算能力的计算机系统通常是大型商用系统形成计算机集群.与所有的分布式系统一样,这些系统通过独立的计算机硬件协同合作共同实现超级计算的能力.然而在拥有超级计算能力的同时,集群中的任何一个组件随时都可能失效,从而导致错的输出.为了提高集群在系统出现故障的情况下的鲁棒性,许多容错技术已经被设计和实现,用以处理各种类型的系统故障.本文对各种现有的容错技术进行了总结归纳,以便在此基础之上进行进一步的研究从而适应当前环境下的系统容错.