基于对象存储系统中的热点数据平衡策略

针对基于对象存储系统(OBS)中的热点数据问题,提出了一种基于预测和数据副本迁移的均衡策略.对基于对象存储结点(OSD)的热度进行预测,元数据服务器(MDS)据此对存储结点进行均衡协调,存储结点则响应协调规则并采用贪心法选出尽量小而且访问客户多的对象进行副本迁移.此外,采用增量备份的方法解决副本迁移可能造成的数据不一致问题.实验结果表明策略的预测误差在8%以内.     

高可靠可扩展PC集群存储系统的设计

针对当前网络存储技术存在的存储服务瓶颈问题,介绍了一种高可靠可扩展PC集群存储系统的设计方案,并提出了对各个存储结点所挂磁盘的分组方案,对大小数据对象分别采用不同的放置、定位技术,重点讨论了小数据对象的伪随机放置算法,该算法在系统扩展时也能够有效地定位数据对象.另外通过对数据对象的有效复制,使系统具有很好的容错性.     

基于分布式FTP的二进制大对象存取算法

为提升二进制大对象(BLOB)存储系统的可靠性和存储效率,设计了一种新的BLOB存取算法.通过建立分布式BLOB存储模型,设计了基于多列等候队列的存储结构,证明了适当增加等候队列数量,可改善存储系统性能.系统采用混合型数据放置策略,分布地存储BLOB数据于FTP群集中各个结点,并将其属性存储于元数据服务器.结果表明,随着系统容量的不断增长,各结点存储性能稳定,数据完整性良好.     

物联网环境下负载均衡的低代价云存储数据副本分布

为满足物联网终端结点移动性和数据访问实时性要求,根据云存储中副本分布与访问的模式,提出结合数据访问点位置和访问频率,具有低访问代价的存储服务器选取方法.考虑负载对访问代价的影响,通过动态更新代价矩阵,提出负载均衡机制.研究结果表明:该方法在最少副本数目的前提下,将副本分配到与访问情况相适应的具有较低访问代价的存储服务器上,可有效减少数据访问开销,并避免副本集中分布,保证各存储服务器的负载均衡,更适合于物联网环境中云存储数据管理.     

一种平衡数据读写开销的数据复制方法

大型分布式系统通常将系统内存储的数据复制到多个节点以减少数据访问的时间开销.然而,随着数据副本数量的增加,副本数据更新过程的写代价也随之增加.如何合理地选择数据副本的存储节点、控制副本数量,以平衡数据的读写开销,进而有效地降低系统总的数据访问代价是分布式存储的研究热点.针对这一问题,本文提出了一种基于遗传算法的数据复制方法来平衡数据的读写开销.具体地本文对遗传算法进行了以下两方面改进:(1)建立了一个综合考虑读写数据传输代价的评价函数,以控制遗传算法的收敛方向,搜索数据副本存放位置的最优或次优策略;(2)通过时间序列预测方法来启发式地指导染色体变异操作,以合理控制副本数量适应数据的读写访问趋势.实验表明,与传统方法相比,本方法能够更有效地降低数据访问的总时间代价.     

一种改进的Hadoop数据放置策略

采用现有的Hadoop默认数据放置策略时,若本地数据副本失效,从远程结点上恢复数据需要耗费大量数据传输时间,且随机选取数据放置结点可能会影响数据放置的负载均衡.为此,文中提出一种改进的数据放置策略.该策略基于结点网络距离与数据负载计算每个结点的调度评价值,据此选择一个最佳的远程数据副本的放置结点,从而既能实现数据放置的负载均衡,又能实现良好的数据传输性能.在Hadoop平台上实现了所提出的数据副本放置改进策略,结果表明,与系统默认策略相比,文中提出的策略不仅可以改进数据放置的负载均衡,而且可以减少数据副本放置的时间.     

树型数据网格环境下副本放置算法研究

副本广泛地用于数据网格环境下以减少数据访问代价,降低网络带宽需求,增强容错能力等,但是副本数目受到节点存储能力等因素的限制,副本放置成为副本管理中一个值得研究的问题.文中针对网络带宽受到限制的树型数据网格,在考虑负载均衡的基础上,提出了一种利用动态规划方法求解最优最小可行副本集,然后在此基础上利用折半查找进行k个副本放...     

大数据存储中的容错关键技术综述

不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术.文中介绍了数据容错的两种基本策略：复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等.     

数据网格中的快照管理及其在电子政务中的应用

从数据库的观点看,在执行单一查询前进行复制数据集是容易实现的,但查询处理器指派一次查询给那些没有充分操作和存储合适副本的结点时,从而引起在同步机制中副本经常过时是必然的。本文将集中探讨一种在全局数据网格中多个成员结点的非一致性和快照管理的量化分析方法,给出了一种基于Oracle 10g分布式数据网格架构下的电子政务实现方案。     

集群系统中基于MPI的关联规则快速挖掘算法

集群系统是一种分布存储系统,它主要利用消息传递方式来实现各结点之间的通信.在集群系统中通过利用MPI中的消息传递调用接口,提出了一种基于二进制形式的数据存储和计算的高效并行挖掘算法,通过对数据对象进行一些"或"、"与"、"异或"等逻辑运算操作,降低了算法的实现难度,减小了网络通信量,提高了挖掘效率,具有较好的可行性和可扩展性.     

一种有效的并行文件系统容错方法

在分析导致I/O节点失效主要原因的基础上, 提出一种有效的并行文件系统容错方法： 子文件循环冗余备份. 该方法保证了I/O节点失效时并行文件的正常访问, 提高了并行文件系统的可靠性和有效性.     

A Fault Detection Mechanism in Erasure-Code Byzantine Fault-Tolerance Quorum

Fault-tolerance is increasingly significant for large-scale storage systems in which Byzantine failure of storage nodes may happen. Traditional Byzantine Quorum systems that tolerate Byzantine failures by using replication have two main limitations： low space-efficiency and static quorum variables. We propose an Erasure-code Byzantine Fault-tolerance Quorum that can provide high reliability with far lower storage overhead than replication by adopting erasure code as redundancy scheme. Through read/write operations of clients and diagnose operation of supervisor, our Quorum system can detect Byzantine nodes, and dynamically adjust system size and fault threshold. Simulation results show that our method improves performance for the Quorum with relatively small quorums.     

Fault-Tolerant Design for Data Efficient Retransmission in WiNoC

There is a sharp decline in the network performance when the wireless link fails as a data path in the Wireless Network-on-Chip(WiNoC).To counteract this problem,we propose a fault-tolerance mechanism for the efficient retransmission of data in the WiNoC.When an error is detected in the data transmission process,this mechanism works to feed back the fault information to the source node in real time via fault signal lines.In the source node,the highest transmission priority is assigned to the backup retransmitted data,and the corresponding direct link is positioned to enable the data packet for its efficient retransmission to the destination node,thereby ensuring efficiency in fault tolerance.Additionally,we have improved the receiving port of the wireless router,added the corresponding redundant buffers and mux,and dynamically selected the retransmitted non-faulty data packets to be written to the local router in order to avoid the disorderly retransmission of the data packets.The evaluation results of this paper demonstrate that compared with the methods which are under different fault conditions,this fault-tolerant method drastically improves the data throughput rate,reduces the delay,effectively guarantees the reliability of the network,and improves the system performance.     

P2P存储系统节点分层管理策略研究

P2P 存储系统具有自治性、容错性和可扩展性等特点.但由于节点的高度动态特性导致P2P存储系统的应用面临巨大挑战.数据分发和拓扑结构的设计是其中的一个关键问题.本文结合动态故障检测机制设计了一种分层的节点管理策略.结果表明本设计方法具有较好的性能,能高效的对节点进行管理,减少了网络中由于故障检测而导致的大量的心跳数据包,提高P2P存储系统的可用性.     

Windows NT Server 的容错实现

为了提高计算机系统的可靠性，从容错技术方面讨论了系统容错原理，论述了用硬件方法实现容错的ＲＡＩＤ系统的６种技术。结合实例提出ＷｉｎｄｏｗｓＮＴＳｅｒｖｅｒ如何用软件方法实现磁盘镜像和含奇偶校验带区组两种容错技术，从而保证ＷｉｎｄｏｗｓＮＴＳｅｒｖｅｒ上数据的安全可靠。     

云存储中支持XOR旋转编码的可恢复性验证方案

为了提高云存储数据的容错性和可靠性,设计了一个能对云存储文件进行容错编码的可恢复性验证方案.该方案改进现有旋转里德-所罗门码(reed solomon,RS)编码为异或(XOR)旋转编码,并提出一种对编码矩阵的列向量标签快速模幂运算的验证方法.性能和安全性分析表明,该方案具有较低的通信代价和计算代价,以及高效的数据恢复功能.     

基于RAID-6的容量扩容布局研究

随着数据量的不断增加,原有存储系统已不能满足海量数据存储的要求。RAID(redundant arrays of independent disks)存储系统因具有良好的数据可靠性、磁盘独立性和可扩展性,成为应用范围最广的存储系统。新型存储技术存在研究迟缓、推广率低的问题,使得在原有RAID存储系统中添加新的磁盘,成为存储海量数据最为便捷,最为有效,成本最低的方式。RAID发展至今,根据对数据存储的不同需求,衍生出了不同层级的RAID存储系统。RAID-6存储系统由数据盘与2个校验盘构成,相较于其他RAID存储系统,具有更好的数据容错功能,更高的数据恢复能力。因此,提出一种基于H-Code针对RAID-6存储系统的扩容算法HS6。该算法在扩容过程中体现了最小化数据迁移量和快速扩容等特性,与传统的Round-Robin和Semi-RR扩容算法相比,该算法减少了73.2%~88.6%的数据迁移量,缩短了30.6%~62.9%的总扩容时间。     

R-Memcached: A Reliable In-Memory Cache for Big Key-Value Stores

Large-scale key-value stores are widely used in many Web-based systems to store huge amount of data as(key, value) pairs. In order to reduce the latency of accessing such(key, value) pairs, an in-memory cache system is usually deployed between the front-end Web system and the back-end database system. In practice, a cache system may consist of a number of server nodes, and fault tolerance is a critical feature to maintain the latency Service-Level Agreements(SLAs). In this paper, we present the design, implementation, analysis, and evaluation of R-Memcached, a reliable in-memory key-value cache system that is built on top of the popular Memcached software. R-Memcached exploits coding techniques to achieve reliability, and can tolerate up to two node failures.Our experimental results show that R-Memcached can maintain very good latency and throughput performance even during the period of node failures.