MassCloud云存储系统构架及可靠性机制

为了解决分布式存储系统的存储容量、可靠性以及效率问题,首先提出了高可靠性海量云存储系统MassCloud的分层体系结构,并在此构架的基础上提出了基于纠删码机制的快速编解码算法--双表法,以及基于纠删码、副本冗余和RAID技术相结合的MasseCloud可靠性保证策略,并且进行了测试与分析.结果表明:双表法具有较高的编解...     

分布式存储系统中混合数据布局算法

数据布局算法是分布式存储系统的基础性算法,也是提高数据处理效率的关键。针对节点负载和通信延迟等存储节点状态,提出了一种衡量存储节点可用性的通用方法,并在分析了已有算法的基础上,综合各种算法的优点,提出了一种混合数据布局算法。该算法根据存储节点可用性不同而采取不同的数据冗余策略。通过对比分析,证实该算法在存储量与通信量方面具有较大的优越性。     

基于RS纠删码的HDFS云存储动态副本策略研究

目前多数云存储文件系统为保证其系统可靠性和性能所采用的静态完全副本冗余机制存在存储效率低、负载均衡能力差等缺点,为了提高云存储效率以及优化云存储的负载均衡能力,该文根据应用HDFS的经验,提出一种基于RS纠删码的云存储动态副本的冗余策略-SeaMaiden. SeaMaiden引入了副本调整模块和纠删码编解码模块,通过周期性的计算文件的热度,进而动态调整文件的副本数.当文件的副本数低于3时,则调用纠删码编解码模块对文件进行编码,提升文件的可靠性.当文件的热度级别上升时,则动态增加文件副本数,提升HDFS的负载均衡能力.通过实验证明SeaMaiden 能有效提高HDFS的存储效率、可靠性及响应速度.     

基于Ceph的分布式存储系统跨机架修复技术分析

详细介绍了Ceph分布式存储系统的应用性质与层次结构,通过专业的研究与分析,将该类存储系统引入跨机架修复工作中,与修复技术充分融合。实践运用过程包括设计分级解码算法、优化纠删码、修复系统数据、验证试验方案和明确跨机架数据量等,在Ceph分布式存储系统的持续影响下,高效完成跨机架修复工作,确保各类机架使用质量。     

纠删码存储系统中数据修复性能优化研究进展与展望

纠删码被广泛应用于分布式存储系统以保存在线应用的用户数据。当部分存储节点发生故障时,纠删码存储系统需使用新的存储节点替换原有失效节点,并恢复失效的用户数据。由于需要执行数据编码、传输和读写等操作,纠删码存储系统通常需要消耗较长的时间执行数据修复操作,存储的用户数据将长期处于不可靠状态。为了保障存储数据的可靠性,研究学者提出了多种数据修复性能优化方案以减少数据修复时间。本文介绍了数据修复性能优化问题,分析了各个应用场景下主要的性能瓶颈和性能优化难点,总结了提升数据修复性能的主要技术方案和研究工作,并对数据修复性能优化研究领域的未来发展方向进行展望,为纠删码存储系统设计人员准确选择适合特定应用场景的数据修复性能优化方案提供思路。     

一种副本复制和纠错码融合的云存储文件系统容错机制

在云存储技术中,云存储文件系统的数据容错十分重要,直接关系到整个系统的可用性。该文通过对有中心的分布式文件系统进行分析,提出了双机热备的元数据管理节点容错技术和块副本与基于纠删编解码算法相结合的存储节点容错技术,为云存储文件系统设计了双重保险的容错机制。实验结果表明,该机制大大提高了云存储系统的可靠性,并提高了磁盘空间利用率。     

大数据存储中的容错关键技术综述

不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术.文中介绍了数据容错的两种基本策略：复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等.     

一种分布式存储系统环境下的数据持有性验证方法

为了在分布式环境下进行数据持有性验证并保持较低的修复带宽,该文在引入再生码的基础上,提出了一种分布式环境下的数据持有性验证方案。该方案利用再生码来进行数据持有性验证,并在修复阶段再次进行持有性验证以抵抗污染攻击。通过理论分析,该方案既保持了再生码修复带宽低的优势,且相比于经典方案降低了计算开销,节省了存储空间。该文还提供了方案的安全性证明,通过安全性及性能分析表明该方案是可行的。     

云存储及其分布式文件系统研究

云存储专注于解决云计算系统中海量数据文件的存储问题;文件系统用来管理大量的文件信息,并负责对文件的存储空间进行组织分配;分布式文件系统不仅要管理本地计算机的数据文件,同时还要管理整个存储系统中的数据文件。文章首先对云计算技术进行介绍,然后引出云存储的概念,并通过对云存储的技术原理、性能优势等进行分析,指出分布式文件系统对于云存储技术的重要性;最后对现有的云存储分布式文件系统进行详细论述。全文工作将指导我们进一步深入研究云存储技术。     

云存储系统的能耗优化节点管理方法

为节省云存储系统的能耗,文中考虑在云存储系统利用率较低时关闭部分存储节点.为了保证部分存储节点关闭时数据的可用性,针对如何选择云存储系统中可以关闭的节点集合问题,设计了基于辅助节点的贪心算法,并针对异构云存储系统的能耗优化问题,提出了面向异构云存储系统的能耗优化贪心算法.模拟实验结果表明,文中提出的面向异构系统的能耗优化贪心算法能较好地降低异构云存储系统的能耗,其性能明显优于一般的贪心算法,从而验证了所提算法的有效性.     

基于云计算的数据存储技术研究

以云计算环境下大数据存储技术为研究对象,首先介绍了云计算环境下主要的两种典型的分布式存储系统,即Googk的GFS和Hadoop的HDFS;对其中的数据存储技术进行了专门分析,从可扩展性和延迟性（如何支持海量小文件的存储）、容错性（在数据丢失时进行数据恢复）和海量数据存储的实时性这3个方面对现有技术进行了评价.在此基础上,提出了分布式文件系统的系统架构.最后给出了研究展望.     

基于HDFS的企业私有云存储的研究

针对目前企业海量数据存储和管理的问题,本文通过对私有云存储和HDFS技术的研究,提出基于HDFS技术构建企业私有云存储系统。通过实验验证,该系统具有安全可靠性高、扩展性好、开发和运行的成本较低等特点,能够满足企业对海量资源安全可靠、高效快速的存储。     

一种冗余分析方法及其在分布式文件系统中的应用

目前网络中存在着大量以服务器为核心的文件服务机制,特别是一些分布式的文件服务系统.针对这些文件服务系统中的空间消耗问题,本文进行了文件冗余的分析,提出了一种网络文件服务冗余分析方法.这种冗余分析方法应用在分布式系统中,可以确定文件系统的空间性能,为系统的空间优化提供参考数据,并有利于进行分布式系统访问调度平衡策略的制定.     

一种提高云存储中小文件存储效率的方案

针对基于HDFS(Hadoop distribated file system)的云存储系统中小文件存储效率不高的问题,采用序列文件技术设计了一个云存储系统中小文件的处理方案.该方案利用多维属性决策理论,综合读文件时间、合并文件时间及节省内存空间大小等指标,得出合并小文件的最优方式,能够在消耗的时间和节省的内存空间之间取得平衡;设计基于层次分析法的系统负载预测算法对系统负载进行预测,从而实现负载均衡的目的;利用序列文件技术对小文件进行合并.实验结果表明,在不影响存储系统运行状况的基础上,该方案提高了小文件的存储效率.     

基于HDFS的云数据备份系统

将云计算技术应用于数据备份领域,  设计并实现了基于分布式文件系统(HDFS)的云数据备份系统. 该系统利用云存储技术, 应用已有的廉价计算机设备构建数据备份集群, 解决了用户数据备份/恢复业务的需要, 通过用户分群管理、 小文件合并上传、 恢复优先等策略进一步提高了系统性能. 实验结果表明,  云备份系统在安全性、 可扩展性、 经济性及可靠性上均具有一定的优势.     

基于数据云的水利信息化数据共享体系构建模式

 从水利信息化发展的新方向论述了当前开展水利数据云共享建设的必要性,通过分析中国水利信息化建设的实践,探讨了未来数据共享平台建设面临的困难和挑战.分析指出,早期信息化管理分散、各部门水利信息化建设的适用范围较窄、未形成统一的存储标准等是现阶段面临的主要问题.通过基础资源整合,对基础设施、水利业务应用等资源进行统筹规划是实现共享体系建设的前提,开展数据存储标准建设和数据安全保障建设是保障数据共享体系建设成功和良好运行的基础.     

云计算中数据存储安全的研究

云计算作为IT发展的下一阶段,尽管有很多的优势,如提高业务的灵活性、可扩展性、工作效率以及企业的盈利能力,但是在带来这些优势的同时也带来云计算新的安全风险和问题.在众多的安全问题中,数据的存储安全已经成为云计算安全的核心问题.针对云计算数据的特点,在对数据加密技术研究的基础之上,本文讨论数据的敏感性问题,结合数据加密方法的优点,提出将数据分为不同安全级别然后结合密码技术,从而达到数据的在云计算环境下安全存储的方案.