云存储及其分布式文件系统研究

云存储专注于解决云计算系统中海量数据文件的存储问题;文件系统用来管理大量的文件信息,并负责对文件的存储空间进行组织分配;分布式文件系统不仅要管理本地计算机的数据文件,同时还要管理整个存储系统中的数据文件。文章首先对云计算技术进行介绍,然后引出云存储的概念,并通过对云存储的技术原理、性能优势等进行分析,指出分布式文件系统对于云存储技术的重要性;最后对现有的云存储分布式文件系统进行详细论述。全文工作将指导我们进一步深入研究云存储技术。     

基于面向值的映像方法在XML数据存储中的应用

对当前XML数据存储技术研究与应用现状进行了简要介绍，重点就面向值的映像方法在XML数据存储中的应用进行了详细探讨，并给出了相应的存储系统体系结构和实现方法。     

非结构化云数据管理系统不稳定数据分区识别算法

在大数据背景下,非结构化云数据管理系统中数据节点需要处理不断膨胀的原始数据、索引数据和中间数据,"数据膨胀"将显著增加云数据管理系统的时间和能耗等各类开销.为降低非结构化数据管理系统因数据频繁移动而导致的数据传输开销,文中提出了一种不稳定数据分区的识别算法.首先面向非结构化数据管理系统,通过引入云模型理论对存储系统中的数据分区进行云建模,识别出不稳定的数据分区,然后调用相关算法对其进行重新布局.实验结果显示,不稳定数据分区识别算法可以有效地识别出不稳定的数据分区,对其重新布局后,降低数据传输开销的效果显著.     

云存储系统的能耗优化节点管理方法

为节省云存储系统的能耗,文中考虑在云存储系统利用率较低时关闭部分存储节点.为了保证部分存储节点关闭时数据的可用性,针对如何选择云存储系统中可以关闭的节点集合问题,设计了基于辅助节点的贪心算法,并针对异构云存储系统的能耗优化问题,提出了面向异构云存储系统的能耗优化贪心算法.模拟实验结果表明,文中提出的面向异构系统的能耗优化贪心算法能较好地降低异构云存储系统的能耗,其性能明显优于一般的贪心算法,从而验证了所提算法的有效性.     

基于粒子群优化算法的云数据均衡放置策略

在拥有多个存储节点的云数据存储系统中,保持云存储系统的负载均衡水平为一个合理的值和最小化数据检索的时间是一个值得研究的问题。本文提出一种基于粒子群优化算法的云数据均衡放置策略(balanced placement strategy of cloud data based on particle swarm optimization algorithm, BPCD),首先,给出一种云存储系统模型;其次,引入基尼系数作为衡量该系统负载均衡水平的指标,结合数据检索时间目标函数构建多目标约束优化模型;再次,采用粒子群优化算法对问题进行求解,主要包括数据节点编码与参数设置、种群初始化、粒子群空间搜索、算法迭代4个过程;最后,将本文算法与传统云数据放置算法进行对比分析。仿真实验表明,本文提出的云数据均衡放置策略在优化云存储系统的负载水平和数据检索时间方面具有良好的效果。     

面向无人飞行器集群协同的分布式存储技术研究

近年来,随着无人飞行器集群在各个领域的广泛应用,集群上所搭载的算法也越来越复杂,这对数据存储系统提出了更高的要求。现有研究没有考虑无人飞行器集群运行环境的特殊性,无法适应战场上通信间歇弱连接和节点易战损的环境。因此本文基于分布式存储技术设计了一套面向无人飞行器集群协同的分布式存储方案,通过动态自适应存储策略选择存储节点,提升了存储速度和资源的利用效率;同时,本文设计了基于RS码的数据备份与恢复方案,采用客户端与存储节点的交互模式降低了数据备份对于通信资源的占用,并且能够在多节点同时战损时恢复损失数据,提升了数据存储系统的稳定性和可靠性。     

一种副本复制和纠错码融合的云存储文件系统容错机制

在云存储技术中,云存储文件系统的数据容错十分重要,直接关系到整个系统的可用性。该文通过对有中心的分布式文件系统进行分析,提出了双机热备的元数据管理节点容错技术和块副本与基于纠删编解码算法相结合的存储节点容错技术,为云存储文件系统设计了双重保险的容错机制。实验结果表明,该机制大大提高了云存储系统的可靠性,并提高了磁盘空间利用率。     

基于对象存储的集群文件系统CFSlight设计与实现

在线存储以及数据密集型应用的发展,对信息存储性能的要求越来越高,分布式存储系统是应对数据存储需求的重要研究方向.基于对象存储技术和Linux操作系统平台设计与实现的集群文件系统CFSlight,能够有效提高存储系统的可扩展性、I/O性能、可用性等技术指标,具有很好的发展前景.     

云存储数据缩减技术研究

基于云计算应用中的云存储技术,使数据存储变得安全可靠和易管理。在云存储技术数据存储的过程中,不仅考虑数据读写的速度,还得处理数据存储效率,以便满足当前海量信息存储的需求。云存储中的数据缩减技术可以缩减数据信息量,提高存储的效率,满足数据存储急剧的要求。通过对几种数据缩减技术进行比较研究分析,探讨了对数据处理后存储的效率以及每项技术发展状况,为用户选择云存储数据缩减技术提供有力的参考。     

高可靠可扩展PC集群存储系统的设计

针对当前网络存储技术存在的存储服务瓶颈问题,介绍了一种高可靠可扩展PC集群存储系统的设计方案,并提出了对各个存储结点所挂磁盘的分组方案,对大小数据对象分别采用不同的放置、定位技术,重点讨论了小数据对象的伪随机放置算法,该算法在系统扩展时也能够有效地定位数据对象.另外通过对数据对象的有效复制,使系统具有很好的容错性.     

集群存储技术及其在石油勘探行业的应用

随着海量数据的迅猛增长,尤其是非结构化数据爆炸性增长,非结构化数据所占比例越来越高,对存储系统的高性能、可靠性和可扩展性提出了很高的要求,使得传统存储系统已经不能满足所有用户的需求,集群存储技术和产品应运而生。集群存储技术以它的高性能、高可用性、高可扩展性和易于管理等特性赢得了用户的青睐。在集群存储技术应用到石油勘探行业的数据处理高性能计算系统中,可以很好地满足该行业地震数据处理系统的大文件海量存储、高带宽和高性能等要求,明显提高了系统数据处理速度。     

云存储技术及其发展

云计算的迅速发展吸引了研究人员的深入研究与普通民众的广泛关注,随着云端数据越来丰富、用户数量越来越庞大,云存储技术的发展越来越受到重视．对当前主流的云存储平台及平台中采用的云存储技术进行了详细的介绍,并剖析了新形势、新需求下云存储技术中存在的若干问题．     

基于云计算的大数据存储安全的研究

随着网络技术以及云计算的发展,越来越多的数据资料将被存放在云平台,云计算与云存储的安全性也成为了用户选择云服务时最关注的一个问题.文中通过研究国内外的最新研究成果,提出了云存储的安全模型,从云端接入安全、大数据存储的加密安全和数据的完整一致性检验等方面具体归纳概括了国内外的研究趋势.文中归纳了最新的数据安全存储技术及相关方案,综合比较分析其优缺点.最后对基于云计算的大数据存储技术进行了展望.     

云存储环境下分组校验纠删码冗余算法研究

在海量云存储系统中,提高存储利用率,降低冗余方案的计算复杂度是热点研究问题.分组校验纠删码冗余算法能够减少在数据重构时所需的纠删码片段,从而减少对存储网络带宽以及系统I/O的需求,降低存储系统的负载.介绍了分组校验纠删码的编码规则,参数设置,通过实验分析算法具有良好的容错能力与空间利用率,能够满足云存储系统需要的编解码性能.     

数字图书馆VOD系统存储策略浅析——以武汉东湖学院图书馆为例

以武汉大学东湖分校图书馆存储系统为例,分析了高校图书馆开展VOD业务的存储策略,简要探讨了VOD存储技术的发展趋势。     

MassCloud云存储系统构架及可靠性机制

为了解决分布式存储系统的存储容量、可靠性以及效率问题,首先提出了高可靠性海量云存储系统MassCloud的分层体系结构,并在此构架的基础上提出了基于纠删码机制的快速编解码算法--双表法,以及基于纠删码、副本冗余和RAID技术相结合的MasseCloud可靠性保证策略,并且进行了测试与分析.结果表明:双表法具有较高的编解...     

试论高校数字图书馆动态虚拟网络存储建设

对当前高校图书馆存储系统现状以及存储技术应用情况进行了分析,介绍了SAN 2.0技术,并基于IP以太网提出了一种适合高校数字图书馆的动态虚拟存储方案。     

基于链路带宽的分布式存储系统框架及动态负载均衡技术

针对在节点间进行数据传输、备份等操作时,不同节点间链路带宽将限制分布式存储系统的性能的问题,借鉴软件定义网络及云存储技术的基本思想,通过对控制流与数据流的分离,提出了一种基于链路带宽的分布式存储系统框架及动态负载均衡技术.所提出框架中,在分布式数据节点之外引入一个中心控制节点,该节点掌握全局网络视图,全局网络视图中既包括数据存储表记录存储数据的分布,又包括当前链路带宽情况.在用户读取数据时,根据数据存储表确定需要的数据存放于哪些数据存储节点,指派相应的数据存储节点根据路由表发送数据包,并实时监测网络中的链路带宽负载情况,及时调整数据的传输路径.仿真验证所提架构和算法可以有效解决海量数据在不同位置的分配调度,以及缩短用户对大量数据提取的响应时间及提升存储速率等问题.      

SAN存储技术在图书发行系统中的应用

随着企业业务的快速发展，数据呈现出爆炸式增长的趋势，这使得SAN存储技术得到更为广泛的应用。本文结合书店的业务实际需求，介绍了存储系统选择的要素，文中对SAN及其它存储技术的特点进行了简述，并具体给出了书店SAN存储系统的构建实例及其特点。     

基于云计算的数据存储技术研究

以云计算环境下大数据存储技术为研究对象,首先介绍了云计算环境下主要的两种典型的分布式存储系统,即Googk的GFS和Hadoop的HDFS;对其中的数据存储技术进行了专门分析,从可扩展性和延迟性（如何支持海量小文件的存储）、容错性（在数据丢失时进行数据恢复）和海量数据存储的实时性这3个方面对现有技术进行了评价.在此基础上,提出了分布式文件系统的系统架构.最后给出了研究展望.