基于MooseFS分布式云存储系统负载均衡方法的研究

基于MooseFS的分布式云存储系统,在节点间性能差异较大时存在负载不均衡问题,文章提出了一种两级负载均衡的策略,将存储节点分为若干集合,不同集合节点采用优先权值进行调度,同一个集合中节点采用权重轮询均衡算法。实际部署及实验结果表明,该文提出的负载均衡方法在存储结点性能差异较大时,可以很好地实现基于MooseFS分布式云存储系统的负载均衡。     

一种改进的分布式存储系统节点动态扩展策略

分布式存储系统经常面临数据的均衡分布和扩容问题,针对现有一致性哈希动态扩展算法的不足,提出一种基于访问概率的动态扩展策略.该策略基于热点数据访问概率大的思想改进原算法虚拟节点的分配方法,能够有效改善扩容后造成请求命中率下降和负载均衡的问题.实验结果表明,在系统添加新存储节点时,改进策略有效地优化了系统的性能,缩短了系统到达新的负载平衡状态的时间.     

基于云存储的内容分发技术研究

针对云存储的收费机制和内容,在分析已有的用户贪婪、服务器贪婪等启发式解决算法的基础上,提出改进的启发式云存储静态内容分发遗传算法;综合考虑资源的访问热度、资源的缺乏程度,提出基于热点预测和经济模型的动态内容分发技术;进而全面考虑当前网络带宽、边缘云存储节点性能及历史访问价值,提出概率匹配自收敛的云存储中内容分发负载均衡技术,并将提出的算法分别在模拟器CloudSim上进行测试,同时和现有的内容分发算法、负载均衡算法进行对比.实验结果证明,本文提出的算法能够应用到云存储内容分发技术当中,并且能够在提高内容分发效率的同时有效降低分发成本.     

基于粒子群优化算法的云数据均衡放置策略

在拥有多个存储节点的云数据存储系统中,保持云存储系统的负载均衡水平为一个合理的值和最小化数据检索的时间是一个值得研究的问题。本文提出一种基于粒子群优化算法的云数据均衡放置策略(balanced placement strategy of cloud data based on particle swarm optimization algorithm, BPCD),首先,给出一种云存储系统模型;其次,引入基尼系数作为衡量该系统负载均衡水平的指标,结合数据检索时间目标函数构建多目标约束优化模型;再次,采用粒子群优化算法对问题进行求解,主要包括数据节点编码与参数设置、种群初始化、粒子群空间搜索、算法迭代4个过程;最后,将本文算法与传统云数据放置算法进行对比分析。仿真实验表明,本文提出的云数据均衡放置策略在优化云存储系统的负载水平和数据检索时间方面具有良好的效果。     

基于用户访问统计特性的流媒体文件复制策略

该文采用数理统计方法,根据用户访问统计特性预测文件流行度,结合文件自身属性,确定副本生成数量;针对不同流媒体服务器资源属性,采用动态区间映射方法进行副本放置.实验表明,基于用户访问统计特性的文件复制策略,提高了系统服务性能,保证了系统的负载均衡.     

一种提高云存储中小文件存储效率的方案

针对基于HDFS(Hadoop distribated file system)的云存储系统中小文件存储效率不高的问题,采用序列文件技术设计了一个云存储系统中小文件的处理方案.该方案利用多维属性决策理论,综合读文件时间、合并文件时间及节省内存空间大小等指标,得出合并小文件的最优方式,能够在消耗的时间和节省的内存空间之间取得平衡;设计基于层次分析法的系统负载预测算法对系统负载进行预测,从而实现负载均衡的目的;利用序列文件技术对小文件进行合并.实验结果表明,在不影响存储系统运行状况的基础上,该方案提高了小文件的存储效率.     

异构Hadoop集群中数据副本放置策略优化

针对默认的Hadoop数据副本策略未考虑集群节点硬件配置的异构、文件访问特点、实时负载等信息,导致异构环境中集群计算任务本地化比例下降、影响计算性能,提出计算型数据的副本放置优化策略.量化数据访问特征以及节点实时性能和负载,以节点数据访问负载与其计算性能相匹配为原则为副本选择存储节点.实验结果表明:与默认策略相比,优化的副本放置策略能更有效地为副本选择合适的存储节点,提高计算任务本地化比例和计算性能,并使集群对节点的变动具有更好的适应性.     

负载均衡的分布式系统任务调度优化算法

针对当前分布式系统任务调度算法存在节点负载不平衡,资源利用率低等缺陷,提出一种基于负载均衡的分布式系统任务调度优化算法.首先分析了当前分布式系统任务调度优化算法的研究现状;然后对节点的实时性能指标进行估计,并根据估计结果分配不同的任务;最后通过仿真实验与其他算法进行对比.实验结果表明,相比于经典分布式系统任务调度算法,该算法缩短了任务完成时间,使得系统各节点的负载更均衡,提高了节点资源的利用率.     

基于两阶段散列的Web集群服务器内容分配研究

针对Web集群服务器内容分配不均衡的问题，提出了基于两阶段散列的内容分配算法．该算法首先根据统一资源定位器字符串把服务器内容散列到k＊n个槽中，使得各槽的文件个数均衡；然后根据从Web日志中挖掘出的访问负载信息，采用分段负载互补方法把内容再次散列到孢个槽中，以使各槽内容负载均衡．同时，在集群分发过程中应用该算法，可提高请求的调度效率和节点的缓存命中率．实验结果表明，两阶段散列的负载均衡性能可比一次散列提高28．7％．     

分布式存储中文件分割的最优化模型

在分布式存储中,由于网络与存储节点的不稳定性,会导致文件存储过程失败。通过对文件进行适当的分割存储可以提高文件存储过程成功的概率。建立了网络存储节点可用性概率模型和文件块网络存储成功的概率模型,给出了文件分割存储策略,比较了在不同分割粒度下文件网络存储成功的概率,提出了分布式存储中文件分割的最优化模型,通过该模型可计算出大小为X的文件进行分布式存储时最优的分割块数。该模型对大文件的分布式存储具有一定的参考价值。     

A prediction mechanism of file access popularity and optimal strategy of replicas deployment in cloud computing

In cloud computing,the number of replicas and deployment strategy have extensive impacts on user's requirement and storage efficiency.Therefore,in this paper,a new definition of file access popularity according to users' preferences,and its prediction algorithm are provided to predict file access trend with historical data.Files are sorted by priority depending on their popularity.A mathematical model between file access popularity and the number of replicas is built so that the reliability is increased efficiently.Most importantly,we present an optimal strategy of dynamic replicas deployment based on the file access popularity strategy with the overall concern of nodes' performance and load condition.By this strategy,files with high priority will be deployed on nodes with better performance therefore higher quality of service is guaranteed.The strategy is realized in the Hadoop platform.Performance is compared with that of default strategy in Hadoop and CDRM strategy.The result shows that the proposed strategy can not only maintain the system load balance,but also supply better service performance,which is consistent with the theoretical analysis.     

分布式存储系统中混合数据布局算法

数据布局算法是分布式存储系统的基础性算法,也是提高数据处理效率的关键。针对节点负载和通信延迟等存储节点状态,提出了一种衡量存储节点可用性的通用方法,并在分析了已有算法的基础上,综合各种算法的优点,提出了一种混合数据布局算法。该算法根据存储节点可用性不同而采取不同的数据冗余策略。通过对比分析,证实该算法在存储量与通信量方面具有较大的优越性。     

P2P文件分发的遗传算法优化研究

P2P网络中节点加入和退出的随意性,影响着文件的可用性;为达到满意的性能,P2P社区必须对文件进行复制或替换.由此,提出引入遗传算法解决P2P文件可用性优化问题,它适合高效的、自适应的文件复制.为在组内成员节点之间复制源文件,将文件划分成大小相等的小片,依据链按时选择该节点的概率,将小片传送到成员节点;然后,每个节点向组内剩下的其它节点复制传播.该方法减少了文件复制的时间,提高了文件可用性.     

基于链路带宽的分布式存储系统框架及动态负载均衡技术

针对在节点间进行数据传输、备份等操作时,不同节点间链路带宽将限制分布式存储系统的性能的问题,借鉴软件定义网络及云存储技术的基本思想,通过对控制流与数据流的分离,提出了一种基于链路带宽的分布式存储系统框架及动态负载均衡技术.所提出框架中,在分布式数据节点之外引入一个中心控制节点,该节点掌握全局网络视图,全局网络视图中既包括数据存储表记录存储数据的分布,又包括当前链路带宽情况.在用户读取数据时,根据数据存储表确定需要的数据存放于哪些数据存储节点,指派相应的数据存储节点根据路由表发送数据包,并实时监测网络中的链路带宽负载情况,及时调整数据的传输路径.仿真验证所提架构和算法可以有效解决海量数据在不同位置的分配调度,以及缩短用户对大量数据提取的响应时间及提升存储速率等问题.      

File assignment policy in network storage system

0　IntroductionStorageareanetworks(SAN)andNetworkattachedstorage(NAS)aretwoprovenapproachestonetworkingstorage.Ingeneral,bothofSANandNASemploytheswitchtechnologyforinterconnectthatcanefficientlyreducedelayandcompetitionofnetwork[1 3] .Inthissystem ,anaccesstoonedeviceisinde pendentofotherdevices.Fromviewofabstract,eachnetworkstoragedeviceisviewedasnetwork attacheddisk .SAN (FibreChannel attacheddisks)andNAS (Ethernet \|attacheddisks)areexamplesofsuchanapproach .Sointhispaper,thenetw…     

一种适用于并行文件系统的高可用机制

针对并行文件系统文件数据分布存储的特性所带来的系统可靠性和可用性降低的问题,提出了一种提高并行文件系统可靠性与可用性的机制.该机制采用数据镜像技术,应用逻辑镜像环来指定存储节点间的镜像关系,使得一个存储节点既存储自身的数据,也作为其他节点的数据备份节点.该机制还可以通过调整镜像深度,以满足用户对文件系统不同级别的可靠性和可用性要求.同时,建立了马尔可夫链模型,以评估所提机制的可靠性和可用性.数学求解表明,在镜像深度为2时,应用该机制的并行文件系统发生数据丢失的平均时间大大提高,约为原系统的32倍.     

Load-Balance Policy in Two Level-Cluster File System

In this paper, we explored a load-balancing algorithm in a cluster file system contains two levels of metadata-server, primary-level server quickly distributestasks to second-level servers depending on the closest load-balancing information. At the same time, we explored a method which accurately reflect I/O traffic and storage of storage-node： computing the heat-value of file, according to which we realized a more logical storage allocation. According to the experiment result, we conclude that this new algorithm shortens the executing time of tasks and improves the system performance compared with other load algorithm.     

一种包含两级元数据服务器的机群文件系统

本文提出了一种两级元数据服务器机群文件系统,高级元服务器实现任务分配功能,依据与二级元服务器性能最密切相关的负载信息将任务快速分配给二级元服务器,同时在存储文件时,提出了一种文件热量模型,能正确反映各存储节点I/O流量和存储量的方法,并依据文件热量值对待存文件进行了合理的分配存储。实验结果表明,本策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。