云存储中基于竞标模式的副本管理策略

为提高数据的可用性、减小程序的响应时间及保证负载均衡,提出带有竞标思想的副本管理策略.将竞标模式中的元素(如竞标时间,竞标底价,竞标价格等)运用到副本放置过程中,在副本放置过后优化副本的分布情况.当文件数据的可用性不能满足用户需求时,副本竞标活动开始.副本的放置考虑到副本集的地理分布差异性和分布疏密程度.当数据可用性达到用户需求时,策略开始进行副本的管理和优化操作.实验结果分析表明,该策略能改善云存储系统的负载平衡和响应时间等方面的性能,满足云存储环境的实际需求.     

物联网环境下负载均衡的低代价云存储数据副本分布

为满足物联网终端结点移动性和数据访问实时性要求,根据云存储中副本分布与访问的模式,提出结合数据访问点位置和访问频率,具有低访问代价的存储服务器选取方法.考虑负载对访问代价的影响,通过动态更新代价矩阵,提出负载均衡机制.研究结果表明:该方法在最少副本数目的前提下,将副本分配到与访问情况相适应的具有较低访问代价的存储服务器上,可有效减少数据访问开销,并避免副本集中分布,保证各存储服务器的负载均衡,更适合于物联网环境中云存储数据管理.     

一种副本复制和纠错码融合的云存储文件系统容错机制

在云存储技术中,云存储文件系统的数据容错十分重要,直接关系到整个系统的可用性。该文通过对有中心的分布式文件系统进行分析,提出了双机热备的元数据管理节点容错技术和块副本与基于纠删编解码算法相结合的存储节点容错技术,为云存储文件系统设计了双重保险的容错机制。实验结果表明,该机制大大提高了云存储系统的可靠性,并提高了磁盘空间利用率。     

一种提高云存储中小文件存储效率的方案

针对基于HDFS(Hadoop distribated file system)的云存储系统中小文件存储效率不高的问题,采用序列文件技术设计了一个云存储系统中小文件的处理方案.该方案利用多维属性决策理论,综合读文件时间、合并文件时间及节省内存空间大小等指标,得出合并小文件的最优方式,能够在消耗的时间和节省的内存空间之间取得平衡;设计基于层次分析法的系统负载预测算法对系统负载进行预测,从而实现负载均衡的目的;利用序列文件技术对小文件进行合并.实验结果表明,在不影响存储系统运行状况的基础上,该方案提高了小文件的存储效率.     

云存储中动态多副本数据的完整性验证

云存储环境下,如何高效且动态地完成对用户多副本数据的完整性验证是一个极具挑战性的课题.在现有云数据完整性验证方案的基础上提出了一种多副本数据持有性证明方案,通过引入认证的副本哈希数组数据结构实现了多副本文件的可动态更新验证.方案实现了数据的安全存储与更新,并有效保证了数据多副本的隐私安全.安全性分析与实验表明了方案的安全性与有效性.     

基于云存储的内容分发技术研究

针对云存储的收费机制和内容,在分析已有的用户贪婪、服务器贪婪等启发式解决算法的基础上,提出改进的启发式云存储静态内容分发遗传算法;综合考虑资源的访问热度、资源的缺乏程度,提出基于热点预测和经济模型的动态内容分发技术;进而全面考虑当前网络带宽、边缘云存储节点性能及历史访问价值,提出概率匹配自收敛的云存储中内容分发负载均衡技术,并将提出的算法分别在模拟器CloudSim上进行测试,同时和现有的内容分发算法、负载均衡算法进行对比.实验结果证明,本文提出的算法能够应用到云存储内容分发技术当中,并且能够在提高内容分发效率的同时有效降低分发成本.     

广域存储虚拟化的一种基于最小代价副本管理模型

提出了一种基于最小代价的广域网存储虚拟化的动态副本管理模型.包括副本创建、副本选择和副本一致性更新三种策略.其中副本创建策略用排队论来分析副本创建代价和副本访问代价,动态创建副本;副本选择策略通过计算副本的最小访问代价,获得满足用户需求的副本;副本一致性更新策略采用软状态服务和对主副本、副本更新代价小的存储代理优先访问的原则进行副本的松散一致性更新.最后将本模型的实现与无副本存储系统和基于请求轮询的存储系统进行性能比较测试,测试结果表明基于最小访问代价的副本管理模型将客户端请求按照存储节点服务能力进行调度,实现了更有效的负载平衡调度.     

基于分布式binning策略的CDN负载均衡技术

提出了一种基于Distributed binning策略的负载均衡算法。该算法利用服务器上客户集群拓扑信息的文件访问历史记录,对文件的“冷热”程度进行分析,有效地完成对“热”文件内容分发,并利用客户端提供的拓扑信息以及服务器提供的拓扑信息和负载,有效地完成内容的路由,使用户可以就近取得所需的内容,缓解Internet网络拥挤的状况,提高用户访问网站的响应速度。     

基于IPV6的CDN负载均衡系统研究

负载均衡技术对于各类计算机网络系统来说都具有非常重要和普遍的意义.本文介绍了基于IPv6的CDN基本原理，分析了IPV6新特性在CDN负载均衡中的应用，探讨了CDN负载均衡的定向机制.     

结构化P2P网络中基于副本的负载均衡方法研究

针对结构化P2P网络中的“热点”问题,提出基于后继节点复制的负载均衡算法DLB-Chord.当任意节点处于超载状态并管理热门数据时,在其后继节点上创建热门数据的副本,放置副本的节点周期性地向源节点报告自己的状态,以热门数据为目标的查询到达源节点时,采用最小负载调度方法选择合适的节点响应查询.实验结果表明DLB-Chord算法可以获得较好的负载均衡效果,对网络的路由效率影响很小,同时不会引入较大的通信开销.     

基于负载均衡的在线云存储流量调度研究

在线云存储流量的调度问题是当前网络的研究热点。针对在线云存储系统中的文件上传请求调度问题,现有方案很少满足为用户提供不同带宽保证这一需求。针对不同付费级别用户要求不同带宽保证的服务场景,设计了基于请求队列长度的最大权重调度机制以及实际中可用的分布式二次随机选择调度算法,旨在实现系统服务器的流量均衡,同时最大化系统吞吐量。证明了最大权重调度机制能够保证系统稳定性,并且最大化系统吞吐量。实验结果表明,二次随机选择算法能够获得接近于最大权重调度机制的性能,较小的时间延迟和较大的系统吞吐量。其性能优于传统的Round-Robin调度算法。     

视频监控云存储模型设计

介绍了云存储的特点和模型,并结合视频存储的特点,设计了一种用于视频监控的云存储拓扑机构图,分析了其主要组成部分和主要功能机制,提出了视频监控云存储的特点和未来发展。     

一种基于CloudSim的分级云存储仿真模型

随着云存储技术的发展,云存储平台解决了大数据存储与管理的难题。然而当数据量与用户量进一步扩大,系统性能要求逐步提升,需要对目前云存储环境中的数据存储管理技术进行深入的研究与改进。由于应用实际的云存储集群进行优化研究极易受到平台环境的限制,因此基于CloudSim实现了一个分级云存储的仿真模型TCSS,给出了一种三层次的设备分级组织结构,构建了完善的数据I/O业务处理与数据存储管理等功能结构。已经将所有拓展功能模块集成到了CloudSim仿真工具的CloudSim层中,用户可以依据TCSS模型,突破平台限制,完成云存储优化策略的建模与测试工作。     

一种基于访问概率预分配的流媒体集群动态副本更新算法

研究了同构流媒体集群服务器环境下的动态副本放置问题,提出一种请求调度和动态内容部署相结合的新颖策略.首先采用滑动窗的方式预测各文件的点播率,以平衡服务器之间的实时累积访问概率为目标,在不进行内容部署的情况下,预分配相同文件不同副本的访问概率;同时进行零迁移代价的动态内容更新,从而能够提前反映出请求的实时倾向性,在降低系统请求拒绝率的同时,有效地减少了请求被分发到过载服务器后产生负载迁移的频度和代价.仿真分析的结果表明这种策略对于流媒体服务系统的研究和实践具有指导意义.     

基于云存储的高考视频监控数据管理技术

介绍了云存储的系统结构及服务模型,分析了目前主要的视频监控技术,设计了基于云存储技术的高考视频监控数据管理系统.利用云存储实现高考视频监控数据管理中的远程监控处理、分布式存储、备份等.针对多级监控下容易出现的单点失效问题,提出了一种同级互连并多点备份的方法,提高了系统的鲁棒性.     

云存储部署优化的进化算法设计

针对云计算环境下的云存储部署规划优化问题,全文研究和提出了一种进化算法并进行了求解.首先基于对象存储方法,设计了三层架构云存储模型.在建立的模型中,将云存储部署抽象为多目标优化调度问题,针对现有粒子群优化算法或遗传算法在解决这一优化调度问题过程中出现的收敛速度及调度效率等方面的不足,将2种算法进行有效融合,设计了混合进化算法来进行求解,讨论了进化算法的优化设计过程.同时,在云计算仿真平台CloudSim上,对所提出的优化算法进行仿真实验,并对云存储中负载均衡等性能指标的改善程度进行了检测.结果表明,所提出的混合进化算法有效实现了云存储的优化部署任务,与其他进化算法相比,能对性能指标实现更优配置.     

基于RS纠删码的HDFS云存储动态副本策略研究

目前多数云存储文件系统为保证其系统可靠性和性能所采用的静态完全副本冗余机制存在存储效率低、负载均衡能力差等缺点,为了提高云存储效率以及优化云存储的负载均衡能力,该文根据应用HDFS的经验,提出一种基于RS纠删码的云存储动态副本的冗余策略-SeaMaiden. SeaMaiden引入了副本调整模块和纠删码编解码模块,通过周期性的计算文件的热度,进而动态调整文件的副本数.当文件的副本数低于3时,则调用纠删码编解码模块对文件进行编码,提升文件的可靠性.当文件的热度级别上升时,则动态增加文件副本数,提升HDFS的负载均衡能力.通过实验证明SeaMaiden 能有效提高HDFS的存储效率、可靠性及响应速度.     

CDN系统存储扩容技术分析

介绍了CDN技术,分析了当前CDN系统的存储现状,比较了几大类存储技术的优缺点,提出了构建新的NAS+SAN的符合CDN系统应用的存储扩容建议。     

一种支持负载均衡的存储调度算法

针对应用层存储聚合中的调度问题,提出了一种支持负载均衡的存储调度(LBS)算法.LBS是一种基于策略的调度算法,它将应用对存储资源的需求转换为一系列约束,再通过分析约束之间的关系选择合适的存储节点或者已有的调度方案,从而提高了调度方案的复用率,维护了策略复用与节点负载之间的平衡关系,寻找到最佳的负载均衡策略.模拟测试表明,LBS算法在负载均衡方面和策略耦合方面明显优于Least和Random算法,负载均衡指标最高可提升10倍左右.     

一种云存储数据完整性验证方法

随着网络技术的迅速发展,基于云计算的应用已经渗透到社会的各个领域。云存储数据完整性技术是云计算的重要内容。然而,目前还缺乏对云存储数据完整性进行有效验证和分析的方法。提出了一种云存储数据完整性验证方法,该方法结合可恢复性证明(PoR)和MD5的优势,利用数据分块、随机抽样和周期性验证技术及时验证出数据是否被损坏。具体实现及分析结果表明,该方法能有效地验证云存储数据的完整性,有助于提高云计算的安全性。