基于网络编码的多媒体云存储系统单节点修复算法

针对现有多媒体云存储系统单节点修复算法中,有限域大,编解码复杂度高,磁盘I/O开销大,存储开销与修复带宽开销不均衡等问题,基于网络编码提出一种多媒体云存储系统单节点修复算法.该算法将系统中节点已分组的多媒体文件数据进行分组存储,并将组内数据在GF(2)有限域上进行异或编码,当部分节点失效时,新生节点只要连接同组中2~3个未失效节点即可精确修复失效节点中的数据.理论分析与仿真实验结果表明:该算法可减小编解码与修复的复杂度,降低磁盘I/O开销;在相同条件下,该算法存储开销与基于最小存储再生码(minimum storage regeneration codes,MSR)算法的存储开销一致,而修复带宽开销与最小带宽再生码(minimum bandwidth regeneration codes,MBR)算法接近.     

基于MooseFS分布式云存储系统负载均衡方法的研究

基于MooseFS的分布式云存储系统,在节点间性能差异较大时存在负载不均衡问题,文章提出了一种两级负载均衡的策略,将存储节点分为若干集合,不同集合节点采用优先权值进行调度,同一个集合中节点采用权重轮询均衡算法。实际部署及实验结果表明,该文提出的负载均衡方法在存储结点性能差异较大时,可以很好地实现基于MooseFS分布式云存储系统的负载均衡。     

基于粒子群优化算法的云数据均衡放置策略

在拥有多个存储节点的云数据存储系统中,保持云存储系统的负载均衡水平为一个合理的值和最小化数据检索的时间是一个值得研究的问题。本文提出一种基于粒子群优化算法的云数据均衡放置策略(balanced placement strategy of cloud data based on particle swarm optimization algorithm, BPCD),首先,给出一种云存储系统模型;其次,引入基尼系数作为衡量该系统负载均衡水平的指标,结合数据检索时间目标函数构建多目标约束优化模型;再次,采用粒子群优化算法对问题进行求解,主要包括数据节点编码与参数设置、种群初始化、粒子群空间搜索、算法迭代4个过程;最后,将本文算法与传统云数据放置算法进行对比分析。仿真实验表明,本文提出的云数据均衡放置策略在优化云存储系统的负载水平和数据检索时间方面具有良好的效果。     

一种Ceph块设备跨集群迁移算法

在虚拟机全系统在线迁移中,由于镜像文件数据量巨大,对整个迁移过程的效率有着关键的影响,因此优化迁移时间,成为虚拟机迁移技术的研究热点.对于以分布式存储系统(其中较为常见的是Ceph块设备)作为镜像文件存储方式的虚拟机进行迁移时,镜像文件需要经过源存储节点到源计算节点,再到目的计算节点,最后到目的存储节点.这种方式忽略了底层存储系统特点可以给迁移带来的好处,针对上述问题,提出了一种Ceph块设备跨集群迁移算法,采用源存储节点并行向目的存储节点迁移数据的方式,利用了存储节点的计算和网络能力.实验表明,该算法加快了迁移速度,同时适当增加存储节点数目能进一步提升算法效率.     

基于链路带宽的分布式存储系统框架及动态负载均衡技术

针对在节点间进行数据传输、备份等操作时,不同节点间链路带宽将限制分布式存储系统的性能的问题,借鉴软件定义网络及云存储技术的基本思想,通过对控制流与数据流的分离,提出了一种基于链路带宽的分布式存储系统框架及动态负载均衡技术.所提出框架中,在分布式数据节点之外引入一个中心控制节点,该节点掌握全局网络视图,全局网络视图中既包括数据存储表记录存储数据的分布,又包括当前链路带宽情况.在用户读取数据时,根据数据存储表确定需要的数据存放于哪些数据存储节点,指派相应的数据存储节点根据路由表发送数据包,并实时监测网络中的链路带宽负载情况,及时调整数据的传输路径.仿真验证所提架构和算法可以有效解决海量数据在不同位置的分配调度,以及缩短用户对大量数据提取的响应时间及提升存储速率等问题.      

面向能耗优化的云渲染系统任务调度策略

针对云渲染系统中由于渲染节点与任务不匹配调度而带来的能耗浪费问题,提出一种通过任务调度方式来优化系统能耗的策略。为了形式化描述系统的整体能耗,综合考虑节点空闲能耗和任务运行能耗,建立渲染任务能耗模型;以降低系统总体能耗为优化目标,根据渲染任务之间无依赖性的特点,将任务调度序列拆分成子序列,利用模拟退火思想,通过优化子序列任务调度提高节点利用率、减少节点空闲能耗,以此降低系统全局任务的能耗;采用矩阵存储子序列任务的能耗,以空间换时间的方式降低策略的时间复杂度。实验结果表明:该策略在多渲染作业环境中能耗优化效果比先进先出算法提升了43.4%,比能耗感知的调度算法提升了6.7%,能够有效降低云渲染系统的总体能耗,同时具有良好的扩展性,使云渲染系统的能耗效率和整体性能得到提升。     

非均匀分布的异构传感器网络K覆盖调度算法

针对现有调度算法大多没有考虑监控区域内目标发生频率的非均匀性和节点异构的因素,导致无法适应异构无线传感器网络的特点,提出一种目标非均匀分布条件下K覆盖的异构无线传感器网络调度算法.算法从全网在所有时间片服务质量和节点能耗的角度建立节点调度模型,综合考虑节点异构和监测目标的非均匀分布等约束条件,以网络覆盖率最大和工作节点的数量最少为目标,构造非线性优化函数,提出一种控制参数自适应的微分算法求解节点的调度方案.仿真结果表明:相比典型算法,改进算法能够在满足节点异构和监测目标非均匀分布前提下增强网络的服务质量和降低网络的能耗.     

非结构化云数据管理系统不稳定数据分区识别算法

在大数据背景下,非结构化云数据管理系统中数据节点需要处理不断膨胀的原始数据、索引数据和中间数据,"数据膨胀"将显著增加云数据管理系统的时间和能耗等各类开销.为降低非结构化数据管理系统因数据频繁移动而导致的数据传输开销,文中提出了一种不稳定数据分区的识别算法.首先面向非结构化数据管理系统,通过引入云模型理论对存储系统中的数据分区进行云建模,识别出不稳定的数据分区,然后调用相关算法对其进行重新布局.实验结果显示,不稳定数据分区识别算法可以有效地识别出不稳定的数据分区,对其重新布局后,降低数据传输开销的效果显著.     

采用弧映射的双层对象分布算法

针对由混合存储设备组成的对象存储系统中数据对象分布时间开销过大的问题,提出了支持权值和副本机制的弧映射双层对象分布(TMHR)算法。该算法利用存储系统批量扩容、删除的特点,将存储系统内存储节点划分为多个子集群,采用可扩展的子集群哈希(SHFC)算法将数据对象按概率分布到子集群上以保证分布的公平性;在子集群内采用随机置换算法将数据对象等概率分布到节点上以降低数据对象分布时间开销。实验结果表明:与一致性哈希算法和随机切片算法相比,TMHR算法的数据对象分布时间分别缩短了20%和28%;数据对象的分布也更加接近理论情况;在存储节点数变化后,存储系统能够迁移较少的数据对象以进行重新均衡。该算法满足公平性、高效性、简洁性和自适应性,可以降低存储系统I/O路径的时延,提高存储系统性能,较适用于异构混合对象存储系统。     

一种改进的分布式存储系统节点动态扩展策略

分布式存储系统经常面临数据的均衡分布和扩容问题,针对现有一致性哈希动态扩展算法的不足,提出一种基于访问概率的动态扩展策略.该策略基于热点数据访问概率大的思想改进原算法虚拟节点的分配方法,能够有效改善扩容后造成请求命中率下降和负载均衡的问题.实验结果表明,在系统添加新存储节点时,改进策略有效地优化了系统的性能,缩短了系统到达新的负载平衡状态的时间.     

云存储部署优化的进化算法设计

针对云计算环境下的云存储部署规划优化问题,全文研究和提出了一种进化算法并进行了求解.首先基于对象存储方法,设计了三层架构云存储模型.在建立的模型中,将云存储部署抽象为多目标优化调度问题,针对现有粒子群优化算法或遗传算法在解决这一优化调度问题过程中出现的收敛速度及调度效率等方面的不足,将2种算法进行有效融合,设计了混合进化算法来进行求解,讨论了进化算法的优化设计过程.同时,在云计算仿真平台CloudSim上,对所提出的优化算法进行仿真实验,并对云存储中负载均衡等性能指标的改善程度进行了检测.结果表明,所提出的混合进化算法有效实现了云存储的优化部署任务,与其他进化算法相比,能对性能指标实现更优配置.     

基于协作频谱感知和干扰约束的认知异构网络

针对异构无线网络的空闲信道检测准确率及网络吞吐量的优化问题,提出一种基于协作频谱感知和干扰约束的认知异构网络.首先,所提出的认知异构网络系统模型采用多个中心次用户(Center Secondary Users,CSU)节点协助其他节点进行频谱感知,并引入了能量检测阈值,在提高空闲信道检测准确率的同时节省检测能耗.接着,采用最大化数据速率的联合优化方程,在干扰功率的限制约束下为节点分配最佳的发射功率,降低干扰程度并优化网络吞吐量.实验仿真结果表明,相比较基于集群的协作频谱感知分配策略算法和基于QoS约束的能量感知竞争功率分配算法,该算法的网络吞吐量分别提升了3.4%和1.5%,平均频谱利用率分别提高了9.3%和7.4%.     

云存储环境下分组校验纠删码冗余算法研究

在海量云存储系统中,提高存储利用率,降低冗余方案的计算复杂度是热点研究问题.分组校验纠删码冗余算法能够减少在数据重构时所需的纠删码片段,从而减少对存储网络带宽以及系统I/O的需求,降低存储系统的负载.介绍了分组校验纠删码的编码规则,参数设置,通过实验分析算法具有良好的容错能力与空间利用率,能够满足云存储系统需要的编解码性能.     

一种面向查询的无线传感器网络混合型数据存储算法

提出了一种面向数据查询的混合型的数据存储算法,将数据存储在合适的位置。通过分析采集、存储、查询节点之间的位置关系,存储模式可在集中存储和分布存储之间相互切换。本算法引入了"热点"保护机制,可有效均衡网络能耗。实验结果表明,该算法的能耗均衡性、节点能耗、生命周期和丢包率相比于GHT(Geographic Hash Table)算法有一定的改善。     

一种副本复制和纠错码融合的云存储文件系统容错机制

在云存储技术中,云存储文件系统的数据容错十分重要,直接关系到整个系统的可用性。该文通过对有中心的分布式文件系统进行分析,提出了双机热备的元数据管理节点容错技术和块副本与基于纠删编解码算法相结合的存储节点容错技术,为云存储文件系统设计了双重保险的容错机制。实验结果表明,该机制大大提高了云存储系统的可靠性,并提高了磁盘空间利用率。     

适应节能与异构环境的MapReduce数据布局策略

大数据处理过程中产生的高能耗问题亟待解决,尤其是在数据量规模剧增的背景下。在对已有数据布局策略存在问题分析的基础上,分析了与基于存储区域划分的节能模式及与异构HDFS集群的不适应、数据块切分算法不灵活、存储节点选择的随机性等几个方面的问题,继而提出面向节能的MapReduce数据布局策略。首先,新策略适应将集群划分为不同存储区域(Active-Zone与Sleep-Zone)的节能模式;其次,新策略对传统的数据块数计算方法进行了改进,提出作业截止时间约束下的最小任务数计算方法确定数据块数量;最后,新的存储策略增加了对异构集群环境的适应能力,并能根据不同的作业类型进行存储节点的选择。实验结果表明:新的数据布局策略能够适应异构集群环境,达到减小MapReduce作业能耗的目的。     

云计算下异构数据集成模型的构建

为使用户能够将现有的应用系统向云计算环境迁移,将原有的异构数据处理无缝的映射为云计算环境下通用的数据服务和行为,从云计算和云存储的理论和模型出发,面向大规模的数据密集应用,针对各种异构数据库存储系统和云存储系统,构建云计算环境下异构数据模型,为用户提供透明、统一的异构数据集成和访问接口服务。实践证明:云计算下基于本体的异构数据集成模型的构建,可以为云计算环境下各业务应用提供统一的数据管理和处理方法,方便、快捷地实现异构数据统一的检索与查询以及业务应用所处理的各种异构数据之间实质性关联与映射。     

分布式存储系统中混合数据布局算法

数据布局算法是分布式存储系统的基础性算法,也是提高数据处理效率的关键。针对节点负载和通信延迟等存储节点状态,提出了一种衡量存储节点可用性的通用方法,并在分析了已有算法的基础上,综合各种算法的优点,提出了一种混合数据布局算法。该算法根据存储节点可用性不同而采取不同的数据冗余策略。通过对比分析,证实该算法在存储量与通信量方面具有较大的优越性。     

纠删码存储系统中数据修复性能优化研究进展与展望

纠删码被广泛应用于分布式存储系统以保存在线应用的用户数据。当部分存储节点发生故障时，纠删码存储系统需使用新的存储节点替换原有失效节点，并恢复失效的用户数据。由于需要执行数据编码、传输和读写等操作，纠删码存储系统通常需要消耗较长的时间执行数据修复操作，存储的用户数据将长期处于不可靠状态。为了保障存储数据的可靠性，研究学者提出了多种数据修复性能优化方案以减少数据修复时间。本文介绍了数据修复性能优化问题，分析了各个应用场景下主要的性能瓶颈和性能优化难点，总结了提升数据修复性能的主要技术方案和研究工作，并对数据修复性能优化研究领域的未来发展方向进行展望，为纠删码存储系统设计人员准确选择适合特定应用场景的数据修复性能优化方案提供思路。     

面向Deadline的云代理资源预留策略

由于传统的代理模式在应对短期用户大量到达高峰和实例利用率上存在优化空间,为节约资源和节省开支,提出了一种新的面向Deadline的云服务代理构想,利用中间件技术整合用户请求和实例资源。分析发现,面向Deadline的云代理能有效平滑需求高峰,并大幅度提高实例利用率。针对用户deadline相同与不同2种模式,分别设计了贪心算法和EDF平移算法,实现了高峰平滑和利用率提升,降低了开支。实验表明,相比于未采用云代理,面向Deadline云服务代理处理大量用户请求时能减少50%以上的费用,具有良好的应用前景。