BDCode:一种面向大数据存储系统的纠删码算法

针对含有大量数据的大数据存储系统,提出了一种基于编码技术的面向大数据备份的优化算法(BDCode).该算法通过对不同编解码服务器设置不同的虚拟节点存储组来保证系统的可用性,节点和数据块的并行解码计算提高了系统中数据损坏时的恢复效率.实验表明,所提出基于编码的大数据系统备份机制可以提高系统的存储利用率,并行解码方式的引入能加速减少数据损坏时的恢复时间,并能达到零号的系统负载均衡;此外不同的用户设置不同的编码参数,增加了大数据系统的鲁棒性.实验通过设置不同的数据块m和校验块k的比例来提升利用率,并行解码速度相比以前的串行提高近两倍.使用BDCode比CRS编码效率平均高36.1%,解码效率平均高19.3%;比RS码编码效率平均高58.2%,解码效率平均高33.1%.     

基于改进萤火虫算法的虚拟机迁移策略研究

为降低数据中心能耗同时保证其服务质量,提出了一种基于改进萤火虫算法的虚拟机迁移调度策略.综合考虑CPU、内存和带宽等因素对能耗的影响,将虚拟机迁移过程模拟为萤火虫的生物行为,并引入模拟退火机制,选择出待迁源主机,将该主机上负载最大的虚拟机迁移到能耗最低的节点.经实验表明,该方法在降低能耗和保证服务质量方面都具有良好的优...     

云存储系统的能耗优化节点管理方法

为节省云存储系统的能耗,文中考虑在云存储系统利用率较低时关闭部分存储节点.为了保证部分存储节点关闭时数据的可用性,针对如何选择云存储系统中可以关闭的节点集合问题,设计了基于辅助节点的贪心算法,并针对异构云存储系统的能耗优化问题,提出了面向异构云存储系统的能耗优化贪心算法.模拟实验结果表明,文中提出的面向异构系统的能耗优化贪心算法能较好地降低异构云存储系统的能耗,其性能明显优于一般的贪心算法,从而验证了所提算法的有效性.     

采用弧映射的双层对象分布算法

针对由混合存储设备组成的对象存储系统中数据对象分布时间开销过大的问题,提出了支持权值和副本机制的弧映射双层对象分布(TMHR)算法。该算法利用存储系统批量扩容、删除的特点,将存储系统内存储节点划分为多个子集群,采用可扩展的子集群哈希(SHFC)算法将数据对象按概率分布到子集群上以保证分布的公平性;在子集群内采用随机置换算法将数据对象等概率分布到节点上以降低数据对象分布时间开销。实验结果表明:与一致性哈希算法和随机切片算法相比,TMHR算法的数据对象分布时间分别缩短了20%和28%;数据对象的分布也更加接近理论情况;在存储节点数变化后,存储系统能够迁移较少的数据对象以进行重新均衡。该算法满足公平性、高效性、简洁性和自适应性,可以降低存储系统I/O路径的时延,提高存储系统性能,较适用于异构混合对象存储系统。     

分布式存储系统中混合数据布局算法

数据布局算法是分布式存储系统的基础性算法,也是提高数据处理效率的关键。针对节点负载和通信延迟等存储节点状态,提出了一种衡量存储节点可用性的通用方法,并在分析了已有算法的基础上,综合各种算法的优点,提出了一种混合数据布局算法。该算法根据存储节点可用性不同而采取不同的数据冗余策略。通过对比分析,证实该算法在存储量与通信量方面具有较大的优越性。     

采用多叉树模型数据迁移算法的设计与实现

针对目前传统关系型数据库中的历史数据向非关系型数据库迁移的低效率问题,提出利用多叉树模型对历史数据存储模式进行重构.基于4种模式迁移规则对各表节点之间的关联关系进行分析,推导算法完成传统关系型数据库中存储模式和历史数据的自动化迁移.该算法不受源数据库存储模式的限制,具有一定的通用性.数据迁移实验表明:在查询性能上,基于多叉树的迁移算法比官方迁移工具Sqoop有较大的提高.     

基于副本的跨数据中心虚拟机快速迁移算法

跨广域网的虚拟机动态迁移是多数据中心云计算环境的重要技术支撑。与局域网上相比,跨广域网的动态迁移由于受到带宽的限制而面临更多的技术挑战。基于跨数据中心虚拟机迁移的特性,提出了多数据中心虚拟机快速动态迁移架构和跨数据中心快速动态镜像迁移(FlimCD)算法。FlimCD算法利用脏块去冗、缺块预取和热区排序传输等优化方法,减少了虚拟机整体迁移时间,并降低了迁移对性能的影响。实验表明:对于中等I/O强度工作流,FlimCD算法的迁移时间比前拷贝方法的减少64.3%;FlimCD的优化机制使后拷贝阶段的缺块率下降49%以上。     

基于Ceph的分布式存储系统跨机架修复技术分析

详细介绍了Ceph分布式存储系统的应用性质与层次结构,通过专业的研究与分析,将该类存储系统引入跨机架修复工作中,与修复技术充分融合。实践运用过程包括设计分级解码算法、优化纠删码、修复系统数据、验证试验方案和明确跨机架数据量等,在Ceph分布式存储系统的持续影响下,高效完成跨机架修复工作,确保各类机架使用质量。     

一种基于MRF的快速图像修复算法

基于马尔可夫随机场(MRF)的图像修复算法,在纹理和结构区域均能获得较好的修复效果.然而,基于MRF对图像进行修复,各节点存在大量近似的候选块.传统基于MRF修复算法需要对各节点的近似候选块进行多次重复计算,执行效率低、计算量较大.为克服这一缺点,在马尔可夫随机场框架下,提出了一种快速图像修复算法.在初次迭代前,首先对破损图像进行预处理,采用自适应样本块修复算法,对高斯金字塔顶层的低分辨率图像进行快速的"预修复",以粗略估计破损区域中MRF内部节点的初始值,加快后续相邻节点间的消息传递及收敛速度.其次,以"预修复"结果中的初始信息为约束条件,提出了改进的置信度计算方法.同时,将初始置信度最高的候选块设为节点的第一候选块,根据预设的相似度判别阈值,并利用破损块源区域的纹理复杂程度,对MRF节点的候选块进行筛选,以避免同一个节点具有大量相似的候选块,提高节点的交互运算效率.最后利用MRF进行迭代计算,获得各节点的最优匹配块,实现图像的自动修复.实验仿真结果表明:与传统基于MRF修复算法相比,改进后算法的平均运算时间减少了75%以上,可以获得更高的峰值信噪比(PSNR),修复效果也更为理想;在提高修复效率的同时,取得了更理想的修复效果.     

基于改进Simhash的虚拟机镜像去重方法

在云环境中,传统意义上的物理服务器正在逐渐被各式虚拟机所取代,云数据中心中托管的虚拟机镜像所占用的存储空间急剧增长,如何高效地管理这些镜像文件已成为云计算研究热点之一.由于虚拟机镜像内部存在大量空白重复数据块,这在一定程度上导致了镜像内部冗余率较高.其次,不同的虚拟机镜像可能运行了相同的操作系统和应用程序,使得镜像之间同样存在较多的重复数据.针对海量虚拟机镜像,传统的去重策略将产生巨大的时间开销,同时会消耗巨大的内存空间和CPU资源,影响数据中心的性能.提出一种基于改进Simhash算法的海量虚拟机镜像多级去重方法,将一个完整的镜像文件分割为操作系统镜像段和应用数据镜像段,同时提取各部分的特征值,利用DBSCAN(density-based spatial clustering of applications with noise)聚类算法完成对镜像段的分组,将相似度较高的镜像段聚为一类,从而将全局去重分解为规模较小且重复率较高的分组内部去重,实现了指纹索引数据完全存放于内存中的重复数据删除,大幅减少了磁盘I/O次数,达到缩短去重时间的目的.     

数据分级存储系统中数据分级算法研究

随着数据存储规模的海量增长,降低存储系统的总拥有成本,提高数据访问效率是海量数据分级存储系统的关键.在分析了两种典型的数据分级算法后,结合两种算法的优点对算法进行了改良,提出了基于数据访问频率和数据设备依赖度的自动分级算法,实验结果验证了算法的有效性和数据分级算法具有较高的准确率.     

基于能耗降低的虚拟机动态迁移算法

在云计算环境中,有效的虚拟机动态迁移算法有助于降低能耗和SLA违反率。本文提出了一种改进的虚拟机动态迁移算法,通过双阈值策略、基于最小迁移代价的虚拟机选择策略和目标物理节点的概率选择策略来降低能耗,并降低SLA违反率。仿真实验表明,该方法在虚拟机动态迁移中能够降低系统的能源消耗,同时也降低了SLA违反率。     

面向可扩展集群环境的快速虚拟机迁移方法

在集群环境下,为了提高虚拟机Xen的迁移效率,提出了一种面向可扩展集群环境的快速可靠的虚拟机迁移方法.通过在分布式文件系统GlusterFS中增加Heartbeat监测模块,实时监测集群环境中物理机节点的加入与退出,动态创建或修改GlusterFS文件系统的配置文件.为了使GlusterFS文件系统能够自动管理节点,设...     

数据中心启发式反向人工蜂群虚拟机整合节能策略

针对数据密集型作业的特点,提出一个基于CPU和图形处理器(GPU)两个影响因素构建计算节点的能耗评估模型.该模型基于原虚拟机选择节能算法(ABCS)在虚拟机选择节能策略中的能效优势,进一步利用启发式思想改进蜂群优化算法,寻求虚拟机整合的最优解.在CloudSim 3.0云计算模拟器中的实验结果表明,启发式反向蜂群算法能在保证服务质量的前提下,有效降低虚拟机迁移次数,进而降低数据中心的能耗(节能25%~30%).     

云计算中虚拟机脏页实时迁移的改进策略

虚拟机的实时迁移是实现虚拟机负载均衡的关键技术.当前基于预拷贝(Pre-Copy)方式的内存迁移机制被广泛的采用,该机制在高负载状态下会造成高脏页的反复传送,导致迁移效率严重下降.有效地减少迁移过程中的数据传输量和缩短迁移时间成为亟待解决的问题.本文提出一种迁移过程脏页率预测优化算法,利用马尔科夫模型预测脏页被传送后再次变脏的概率,并结合预测概率时脏页的变化情况,避免了迭代过程中高脏页频繁重传.实验结果表明,本文算法在高负载环境下能明显减少高脏页的无效传送,同时缩短了10%的迁移时间,提高虚拟机迁移性能.     

基于云计算的异构平台虚拟机动态迁移策略研究

虚拟机的迁移是云计算环境中平衡节点负载的重要手段.以往虚拟机只能在相同的虚拟机监控器下迁移,提出一种虚拟机迁移机制,使虚拟机能够在不同的架构下进行动态迁移.     

基于RAID-6的容量扩容布局研究

随着数据量的不断增加,原有存储系统已不能满足海量数据存储的要求。RAID(redundant arrays of independent disks)存储系统因具有良好的数据可靠性、磁盘独立性和可扩展性,成为应用范围最广的存储系统。新型存储技术存在研究迟缓、推广率低的问题,使得在原有RAID存储系统中添加新的磁盘,成为存储海量数据最为便捷,最为有效,成本最低的方式。RAID发展至今,根据对数据存储的不同需求,衍生出了不同层级的RAID存储系统。RAID-6存储系统由数据盘与2个校验盘构成,相较于其他RAID存储系统,具有更好的数据容错功能,更高的数据恢复能力。因此,提出一种基于H-Code针对RAID-6存储系统的扩容算法HS6。该算法在扩容过程中体现了最小化数据迁移量和快速扩容等特性,与传统的Round-Robin和Semi-RR扩容算法相比,该算法减少了73.2%~88.6%的数据迁移量,缩短了30.6%~62.9%的总扩容时间。     

基于网络编码的多媒体云存储系统单节点修复算法

针对现有多媒体云存储系统单节点修复算法中,有限域大,编解码复杂度高,磁盘I/O开销大,存储开销与修复带宽开销不均衡等问题,基于网络编码提出一种多媒体云存储系统单节点修复算法.该算法将系统中节点已分组的多媒体文件数据进行分组存储,并将组内数据在GF(2)有限域上进行异或编码,当部分节点失效时,新生节点只要连接同组中2~3个未失效节点即可精确修复失效节点中的数据.理论分析与仿真实验结果表明:该算法可减小编解码与修复的复杂度,降低磁盘I/O开销;在相同条件下,该算法存储开销与基于最小存储再生码(minimum storage regeneration codes,MSR)算法的存储开销一致,而修复带宽开销与最小带宽再生码(minimum bandwidth regeneration codes,MBR)算法接近.     

一种DTN路由算法

针对DTN长延时、高动态拓扑、节点分布稀疏、频繁断路等网络特性,提出一种基于存储-携带-转发机制的DTN路由算法.该算法的源节点不以建立到目的节点的路由为发送数据的前提,而是在通信范围内选择与目的节点之间传输概率最大的节点,作为数据中继节点,中继节点存储数据,遇到目的节点或更优中继节点进行数据转发,经过逐跳携带转发,最终到达目的节点.在存储-携带-转发过程中,充分利用网络频繁变化的特点,针对到目的节点或更优中继节点的短时局部连通路径,采用Ad Hoc网络路由策略,提高效率.通过NS2仿真表明:所提出的算法具有较好的性能,适合在DTN中应用.     

一种副本复制和纠错码融合的云存储文件系统容错机制

在云存储技术中,云存储文件系统的数据容错十分重要,直接关系到整个系统的可用性。该文通过对有中心的分布式文件系统进行分析,提出了双机热备的元数据管理节点容错技术和块副本与基于纠删编解码算法相结合的存储节点容错技术,为云存储文件系统设计了双重保险的容错机制。实验结果表明,该机制大大提高了云存储系统的可靠性,并提高了磁盘空间利用率。