云存储中基于竞标模式的副本管理策略

为提高数据的可用性、减小程序的响应时间及保证负载均衡,提出带有竞标思想的副本管理策略.将竞标模式中的元素(如竞标时间,竞标底价,竞标价格等)运用到副本放置过程中,在副本放置过后优化副本的分布情况.当文件数据的可用性不能满足用户需求时,副本竞标活动开始.副本的放置考虑到副本集的地理分布差异性和分布疏密程度.当数据可用性达到用户需求时,策略开始进行副本的管理和优化操作.实验结果分析表明,该策略能改善云存储系统的负载平衡和响应时间等方面的性能,满足云存储环境的实际需求.     

PPOcean分布式存储系统设计

文章设计了一种新型的P2P分布式存储系统——PPOcean。分布式存储系统是P2P技术的一个重要的研究领域,在分析现有研究的基础上,提出了在传输层上构建一个抽象的逻辑网络的架构。该系统采用了最近优先关键字路由算法、基于频率的动态副本管理以及激励管理等技术,提高了搜索速度,有效平衡了副本搜索次数,从而为用户提供了安全的数据访问。     

基于TEE的可信存储系统设计与实现

在对当前主流可信存储系统的分析和研究的基础上，设计并实现了符合GP标准，同时满足多种安全存储特性的可信存储系统(TSS). TSS不仅能对数据进行授权加密、保证数据的完整性和一致性，同时还提供了很多其他安全存储特性(如持久存储对象的原子操作).为了改善大数据读写性能，提出了一种在REE的内核空间中动态申请连续内存并通过通信管道将该连续物理内存映射到TEE中的方法.这种方法可以有效地减少TEE和REE之间的切换次数、内存申请次数及内存的拷贝负载.实验数据显示，与其他相关可信存储系统相比，TSS有8%到10%的性能提升.     

广域存储虚拟化的一种基于最小代价副本管理模型

提出了一种基于最小代价的广域网存储虚拟化的动态副本管理模型.包括副本创建、副本选择和副本一致性更新三种策略.其中副本创建策略用排队论来分析副本创建代价和副本访问代价,动态创建副本;副本选择策略通过计算副本的最小访问代价,获得满足用户需求的副本;副本一致性更新策略采用软状态服务和对主副本、副本更新代价小的存储代理优先访问的原则进行副本的松散一致性更新.最后将本模型的实现与无副本存储系统和基于请求轮询的存储系统进行性能比较测试,测试结果表明基于最小访问代价的副本管理模型将客户端请求按照存储节点服务能力进行调度,实现了更有效的负载平衡调度.     

物联网环境下负载均衡的低代价云存储数据副本分布

为满足物联网终端结点移动性和数据访问实时性要求,根据云存储中副本分布与访问的模式,提出结合数据访问点位置和访问频率,具有低访问代价的存储服务器选取方法.考虑负载对访问代价的影响,通过动态更新代价矩阵,提出负载均衡机制.研究结果表明:该方法在最少副本数目的前提下,将副本分配到与访问情况相适应的具有较低访问代价的存储服务器上,可有效减少数据访问开销,并避免副本集中分布,保证各存储服务器的负载均衡,更适合于物联网环境中云存储数据管理.     

云存储系统的能耗优化节点管理方法

为节省云存储系统的能耗,文中考虑在云存储系统利用率较低时关闭部分存储节点.为了保证部分存储节点关闭时数据的可用性,针对如何选择云存储系统中可以关闭的节点集合问题,设计了基于辅助节点的贪心算法,并针对异构云存储系统的能耗优化问题,提出了面向异构云存储系统的能耗优化贪心算法.模拟实验结果表明,文中提出的面向异构系统的能耗优化贪心算法能较好地降低异构云存储系统的能耗,其性能明显优于一般的贪心算法,从而验证了所提算法的有效性.     

一种提高云存储中小文件存储效率的方案

针对基于HDFS(Hadoop distribated file system)的云存储系统中小文件存储效率不高的问题,采用序列文件技术设计了一个云存储系统中小文件的处理方案.该方案利用多维属性决策理论,综合读文件时间、合并文件时间及节省内存空间大小等指标,得出合并小文件的最优方式,能够在消耗的时间和节省的内存空间之间取得平衡;设计基于层次分析法的系统负载预测算法对系统负载进行预测,从而实现负载均衡的目的;利用序列文件技术对小文件进行合并.实验结果表明,在不影响存储系统运行状况的基础上,该方案提高了小文件的存储效率.     

云存储系统中数据冗余策略优化问题

针对云存储系统现有冗余策略及其改进策略的不足, 提出一种将完全备份与改进的RS(Reed\|Solomon)纠删码结合的自适应数据冗余策略RIRS(Replication Improved RS)。该策略能根据具体应用环境调整参数以最大限度地优化系统性能。在参数调整使其退化成纯粹的完全备份方法条件下, 提出一个动态副本管理优化模型DRMO（Dynamic Replication Management Optimized）对其进行改进。实现副本数和副本位置的动态调整。分析表明, RIRS充分融合了完全备份和纠删码冗余的优势, 能节省存储空间, 降低访问时延并提高系统的可靠性和稳定性。在此基础上提出的DRMO能在满足数据有效性要求的同时, 进一步节省存储空间并实现负载均衡。     

大数据存储中的容错关键技术综述

不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术.文中介绍了数据容错的两种基本策略：复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等.     

对象存储系统的合作缓存方案

结合对象存储系统的数据访问模式,综合设计客户端和元数据服务的缓存,构造存储系统的合作缓存方案.该方案将客户端和元数据服务器的缓存作为整体进行设计,以达到提高缓存利用率的目的;通过缓存准入策略合理选择数据传送模式,减少数据传送的通信量;同时,合作缓存方案根据数据对象的大小、访问成本和网络负载动态地调整缓存策略,提高存储系统的服务质量.实验显示,合作缓存方案能较好地适应不同的工作负载,有效提高了系统的输入输出性能.     

存储区域网络基于主机接口卡的负载均衡

为提高存储区域网络中主机的I/O吞吐能力,在主机上加入冗余路径驱动程序,对逻辑单元(LUN)的I/O请求进行处理.将LUN的I/O请求分配到它的所有路径上,使主机的负载均匀地分布在存储网络中.应用排队理论的多服务员聚集模型,分析了总吞吐能力与主机负载、主机接口卡(HBA)数目、HBA性能之间的关系.实现了基于HBA的负载均衡算法,提高了主机的吞吐能力,缩短了I/O平均响应时间.     

Design and Implementation of SCSI Target Emulator

Introduction With the explosion in the amount of information, the performance and scalability of storage systems have become critical issues along with the system cost-effectiveness. Storage area network (SAN)[1] is a new storage system model with excelle…     

VISA存储网络系统元数据管理的研究

为了提高虚拟接口存储结构(VISA)存储网络系统的性能,设计实现了基于块级的元数据管理子系统.该系统的元数据管理子系统实现了物理设备和逻辑设备的块地址空间之间的映射,支持动态地址映射、动态块重分配和热块冗余技术,可以对I/O请求的路径和数据传输的路径完全控制,从而有效地改善了VISA存储网络系统的I/O性能,使数据布局更加合理,提高了存储管理的灵活性,初步实现了负载均衡,并且使VISA存储网络系统具备了容错能力和节点的动态增加能力.测试结果表明:在加入了基于块级的元数据管理功能带来相应开销的情况下,VISA存储网络系统原型与传统存储网络系统iSCSI Linux MD相比,传输延迟减少了8.2%～21.0%,传输吞吐率提高了8.7%～11.9%.     

块级别的海量存储虚拟化系统

为了适应海量规模存储环境的要求,设计并实现了一种块级别的带内存储虚拟化系统(AXUM)。它使用连续空间段来组织虚拟盘和物理盘,减少了元数据的空间开销。并通过实现目标器模式的虚拟化服务,提供良好的兼容性。同时,AXUM利用多节点协同工作消除了性能瓶颈。实验结果表明:相对于普通网络磁盘,AXUM虚拟化系统带来的延迟在0.6%以下,而该系统的数据处理能力仅受限于物理设备的性能,适用于海量存储网络环境。     

集群服务器系统前端接口子系统的设计与实现

基于链路聚集技术，提出并实现了一种适用于集群服务器系统的前端接口子系统方案，使得接口子系统中的接口机数目能随应用规模的变化而扩展，并增强了集群系统的可用性．链路聚集将多条物理链路聚合成一条单一虚拟的媒体访问控制（MAC）逻辑链路，通过将虚拟MAC解析为集群系统对外服务的虚拟IP（VIP），使多台接口机表现为单一IP的功能．利用链路聚集能在多条物理链路间进行负载均衡的功能，结合接口机的负载均衡策略来实现层次型的负载均衡，有效地提高了系统的I／O带宽．利用链路聚集的链路级容错，结合接口的检测机制实现了系统的高可用功能．理论分析和实验测试结果均表明，该方案能有效扩展集群系统的I／O带宽和处理能力．     

基于I/O通道的存储系统性能模型

基于数据存储I/O通道,为“服务器存储”和“数据中心”两种典型存储结构建立排队模型,利用模型对比分析两种结构的性能特点。结果表明:与服务器存储相比,数据中心的“用户绕过服务器直接访问存储设备”结构,避免了服务器成为系统瓶颈,提高了存储设备利用率,使系统总吞吐量有较大幅度增长。实验证明:该模型可有效地反映实际存储系统的性能变化趋势,并给出大致性能评价。     

An energy-saving scheduling scheme for streaming media storage systems

The rapid growth of streaming media applications on the Internet is proposing higher requirements on energy consumption and I/O performance of the storage systems.However,the optimized I/O requests from different initiators will be mixed disorderly when they are reaching the storage system concurrently,which leads to increasing energy consumption.This paper proposes an energy-saving scheduling scheme based on I/O Stream(ES-IOS).The ES-IOS scheme can take the advantage of the I/O characteristics of streaming media and reorganize the mixed and disordered I/O requests into "streams".Technically,The ES-IOS scheme includes two main points,a priority-based weighted stream scheduling algorithm(PWSS) and a regression-fitting-based popularity prediction algorithm(RFPP).The PWSS algorithm can schedule the I/O streams in weighted queue based on priority to limit energy consumption.The priority of each stream is determined by its popularity.According to the I/O access records over a period,the RFPP algorithm can predict the popularity of each stream via regression fitting.Based on the popularities,the PWSS algorithm assigns more continuous service time to the hot streams and reversely less service time to the cold ones.Trace-driven experiments show that the ES-IOS scheme can reduce the energy consumption by 38%and enhance the I/O throughput by 27%approximately.     

基于SAN的虚拟化系统元数据组织策略

SAN(storage area netw ork)结构的实现使得多服务器平台可以共享多种存储设备,为了有效利用存储空间并提高数据存储的可靠性,提出一种基于SAN的虚拟化系统元数据分布策略,并将这种分布策略在I/O节点机的SCS I(sm a ll com pu ter system in terface)目标器中间层用软件的方法实现。通过映射位图方式将设备端的存储资源虚拟化,为光纤网络前端的各种异构平台服务器提供统一的存储资源视图。同时对元数据进行分布冗余存储提高系统可靠性。实验与结果表明:该设计减小了对物理存储设备的需求,使存储设备得到可靠且有效的利用。     

高性能处理器中干扰公平队列I/O调度器

高性能处理器和系统需要高存储带宽和高效的外部I/O处理,需要同时服务吞吐率密集应用和延迟敏感应用,给多道程序计算机系统和多租户模式的超级计算机系统的公平性带来巨大的挑战。针对这两类应用共享SSD (solid-state disks)等可并发的存储设备问题,开发一款基于队列的干扰公平(interference fair queueing,IFQ)调度器。在Linux操作系统实现IFQ调度器,并与其他调度器进行对比,包括Linux的CFQ调度器、STF调度器、MFAP的时间片流转调度器和MFAP的短时间片流转调度器。基于合成工作集、访问踪迹工作集和真实应用工作集的结果显示, IFQ调度器可以同时保证公平性和响应延迟。     

THCAS:内容存储系统及其性能优化

为实现开源的基于内容存储系统及性能优化,以应对固定内容数据存储的急速增长而带来的对这种存储系统结构的广泛需求,该文设计并实现了清华大学的基于内容存储(THCAS)系统,并对系统性能进行了分析和评价,在此基础上,提出了多线程Hash和存储流水线2种基于内容存储的优化方法。在正常操作系统I/O Buffer和去掉异步I/O 2种情况下,将优化后的系统与原系统的写数据吞吐率和CPU使用率进行测试比较,优化后系统在2种情况下均提升了原系统的写数据性能,多线程Hash提高了150%,而存储流水线提高了25%。