重复数据删除系统元数据存储布局研究

根据重复数据删除的特点,针对连续数据访问为主的应用,设计基于B+树的元数据索引结构;将元数据分为冷热两种,分别设计不同的元数据布局策略。研究结果表明,低能耗磁盘能够保持更长时间的待机状态以便节能,同时可以有效地减少重复数据删除时的随机磁盘访问次数。并且没有额外的硬件开销,实现仅在磁盘上存储索引,而不是之前研究中的在磁盘和内存中存储索引。      

机群文件系统中一种文件迁移的客户端决策

为降低机群文件系统中文件访问的平均响应时间,提出了一种能反映机群节点上文件访问频繁程度的热量模型,在此模型的基础上给出了一种文件迁移的客户端决策,用于决定在非重负载情况下,单个文件在机群中的理想存放位置.模拟对比实验的结果显示,采用该策略,在总负载恒定的情况下,在4、8节点机群上文件访问的平均响应时间分别降低了21.6%和26.3%,在平均负载恒定的情况下,在4、8节点机群上文件访问的平均响应时间分别降低了22.2%和16.8%,结果表明该策略可以有效地降低文件访问的平均响应时间,提高系统的可扩展性,从而提高机群文件系统的性能.     

对象存储系统的合作缓存方案

结合对象存储系统的数据访问模式,综合设计客户端和元数据服务的缓存,构造存储系统的合作缓存方案.该方案将客户端和元数据服务器的缓存作为整体进行设计,以达到提高缓存利用率的目的;通过缓存准入策略合理选择数据传送模式,减少数据传送的通信量;同时,合作缓存方案根据数据对象的大小、访问成本和网络负载动态地调整缓存策略,提高存储系统的服务质量.实验显示,合作缓存方案能较好地适应不同的工作负载,有效提高了系统的输入输出性能.     

网格存储中的自适应负载平衡策略

为了优化网格存储的系统性能,针对网格环境中不同存储单元的性能差异,基于文件的访问特点提出一种自适应的负载平衡策略. 通过建立能量模型体现文件访问对存储单元的负载压力;通过与用户访问复合减少负载调整开销;通过创建和回收副本实现数据访问优化. 实验证明,提出的负载平衡策略与传统的磁盘冷却算法相比,请求处理时间和系统吞吐量均有20%左右的提高.     

基于用户访问统计特性的流媒体文件复制策略

该文采用数理统计方法,根据用户访问统计特性预测文件流行度,结合文件自身属性,确定副本生成数量;针对不同流媒体服务器资源属性,采用动态区间映射方法进行副本放置.实验表明,基于用户访问统计特性的文件复制策略,提高了系统服务性能,保证了系统的负载均衡.     

面向高性能计算的混合存储系统设计与实现

提出了一种采用RAM-disk的混合存储系统,在计算节点的并行文件系统的元数据服务器和对象存储服务器组件中设置不同用途的RAM-disk,用于缓存各种访问模式的文件并提高系统的读写性能.结果表明,采用RAM-disk的混合存储系统可以明显提高系统的读写性能,同时可提高系统的可用性和可维性.     

广域存储虚拟化的一种基于最小代价副本管理模型

提出了一种基于最小代价的广域网存储虚拟化的动态副本管理模型.包括副本创建、副本选择和副本一致性更新三种策略.其中副本创建策略用排队论来分析副本创建代价和副本访问代价,动态创建副本;副本选择策略通过计算副本的最小访问代价,获得满足用户需求的副本;副本一致性更新策略采用软状态服务和对主副本、副本更新代价小的存储代理优先访问的原则进行副本的松散一致性更新.最后将本模型的实现与无副本存储系统和基于请求轮询的存储系统进行性能比较测试,测试结果表明基于最小访问代价的副本管理模型将客户端请求按照存储节点服务能力进行调度,实现了更有效的负载平衡调度.     

一种基于云存储系统的自适应数据碎片恢复优化方法

针对基于重删后云存储系统中数据碎片引起恢复性能降低的问题,采用自适应碎片分组设计了一个云存储系统中重删后优化数据恢复的处理方法.该方法不使用固定大小的读窗口,根据数据块地址关联性分成可变大小的逻辑组,旨在选择有限数量的容器,为备份提供更多不同的引用块,减少所选容器中重复或未引用块的数量,减少磁盘访问,以精确识别和删除碎片数据,提升数据恢复性能以及重删率.实验结果表明,该方法在提高恢复性能的同时减少重写数据量.      

保障服务质量的节能流媒体存储系统

为了节约能源并保障服务质量(quality of service,QoS),提出了一种保障服务质量的节能流媒体存储系统的设计。通过动态的磁盘分组和实时的数据交换,将所有磁盘划分为重负载的性能磁盘组和轻负载的节能磁盘组。提出视频数据分块算法,并用以提高系统的节能效果和服务质量。实验数据表明:该系统适应流媒体应用的特点,在保障服务质量的前提下,节能效果是FT算法的16.34倍、PDC算法的4.47倍。     

云中心基于Nginx的动态权重负载均衡算法

为了解决云中心的服务器端在高并发情况下各节点的负载失衡问题,在对负载均衡技术Nginx自带的负载均衡策略和主流的负载均衡策略进行研究、分析的基础上,提出了一种动态调节权重的负载均衡策略.该策略基于加权轮询策略进行改进,同时考虑服务器的本身硬件性能与工作时的负载情况,设计了静态权值和动态权值的计算方法,将两者结合得到节点最终权值.静态权值主要考虑了各服务器的硬件性能情况,动态权值的计算则是收集各后端服务器节点工作时的CPU利用率、内存利用率、网络性能情况及磁盘I/O等性能情况,由此,动态地调节各后端服务器节点权重.测试结果表明,相较于原加权轮询算法,该算法在高并发情况下的响应时间和实际并发数等方面表现更好.     

一种改进的分布式存储系统节点动态扩展策略

分布式存储系统经常面临数据的均衡分布和扩容问题,针对现有一致性哈希动态扩展算法的不足,提出一种基于访问概率的动态扩展策略.该策略基于热点数据访问概率大的思想改进原算法虚拟节点的分配方法,能够有效改善扩容后造成请求命中率下降和负载均衡的问题.实验结果表明,在系统添加新存储节点时,改进策略有效地优化了系统的性能,缩短了系统到达新的负载平衡状态的时间.     

基于3-gram模型和数据挖掘技术的元数据预取 

在大规模的文件存储系统中,针对大多数算法的设计没有考虑到元数据访问的特征与元数据本身较小的特点,提出了一种利用存储系统中的元数据操作日志文件,运用3元(3-gram)预测模型和数据挖掘的方法对用户未来可能要操作的元数据进行组预取。实验证明,对于从日志文件中提取出的文件元数据访问序列,新预取模式的缓存(Cache)命中率与基于权重图的预取算法(NEXUS)相比平均提高了3.9%,与最近最少使用算法(least recently used,LRU)比较平均提高了16%。     

基于双服务器PEKS框架的高效云存储系统

为降低云存储用户成本并提高安全云存储效率,设计了一种多用户并发的云存储系统,提出基于双服务器关键字搜索的公钥加密(Public Key Encryption with Keyword Search,PEKS)搜索框架.设计的云存储系统通过存储引擎动态策略可以在多种存储方法之间自由切换,使用硬件负载平衡、中间缓冲和First-move First-failure策略来应对大量用户访问,提高请求响应率和系统稳定性;并行Master/Workers模式有效处理单个大文件请求,通过令牌机制进行文件传输恢复和并发传输.所提的双服务器PEKS搜索框架通过设计的线性同态平滑投影hash函数,使得所提搜索框架具有更高的安全性,解决传统PEKS的安全漏洞.实验结果表明,所提方案可以防止内部关键字猜测攻击,且其平均响应时间和计算效率优于现有其他方案.     

一种基于固态盘和硬盘的混合存储架构

为提高基于固态盘和硬盘的混合存储系统的I/O性能并降低固态盘的硬件磨损,提出了一种新型混合存储架构RAF(Random-Access First).该架构利用序列侦测算法识别负载请求队列中的随机I/O请求和顺序I/O请求,通过重定向模块使固态盘作为内存之外的第2层磁盘缓存来服务随机I/O访问请求,从而使硬盘服务过滤后的顺序I/O请求,使两者的优势得以发挥.原型实验证明,该架构可以有效地提升混合存储系统的性能和可靠性.     

LSF:一种面向S-RAID 5的能量管理算法

S-RAID 5是一种适于顺序数据访问的节能磁盘阵列,为了提高其性能并保持节能效率,提出一种能量管理算法:逻辑空间预测法（LSF）,该算法对S-RAID 5的I/O请求地址进行动态聚类分析,以获得I/O请求在逻辑地址空间内的分布区,然后求出各分布区的动态特性,并结合S-RAID 5的特殊数据布局,预测磁盘的工作状态并根据预测状态调度磁盘. 实验表明,在节能效果相当的情况下,与典型算法TPM、Markov相比,LSF可有效消除S-RAID 5的响应时间延迟.      

云存储环境中的数据布局策略研究

对云存储系统环境中的数据布局策略进行了论述与总结。首先讨论了云存储技术的起源以及云存储系统不同于传统集中式存储方法和现有网络存储技术的独特特征,然后讨论了面向云存储系统的数据文件布局策略;考虑到云存储系统对于系统可靠性、可用性以及可扩展性等性能指标具有更高要求,接下来对面向云存储系统的数据副本布局策略进行了论述。数据布局策略对于云存储系统的性能指标具有重要决定作用,全文工作将为未来研究高能效的商用云存储系统奠定基础。     

基于Hadoop的海量统计小文件存取优化方案

Hadoop作为一个开源的并行计算框架,它提供了一个分布式的文件存储系统HDFS.然而,当处理海量小文件时会产生NameNode内存使用率较高、存取性能并不理想的问题,导致NameNode成为系统瓶颈,从而制约了文件系统的可扩展性.本文结合统计工作,提出了一种小文件存储的优化策略,在HDFS之上增加小文件预处理模块将文件进行分类,合并成Mapfile,并建立全局索引,另外该策略引入了索引预取机制和缓存机制.实验证明,该方法能有效提高大批量小文件的存取性能.     

一种智能网络磁盘存储文件系统的设计

针对目前网络存储体系结构中存在的各个磁盘驱动器不能"主动"地进行自主工作和缺乏自动负载平衡机制的问题,文中给出了智能网络磁盘(IND)系统结构的概念,提出了一种新型的智能网络磁盘存储文件系统(INDFS)的设计方案,并详细描述了INDFS的组成结构、文件路由表、系统命令层次结构、基本操作算法和文件系统命名空间等关键技术.最后对INDFS进行了性能测试分析,发现客户端可以对IND存储系统进行文件级访问,说明INDFS是一种使用方便、扩展性好的智能网络磁盘文件系统.     

基于HDFS的分布式文件系统

在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一.     

CarrierFS:基于虚拟内存的分布式文件系统

针对由于磁盘I/O的性能瓶颈,基于磁盘的分布式文件系统无法为海量小文件存储提供高数据吞吐率和低访问延迟这一问题,设计并实现了一个基于虚拟内存的分布式文件系统——CarrierFS,它将数据存储于虚拟内存中,利用磁盘备份数据.在实现元数据和数据可扩展存储的基础上,CarrierFS设计了监管者模块来保证系统的可靠性.对CarrierFS和HDFS进行了性能测试,实验结果表明,CarrierFS对大文件和小文件的读写速度都具有明显的性能优势.当文件大小为256 Mbyte时,CarrierFS的写入速度大约是HDFS的1.30倍,读取速度大约是HDFS的1.95倍.当文件大小为32 Kbyte时,CarrierFS的写入速度大约是HDFS的3.0倍,读取速度大约是HDFS的3.4倍.