基于文件相关性的云存储缓存策略

分析云存储数据访问的长尾现象,设计一种基于文件相关性的缓存策略MSU(mostsimilarunit).该策略通过判断文件之间的相关性完成大容量缓存中的文件预取与替换.首先,MSU选择文件的多个访问特征作为计算余弦距离值的输入,从而得到文件相关性的度量.然后,MSU将缓存中的文件作为替换待选集合,将一段时间内从缓存中替换出来的文件作为预取待选集合.当出现文件不命中时,从替换待选集合中取得缺失文件的k-非近邻作为替换文件,从预取待选集合中取得缺失文件的1-近邻作为预取文件.仿真实验表明MSU在命中率和字节命中率方面优于LRU(最近最少使用策略)、ARC(自适应替换策略)和GDS(多参数贪心策略)算法.     

基于关联规则挖掘的分布式小文件存储方法

Hadoop分布式文件系统(HDFS)设计之初是针对大文件的处理,但无法高效地针对小文件进行存储,因此提出了一种基于关联规则挖掘的高效的小文件存储方法——ARMFS。ARMFS通过对Hadoop系统的审计日志进行关联规则挖掘,获得小文件间的关联性,通过文件合并算法将小文件合并存储至HDFS;在请求HDFS文件时,根据关联规则挖掘得到的高频访问表和预取机制表提出预取算法来进一步提高文件访问效率。实验结果表明,ARMFS方法明显提高了NameNode的内存使用效率,对于小文件的下载速度和访问效率的改善十分有效。     

基于3-gram模型和数据挖掘技术的元数据预取 

在大规模的文件存储系统中,针对大多数算法的设计没有考虑到元数据访问的特征与元数据本身较小的特点,提出了一种利用存储系统中的元数据操作日志文件,运用3元(3-gram)预测模型和数据挖掘的方法对用户未来可能要操作的元数据进行组预取。实验证明,对于从日志文件中提取出的文件元数据访问序列,新预取模式的缓存(Cache)命中率与基于权重图的预取算法(NEXUS)相比平均提高了3.9%,与最近最少使用算法(least recently used,LRU)比较平均提高了16%。     

UCM-PPM:基于用户分级的多参量Web预测模型

Web在过去数十年飞速发展,其低延迟和快响应的特性已经变得越来越重要.面对这样的需求,通常会预取用户即将访问的文件到缓存中,利用代理服务器缓存来获取数据,避免网络堵塞,提高Web访问效率.可见,在预取技术中,一个有效的预测模型是非常有必要的.针对目前缓存预取工作对用户差异关注度不足和度量指标单一化的薄弱环节,提出一个基于用户分级化的Web预测模型,并且能够随着Web请求进行多参数动态调整.该模型通过对代理服务器上用户访问情况分布的变化趋势分析,将用户集分为重要性不同的若干等级,并适当利用序列相似度来聚类低贡献用户产生的会话,之后在部分匹配预测模型的基础上,结合缓存替换策略为预测树结点构造包含多个参量的目标函数,并使构建好的模型能够进行自适应调整.最后通过实验证明该模型可以有效提高缓存的预取性能.     

基于Hadoop的海量统计小文件存取优化方案

Hadoop作为一个开源的并行计算框架,它提供了一个分布式的文件存储系统HDFS.然而,当处理海量小文件时会产生NameNode内存使用率较高、存取性能并不理想的问题,导致NameNode成为系统瓶颈,从而制约了文件系统的可扩展性.本文结合统计工作,提出了一种小文件存储的优化策略,在HDFS之上增加小文件预处理模块将文件进行分类,合并成Mapfile,并建立全局索引,另外该策略引入了索引预取机制和缓存机制.实验证明,该方法能有效提高大批量小文件的存取性能.     

基于Hadoop的海量小文件存储优化方法

对基于Hadoop的海量小文件存储进行优化,利用小文件内部存在的相互联系,进行小文件的归并操作;通过索引机制访问小文件及元数据缓存,并利用相关性强的小文件预取机制提高文件的读取效率。实验发现,优化后的方法降低了Hadoop名字节点的内存消耗,减少了查询时耗,提高了系统性能。     

Web智能代理的预取技术和缓存技术

针对同一个工人组中成员可能对Web有相似的兴趣点和访问习惯问题,研究了主要包括缓存和预取两个部分的智能代理技术,研究了代理缓存三种替换算法：LRU和LRU的两种变种,仿真试验表明,LRU算法的命中率极差,将LRU的两种变种相结合则是一种较好的方案,通过引入预测算法和门限算法,代理服务器可以预测最近将要访问到的页面,并存在客户际请求提出之前有选择地下载,因为单个客户访问某个页面的历史次数往往不够多,将预测算算放在代理服务器上比放在客户端的预测概率更准确,通过在代理服务器上实现缓存和预取技术,可减少用户访问Web的响应时间,还可减少实际访问Web服务器的总次数,并提出了一个为发展中国家中国家用户缩减Web访问代价的有效方法。     

基于分段的适应性流媒体缓存管理算法

为提高流媒体代理服务器的缓存效率,从而提高整个流媒体服务系统的性能,提出一种基于用户访问模式的适应性媒体分段缓存策略。该策略充分考虑用户行为模式对具体影片访问特性的不同,采取有针对性的分段缓存管理策略,可显著提高代理缓存命中率。为避免由于分段策略所潜在引发的播放抖动问题,对相应的预取算法进行了理论分析。事件驱动试验结果表明:所提出的缓存算法命中率较之传统的定长分段算法及系统现有的间隔缓存策略均有显著的性能提高,系统稳定时缓存命中率分别高出后两者54%和31%。     

基于分段的适应性流媒体缓存管理算法

为提高流媒体代理服务器的缓存效率,从而提高整个流媒体服务系统的性能,提出一种基于用户访问模式的适应性媒体分段缓存策略。该策略充分考虑用户行为模式对具体影片访问特性的不同,采取有针对性的分段缓存管理策略,可显著提高代理缓存命中率。为避免由于分段策略所潜在引发的播放抖动问题,对相应的预取算法进行了理论分析。事件驱动试验结果表明:所提出的缓存算法命中率较之传统的定长分段算法及系统现有的间隔缓存策略均有显著的性能提高,系统稳定时缓存命中率分别高出后两者54%和31%。     

一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.