基于生存期的云存储元数据缓存算法

针对元数据管理子系统成为云存储中性能瓶颈的问题,研究了云存储元数据缓存算法.在分析元数据被访问特性的基础上,提出了元数据缓存生存期的概念;依据云存储的特性设计了元数据缓存生存期的计算规则,给出了基于生存期的元数据调出策略和元数据缓存写回策略,提高了云存储元数据管理的效率;分析了基于生存期元数据缓存算法适应用户访问特性的能力,讨论了使用基于生存期元数据缓存算法后如何保证元数据一致性的问题;使用基于生存期元数据缓存算法,实现了云存储元数据缓存原型系统,并使用通用数据集和测试工具进行了测试与分析.结果表明,该算法能提高云存储15％的I/O速度和16％的操作处理速度.     

对象存储系统的合作缓存方案

结合对象存储系统的数据访问模式,综合设计客户端和元数据服务的缓存,构造存储系统的合作缓存方案.该方案将客户端和元数据服务器的缓存作为整体进行设计,以达到提高缓存利用率的目的;通过缓存准入策略合理选择数据传送模式,减少数据传送的通信量;同时,合作缓存方案根据数据对象的大小、访问成本和网络负载动态地调整缓存策略,提高存储系统的服务质量.实验显示,合作缓存方案能较好地适应不同的工作负载,有效提高了系统的输入输出性能.     

基于3-gram模型和数据挖掘技术的元数据预取 

在大规模的文件存储系统中,针对大多数算法的设计没有考虑到元数据访问的特征与元数据本身较小的特点,提出了一种利用存储系统中的元数据操作日志文件,运用3元(3-gram)预测模型和数据挖掘的方法对用户未来可能要操作的元数据进行组预取。实验证明,对于从日志文件中提取出的文件元数据访问序列,新预取模式的缓存(Cache)命中率与基于权重图的预取算法(NEXUS)相比平均提高了3.9%,与最近最少使用算法(least recently used,LRU)比较平均提高了16%。     

关系数据库中实时高效元数据存储算法优化研究

当前关系数据库中元数据存储算法不仅所需存储空间大,而且均衡性和稳定性差,读写效率低下。为此,提出一种新的关系数据库中实时高效元数据存储算法。通过基于优先级的蛇形时隙算法,对关系数据库中的元数据进行存储;通过分割网格区域把关系数据库中某一类型的元数据存储于对应的网格中,把优先级高的元数据存储于和查询节点较近的区域,使得高优先级元数据最先被搜索。针对优先级蛇形时隙算法未考虑元数据存储时缓存因素、缺乏针对元数据访问局部性优化机制的弊端,引入元素存储生存期对其进行改进,以提高元数据存储算法的实时高效性。实验结果表明,所提算法的分布均衡度和稳定性很高,而且存储空间小,读写性能优。     

一种基于时钟自适应的改进缓存替换算法

缓存算法在存储系统、数据库、Web服务器等计算机领域有很广泛的应用,缓存命中率是衡量缓存算法优劣的指标之一,对经典的缓存页面替代算法LRU、CLOCK、ARC和CAR进行了比较和分析,提出了一种基于时钟自适应的改进缓存替换算法——ICAR,它能更精确地对读请求的“频率”特性进行管理.实验结果表明,在几种典型的概率分布(例如随机分布、泊松分布和正态分布)的读请求进入缓存的情况下,ICAR在大部分情况下都比CAR和LRU算法有更高的缓存命中率.但是当缓存命中率相当高(高于80％)或者比较低(低于30％)的情况下,ICAR算法并不能总是表现出更好的性能,值得进一步研究.     

基于多核处理器的动态共享缓存分配算法

对于具有共享缓存结构的多核处理器,存在并行应用对共享缓存冲突访问导致性能下降的现象.为合理地分配共享缓存以有效地解决这类问题,提出了一种共享缓存分配方法,通过将并行应用对共享缓存访问未命中的情况进行分类与追踪,并根据建立的性能增益模型在行的粒度上进行动态地分配共享缓存,使系统的整体性能得到改善.实验结果表明,新算法能合...     

基于模糊聚类分析的单词翻译缓存分区管理系统设计

传统翻译缓存分区管理系统的翻译块miss率与异常指令定位时间均较高,导致缓存分区管理性能较差,因此设计一种基于模糊聚类分析的单词翻译缓存分区管理系统。在系统硬件设计中主要集成了内容寻址存储器,为数据存储提供空间以及翻译缓存包分区提供地址搜索上的便利;在软件设计中,使用模糊聚类算法完成数据挖掘算法的优化,并详细设计了模糊聚类算法的执行流程,建立单词翻译缓存分区管理模型,将缓存空间划分出子区域,实现二级管理,完成系统设计。系统性能测试结果表明,本文系统与传统系统相比,miss率与异常指令定位时间均能保持在较低水平,实际应用效果好。     

基于能量模型的交互式流媒体缓存置换策略

针对交互式流媒体应用,提出一种基于能量模型(EM)的缓存置换算法.给出描述用户访问模式的片断划分和记录策略,并提出基于能量模型的内容流行度的表示方法;采用基于指数增长的缓存接入/释放策略,设计了新的效用函数实现缓存替换.仿真结果证明,EM算法能适应不同交互强度的用户访问模式,比传统的分段缓存具有更好的性能.     

基于最大缓冲时间的流媒体缓存策略

通过综合考虑无线网络传输时延、流媒体片段内部流行度以及用户终端缓存空间大小对流媒体分发质量的影响,提出了一种基于最大缓冲时间的P2P流媒体分发缓存算法,算法考虑了无线网络传输时延、流媒体中断的位置及用户提供的计算资源.性能分析表明,它与仅考虑无线网络传输时延的缓存算法相比,能减少流媒体分发起动时延和播放抖动时延,可有效地提高无线Ad Hoc网络中P2P流媒体分发质量.     

基于MongoDB集群的遥感数据存储方法研究

应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,提出了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究.根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的高速内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型.最后针对文中存储方法提出了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储.     

Design and implementation of two-level metadata server in small-scale cluster file system

The reliability and high performance of metadata service is crucial to the store architecture. A novel design of a two-level metadata server file system （TTMFS） is presented, which behaves high reliability and performance. The merits both centralized management and distributed management are considered simultaneously in our design. In this file system, the advanced-metadata server is responsible for manage directory metadata and the whole namespace. The double-metadata server is responsible for maintaining file metadata. And this paper uses the Markov return model to analyze the reliability of the two-level metadata server. The experiment data indicates that the design can provide high throughput.     

基于定位目录的元数据管理方法

元数据的访问性能和可扩展性是影响大规模存储系统整体性能的关键因素。该文提出了一种基于定位目录的元数据组织机制。该机制以定位目录作为元数据定位、负载评价以及元数据动态迁移的基础,保持了元数据的目录相关性,提供了较高的元数据访问的性能;在此基础上的负载评价方法以很小的开销反映操作历史信息的影响。测试数据表明,该机制可以提供良好的负载调节能力。     

瘦客户计算环境下的服务网络架构

为了解决瘦客户计算中的服务端网络架构问题,提出了一个基于对等网的服务端网络模型(服务网络)。服务网络以T apestry架构为基础,通过扩展节点服务层次,把瘦客户计算中传统的单服务器模式扩展为多服务器模式。并在此基础上提出了优化的用户数据的分布和更新算法。该架构模型充分利用了对等网的特点,试验结果表明:可以较好地解决瘦客户计算中多服务节点共同提供服务的问题。     

Multi-QoS aware automatic service composition

Almost all current automatic service composition （ASC） algorithms consider only single nonfunctional requirements, namely quality of service （QoS）, which cannot satisfy the real application. This paper proposes MAT （multi-QoS aware top-K ASC） algorithm to realize the high-efficiency exploring and rank- ing of composition scheme by synthesizing more nonfunctional goals. MAT algorithm explores composition schemes by the sky- line technique based on tape model and ranks these schemes by a modified binary tree. Using Web service challenge （WSC） 2009 dataset, we verify the performance of MAT algorithm and the experimental result is even close to the current fastest ASC algo- rithm considering only single QoS.     

基于分布式FTP的二进制大对象存取算法

为提升二进制大对象(BLOB)存储系统的可靠性和存储效率,设计了一种新的BLOB存取算法.通过建立分布式BLOB存储模型,设计了基于多列等候队列的存储结构,证明了适当增加等候队列数量,可改善存储系统性能.系统采用混合型数据放置策略,分布地存储BLOB数据于FTP群集中各个结点,并将其属性存储于元数据服务器.结果表明,随着系统容量的不断增长,各结点存储性能稳定,数据完整性良好.     

基于URL的Web集群分配策略

Web任务的分配影响Web服务器集群系统的整体性能。常用的分配方法是对用户的URL请求,根据服务器数量进行轮询分配。这种策略影响缓存的命中率和服务器性能的发挥。在分析了Web站点中文件的组织方式及用户对Web请求特征的基础上,提出了基于URL分配树的LT分配策略,根据URL地址构建URL分配树,对用户的请求进行响应。同时考虑任务的处理代价,各服务节点服务能力和当前负载状况,对服务节点进行负载均衡的任务分配。本文从缓存队列剩余、请求任务溢出情况和轮询分配策略进行了比较,实验表明本文的分配策略能根据服务节点的服务能力、负载状况进行合理地分配,实现了负载的真正均衡,提高了系统整体吞吐量。     

A punching scheme for crossing NAT in end hopping

End hopping is one of the good methods to defend against network attack,but has problems with network address translation(NAT) because packets sent from an unknown endpoint would be dropped by NAT.To avoid the dropping of packets,we propose a punching scheme:a client sends a punching packet to create mapping rules in NAT,so that the packets from the server would be able to pass through effectively with such rules.In this paper,some preliminaries and definitions are provided for building the model of end hopping.Then we discuss the main reason of such packet dropping and specify all the failure situations based on the model.What’s more,we analyze how the punching scheme helps end hopping cross NAT.Finally,we validate the feasibility of this scheme with empirical results:if the client is behind a NAT and with punching scheme,the service rate increases to 100%.Therefore,our proposed scheme can greatly improve the performance of crossing NAT in end hopping with little security and computational overhead.