一种面向应用服务器的分布式缓存机制

针对应用服务器对数据库的大规模并发访问所产生的性能下降问题,设计了面向应用服务器的缓存对象管理组件。集成了分布式对象缓存系统Memcached客户端,并采用基于分级队列思想的缓存替换算法。根据队列中元数据内容将可缓存对象存储在不同级别的分布式缓存池中。模拟实验表明该机制能够有效减少数据库I/O负载,降低应用服务器的访问延迟,提高了系统的并发处理能力。     

基于生存期的云存储元数据缓存算法

针对元数据管理子系统成为云存储中性能瓶颈的问题,研究了云存储元数据缓存算法.在分析元数据被访问特性的基础上,提出了元数据缓存生存期的概念;依据云存储的特性设计了元数据缓存生存期的计算规则,给出了基于生存期的元数据调出策略和元数据缓存写回策略,提高了云存储元数据管理的效率;分析了基于生存期元数据缓存算法适应用户访问特性的能力,讨论了使用基于生存期元数据缓存算法后如何保证元数据一致性的问题;使用基于生存期元数据缓存算法,实现了云存储元数据缓存原型系统,并使用通用数据集和测试工具进行了测试与分析.结果表明,该算法能提高云存储15％的I/O速度和16％的操作处理速度.     

基于云计算的一种全新元数据管理方案

为有效减少云计算过程中不同元数据的工作量,本研究提出了一种全新的管理方案.通过改进的Chord算法和协同双层缓存机制使得元数据服务性能随着聚类上元数据服务器数量增加而增强;采用亲密算法控制客户端与服务器端的协作以便对元数据集进行缓存.基于以上方案能表现出较高性能和良好的可扩展元数据服务,实验表明本文提高的方案性能优于其它方案,更能体现出元数据访问性能与亲密值之间变化的关系.     

一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.     

面向高性能计算的混合存储系统设计与实现

提出了一种采用RAM-disk的混合存储系统,在计算节点的并行文件系统的元数据服务器和对象存储服务器组件中设置不同用途的RAM-disk,用于缓存各种访问模式的文件并提高系统的读写性能.结果表明,采用RAM-disk的混合存储系统可以明显提高系统的读写性能,同时可提高系统的可用性和可维性.     

RSboFMC:提高数据可用性和负载均衡性的碎片矩阵缓存策略

保证动荡环境下数据可被访问概率对数据存储网络十分重要,其可行方法之一是设计合理的存储策略,提高网络的数据可用性.将存储策略分为复制策略和放置策略进行设计,提出了基于碎片矩阵和缓存的存储策略RSboFMC(Replication Strategy based on Fragment Matrix and Cache),提高动荡环境下的数据可用性.其以重建效率和存储开销为目标,设计缓存机制和基于碎片矩阵的数据分块机制优化复制策略;以负载均衡为目标,设计基于分区和顺逆序的分发机制优化放置策略.仿真结果表明,RSboFMC在数据可用性和负载均衡性方面均优于其他策略,且具有良好的扩展性.     

基于3-gram模型和数据挖掘技术的元数据预取 

在大规模的文件存储系统中,针对大多数算法的设计没有考虑到元数据访问的特征与元数据本身较小的特点,提出了一种利用存储系统中的元数据操作日志文件,运用3元(3-gram)预测模型和数据挖掘的方法对用户未来可能要操作的元数据进行组预取。实验证明,对于从日志文件中提取出的文件元数据访问序列,新预取模式的缓存(Cache)命中率与基于权重图的预取算法(NEXUS)相比平均提高了3.9%,与最近最少使用算法(least recently used,LRU)比较平均提高了16%。     

基于HDFS的海量指纹数据云存储优化研究

HDFS设计之初只考虑到如何更好地处理大文件,并没有针对海量小文件进行优化,因此,当使用HDFS管理海量指纹数据小文件时会出现Name Node内存负载过重、上传及查询性能过低等问题.采用Sequence File序列化技术进行小文件的合并,并且对于小文件合并、元数据存储、缓存策略等进行了针对性优化.实验证明,该优化方案可以有效地解决Name Node内存负载过重的问题,并且海量指纹数据小文件的上传和查询性能得到了提高.     

基于定位目录的元数据管理方法

元数据的访问性能和可扩展性是影响大规模存储系统整体性能的关键因素。该文提出了一种基于定位目录的元数据组织机制。该机制以定位目录作为元数据定位、负载评价以及元数据动态迁移的基础,保持了元数据的目录相关性,提供了较高的元数据访问的性能;在此基础上的负载评价方法以很小的开销反映操作历史信息的影响。测试数据表明,该机制可以提供良好的负载调节能力。     

基于对象存储系统的对象文件系统设计

基于对象文件系统是建立在对象存储系统上的一种应用，它利用对象的特点对数据进行存储和管理．基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成，通过对系统的各部分进行分析，设计并实现了基于对象文件系统．通过对不同文件大小、不同文件分块大小条件下文件系统的性能进行测试分析，找出系统的数据传输瓶颈，使用以对象属性为导向的缓存和预取技术以及聚合读写的方法对文件系统进行了优化．优化后读写吞吐率分别提高了60Mbyte／s和40Mbyte／s。     

网络存储中分布式I/O缓存机制研究

针对网络存储中I/O的瓶颈问题,设计了一个基于网络存储的分布式I/O缓存机制,通过本地缓存和远程缓存的两级缓存机制进行I/O性能的优化.其中本地缓存用来保存本地磁盘的读写信息,远程缓存用来协调远程机器的本地缓存.针对以上的缓存机制,设计了相应的数据块更新算法和缓存一致性策略,有效地保证了I/O缓存的性能.     

应用控制的Web服务器磁盘缓冲方法

针对大数据负载时磁盘I／O阻塞造成的Web服务器性能下降的问题，提出了应用程序控制缓冲（ACC）方法．其核心是，缓冲跟踪模块根据应用程序的文件访问过程来跟踪内核中的文件缓冲状态，缓冲控制模块进行缓冲替换和预取，保持文件缓冲有足够的空闲空间．这样，服务器可在用户空间控制文件缓冲，从而准确判断文件是否在缓冲之中，并依此来调度请求，以提高处理器和磁盘的I／O并行度．同时，服务器可采用适应自身特点的缓冲和预读策略，以提高缓冲的命中率．作为示例，将ACC在Flash服务器中实现，实现中选用了“金字塔选择”缓冲算法．实验表明，在大数据负载下使用ACC的Flash服务器性能有很大的提高，即便在数据负载稍大于物理内存空间的情况下，服务器的吞吐率仍可提高约24．4％，而当数据负载超出物理内存2～3倍时，吞吐率可提高3～4倍。     

移动计算中基于位序列的低延迟缓存失效方案

移动计算中基于位序列的低延迟缓存失效方案采用最新值的一致性模型，在这个模型中，客户机必须总是访问数据项的最新值．当客户机不做缓存并且服务器总是广播最新值时，数据的一致性等级会自然提升．当客户机进行缓存时，必须采用一定的技术来维持最新值一致性．因此，在位序列方案的基础上，引人中间失效报告以及请求数据广播的方法大大降低了查询延迟，提高了带宽利用率，从而降低移动客户端的能耗．     

支持大规模地震探测数据快速可视化的云端数据缓存技术

首先, 基于云计算应用模式, 提出一种能有效利用云存储架构的双层缓存技术. 通过在客户端和服务器端建立分布式缓存, 能有效避免用户频繁访问远端数据, 为用户构建轻量级的客户端, 解决了目前地学数据可视化软件大量占用用户本地存储容量的问题. 同时服务器端也避免了多次访问云存储文件系统, 减少了大量的数据检索与加载时间. 其次, 提出一种ARLS(association rule last successor)访问预测算法, 根据用户的历史访问记录, 利用关联规则挖掘用户的访问模式, 对其访问行为进行预测, 进而提前加载数据, 提高缓存命中率, 解决了用户在可视化过程中不断移动兴趣区域, 频繁更换渲染数据的问题, 能有效应对用户具有多种访问模式的情况, 提高了预测准确率. 实验结果表明, 该云存储架构显著减少了本地资源消耗, 访问预测算法的准确率在最差情形下可达47.59%, 平均准确率达91.3%, 分布式缓存的平均缓存命中率达95.61%, 可有效支持云端大规模地震数据的快速可视化.     

基于混合云存储多频道视频直播系统方案设计

针对多频道直播系统中存在的用户启动延迟大、播放滞后、频道切换扰动等问题,以及为了满足大规模用户需求而部署大量视频服务器致使成本昂贵的缺点,本文提出了一种基于混合云存储的多频道视频直播方案.该方案设计了公有云服务器和私有云服务器以及与用户间的应用层网络架构,引入P2P技术提升直播系统的协作功能;并构建了服务器选择和带宽分配模型.实施结果表明,该方案能有效提高系统服务能力,改善直播视频质量.     

A hybrid cache placement scheme for multi-hop wireless service network

In this paper,a hybrid cache placement scheme for multihop wireless service networks is proposed. In this scheme,hot nodes in data transferring path are mined up by means of rout-ing navigation graph,and whole network is covered with network clustering scheme. A hot node has been chosen for cache place-ment in each cluster,and the nodes within a cluster access cache data with no more than two hops. The cache placement scheme reduces data access latency and workload of the server node. It also reduces the average length of data transferring,which means that fewer nodes are involved. The network system energy con-sumption decreased as involved relay nodes reduced. The per-formance analysis shows that the scheme achieves significant system performance improvement in network environment,with a large number of nodes.     

流媒体服务缓存代理系统的设计及RTSP协议实现

网络边沿缓存能够加速流媒体的传输,它是一种提高Internet上流媒体服务性能的技术。为了减少流媒体服务启动延时与抖动,降低流媒体服务器服务时的资源（CPU的利用与网络带宽）消耗,提出了基于客户端缓存代理系统解决方案,且对实现所提出系统的RTSP协议。