关系数据库中实时高效元数据存储算法优化研究

当前关系数据库中元数据存储算法不仅所需存储空间大,而且均衡性和稳定性差,读写效率低下。为此,提出一种新的关系数据库中实时高效元数据存储算法。通过基于优先级的蛇形时隙算法,对关系数据库中的元数据进行存储;通过分割网格区域把关系数据库中某一类型的元数据存储于对应的网格中,把优先级高的元数据存储于和查询节点较近的区域,使得高优先级元数据最先被搜索。针对优先级蛇形时隙算法未考虑元数据存储时缓存因素、缺乏针对元数据访问局部性优化机制的弊端,引入元素存储生存期对其进行改进,以提高元数据存储算法的实时高效性。实验结果表明,所提算法的分布均衡度和稳定性很高,而且存储空间小,读写性能优。     

一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.     

支持大规模地震探测数据快速可视化的云端数据缓存技术

首先, 基于云计算应用模式, 提出一种能有效利用云存储架构的双层缓存技术. 通过在客户端和服务器端建立分布式缓存, 能有效避免用户频繁访问远端数据, 为用户构建轻量级的客户端, 解决了目前地学数据可视化软件大量占用用户本地存储容量的问题. 同时服务器端也避免了多次访问云存储文件系统, 减少了大量的数据检索与加载时间. 其次, 提出一种ARLS(association rule last successor)访问预测算法, 根据用户的历史访问记录, 利用关联规则挖掘用户的访问模式, 对其访问行为进行预测, 进而提前加载数据, 提高缓存命中率, 解决了用户在可视化过程中不断移动兴趣区域, 频繁更换渲染数据的问题, 能有效应对用户具有多种访问模式的情况, 提高了预测准确率. 实验结果表明, 该云存储架构显著减少了本地资源消耗, 访问预测算法的准确率在最差情形下可达47.59%, 平均准确率达91.3%, 分布式缓存的平均缓存命中率达95.61%, 可有效支持云端大规模地震数据的快速可视化.     

对象存储系统的合作缓存方案

结合对象存储系统的数据访问模式,综合设计客户端和元数据服务的缓存,构造存储系统的合作缓存方案.该方案将客户端和元数据服务器的缓存作为整体进行设计,以达到提高缓存利用率的目的;通过缓存准入策略合理选择数据传送模式,减少数据传送的通信量;同时,合作缓存方案根据数据对象的大小、访问成本和网络负载动态地调整缓存策略,提高存储系统的服务质量.实验显示,合作缓存方案能较好地适应不同的工作负载,有效提高了系统的输入输出性能.     

基于云计算的一种全新元数据管理方案

为有效减少云计算过程中不同元数据的工作量,本研究提出了一种全新的管理方案.通过改进的Chord算法和协同双层缓存机制使得元数据服务性能随着聚类上元数据服务器数量增加而增强;采用亲密算法控制客户端与服务器端的协作以便对元数据集进行缓存.基于以上方案能表现出较高性能和良好的可扩展元数据服务,实验表明本文提高的方案性能优于其它方案,更能体现出元数据访问性能与亲密值之间变化的关系.     

基于分段的适应性流媒体缓存管理算法

为提高流媒体代理服务器的缓存效率,从而提高整个流媒体服务系统的性能,提出一种基于用户访问模式的适应性媒体分段缓存策略。该策略充分考虑用户行为模式对具体影片访问特性的不同,采取有针对性的分段缓存管理策略,可显著提高代理缓存命中率。为避免由于分段策略所潜在引发的播放抖动问题,对相应的预取算法进行了理论分析。事件驱动试验结果表明:所提出的缓存算法命中率较之传统的定长分段算法及系统现有的间隔缓存策略均有显著的性能提高,系统稳定时缓存命中率分别高出后两者54%和31%。     

基于分段的适应性流媒体缓存管理算法

为提高流媒体代理服务器的缓存效率,从而提高整个流媒体服务系统的性能,提出一种基于用户访问模式的适应性媒体分段缓存策略。该策略充分考虑用户行为模式对具体影片访问特性的不同,采取有针对性的分段缓存管理策略,可显著提高代理缓存命中率。为避免由于分段策略所潜在引发的播放抖动问题,对相应的预取算法进行了理论分析。事件驱动试验结果表明:所提出的缓存算法命中率较之传统的定长分段算法及系统现有的间隔缓存策略均有显著的性能提高,系统稳定时缓存命中率分别高出后两者54%和31%。     

基于文件相关性的云存储缓存策略

分析云存储数据访问的长尾现象,设计一种基于文件相关性的缓存策略MSU(mostsimilarunit).该策略通过判断文件之间的相关性完成大容量缓存中的文件预取与替换.首先,MSU选择文件的多个访问特征作为计算余弦距离值的输入,从而得到文件相关性的度量.然后,MSU将缓存中的文件作为替换待选集合,将一段时间内从缓存中替换出来的文件作为预取待选集合.当出现文件不命中时,从替换待选集合中取得缺失文件的k-非近邻作为替换文件,从预取待选集合中取得缺失文件的1-近邻作为预取文件.仿真实验表明MSU在命中率和字节命中率方面优于LRU(最近最少使用策略)、ARC(自适应替换策略)和GDS(多参数贪心策略)算法.     

一种面向应用服务器的分布式缓存机制

针对应用服务器对数据库的大规模并发访问所产生的性能下降问题,设计了面向应用服务器的缓存对象管理组件。集成了分布式对象缓存系统Memcached客户端,并采用基于分级队列思想的缓存替换算法。根据队列中元数据内容将可缓存对象存储在不同级别的分布式缓存池中。模拟实验表明该机制能够有效减少数据库I/O负载,降低应用服务器的访问延迟,提高了系统的并发处理能力。     

基于3-gram模型和数据挖掘技术的元数据预取 

在大规模的文件存储系统中,针对大多数算法的设计没有考虑到元数据访问的特征与元数据本身较小的特点,提出了一种利用存储系统中的元数据操作日志文件,运用3元(3-gram)预测模型和数据挖掘的方法对用户未来可能要操作的元数据进行组预取。实验证明,对于从日志文件中提取出的文件元数据访问序列,新预取模式的缓存(Cache)命中率与基于权重图的预取算法(NEXUS)相比平均提高了3.9%,与最近最少使用算法(least recently used,LRU)比较平均提高了16%。