基于定位目录的元数据管理方法

元数据的访问性能和可扩展性是影响大规模存储系统整体性能的关键因素。该文提出了一种基于定位目录的元数据组织机制。该机制以定位目录作为元数据定位、负载评价以及元数据动态迁移的基础,保持了元数据的目录相关性,提供了较高的元数据访问的性能;在此基础上的负载评价方法以很小的开销反映操作历史信息的影响。测试数据表明,该机制可以提供良好的负载调节能力。     

对象存储系统的合作缓存方案

结合对象存储系统的数据访问模式,综合设计客户端和元数据服务的缓存,构造存储系统的合作缓存方案.该方案将客户端和元数据服务器的缓存作为整体进行设计,以达到提高缓存利用率的目的;通过缓存准入策略合理选择数据传送模式,减少数据传送的通信量;同时,合作缓存方案根据数据对象的大小、访问成本和网络负载动态地调整缓存策略,提高存储系统的服务质量.实验显示,合作缓存方案能较好地适应不同的工作负载,有效提高了系统的输入输出性能.     

一种面向应用服务器的分布式缓存机制

针对应用服务器对数据库的大规模并发访问所产生的性能下降问题,设计了面向应用服务器的缓存对象管理组件。集成了分布式对象缓存系统Memcached客户端,并采用基于分级队列思想的缓存替换算法。根据队列中元数据内容将可缓存对象存储在不同级别的分布式缓存池中。模拟实验表明该机制能够有效减少数据库I/O负载,降低应用服务器的访问延迟,提高了系统的并发处理能力。     

基于Markov链的ZigBee网络媒体接入控制协议性能研究

为了优化Zig Bee网络媒体接入控制(Media access control,MAC)协议性能,提出一种基于饱和负载的MAC层信道访问机制。通过马尔科夫链对网络节点状态转化过程建模,对基于信道访问机制的网络吞吐量和节点能耗进行了数学分析。研究了网络参数NB、amin BE对节点信道冲突概率、网络吞吐量和能耗等性能的影响。分析结果表明:该模型准确地描述了基于饱和负载的Zig Bee网络信道访问机制,对协议参数进行合理的设置能够改进MAC协议吞吐量和能耗性能。     

基于ED-Chord的数据网格副本定位机制

为了提高数据网格副本定位机制的负载平衡性和可扩展性,提出一种均匀分配节点标识的分布式hash表结构(ED-Chord),设计了基于对等网模式的层次结构副本定位机制(PRLM)。ED-Chord采用分布式方式获取节点位置分布信息,据此进行优化选择新节点的加入位置,使节点分布更加均匀,PRLM全局副本目录采用ED-Chord结构进行设计,本地副本目录利用虚拟组织的局部性进行查询。分析和实验结果表明:ED-Chord节点标识分布均匀,PRLM具有良好的副本定位时间性能,节点的负载平衡性与可扩展性较好。     

基于二维表的对象存储元数据管理

大多数存储系统采用Hash算法或目录子树分区算法来实现元数据在元数据集群内的存储,但是上述算法在元数据修改、删除等操作时系统开销较大,严重影响了系统的性能。文章通过引入二维表存储元数据信息,提出了一种新的存储策略。该策略通过使用二维表、数据库存储过程和特定的递归算法实现了元数据存储。实验结果证明该策略具有良好的存储性能。     

基于云计算的一种全新元数据管理方案

为有效减少云计算过程中不同元数据的工作量,本研究提出了一种全新的管理方案.通过改进的Chord算法和协同双层缓存机制使得元数据服务性能随着聚类上元数据服务器数量增加而增强;采用亲密算法控制客户端与服务器端的协作以便对元数据集进行缓存.基于以上方案能表现出较高性能和良好的可扩展元数据服务,实验表明本文提高的方案性能优于其它方案,更能体现出元数据访问性能与亲密值之间变化的关系.     

大规模流媒体服务间隔缓存策略的性能预测模型

静态分析模型能在负载固定的情况下预期不同因素对缓存算法性能的影响,为解决该模型在动态负载下预测精度不高的问题,该文结合实际用户访问行为研究,采用负载拟合的方法对此问题进行了探讨,并提出了一种针对变动负载的间隔缓存类算法的动态性能模型。该模型可更准确估算系统实际性能,从而为用户控制等策略提供参考。实验结果表明,静态模型的缓存命中率预测结果比实际高70%以上,而该模型则能适应负载的变动,预测结果与实际结果差别在10%左右。     

大规模流媒体服务间隔缓存策略的性能预测模型

静态分析模型能在负载固定的情况下预期不同因素对缓存算法性能的影响,为解决该模型在动态负载下预测精度不高的问题,结合实际用户访问行为研究,采用负载拟合的方法对此问题进行探讨,并提出了一种针对变动负载的间隔缓存类算法的动态性能模型。该模型可更准确估算系统实际性能,从而为用户控制等策略提供参考。实验结果表明,静态模型的缓存命中率预测结果比实际高70%以上,而该模型则能适应负载的变动,预测结果与实际结果差别在10%左右。     

基于生存期的云存储元数据缓存算法

针对元数据管理子系统成为云存储中性能瓶颈的问题,研究了云存储元数据缓存算法.在分析元数据被访问特性的基础上,提出了元数据缓存生存期的概念;依据云存储的特性设计了元数据缓存生存期的计算规则,给出了基于生存期的元数据调出策略和元数据缓存写回策略,提高了云存储元数据管理的效率;分析了基于生存期元数据缓存算法适应用户访问特性的能力,讨论了使用基于生存期元数据缓存算法后如何保证元数据一致性的问题;使用基于生存期元数据缓存算法,实现了云存储元数据缓存原型系统,并使用通用数据集和测试工具进行了测试与分析.结果表明,该算法能提高云存储15％的I/O速度和16％的操作处理速度.     

基于Alluxio的新闻文本存储优化方法

新闻数据的指数级增长对新闻的高效存储和管理提出了重大挑战。为解决存储与计算分离模式下新闻文本的存储与读访问瓶颈问题,提出了一种基于数据编排平台Alluxio的新闻文本存储优化方法。首先,利用Alluxio对不同存储系统中的新闻文本进行缓存并提供统一命名空间,加速了计算应用的数据访问。其次,为了解决新闻文本存储在远程场景下所面临的读访问性能瓶颈问题,对新闻文本进行了基于目录聚合的合并,并利用最小完美哈希算法对新闻文本元数据构建索引,实现了新闻文本的快速检索。     

JNDI论述

JNDI（JavaNanmgandDkectoryInterface）是一个应用程序设计的API,为开发人员提供了查找和访问各种命名和目录服务的通用、统一的帻口,类似JDBC都是构建在抽象层上。分布式计算环境通常使用命名和目录服务来获取共享的组件和资源。命名和目录服务将名称与位置、服务、信息和资源关联起来。命名服务提供名称一对象的映射。目录服务提供有关对象的信息,并提供定位这些对象所需的搜索工县。有许多命名和目录服务实现,并且到它们的接口是不同的。java命名和目录接口或JNDI提供了一个用于访问不同的命名和目录服务的公共接口。因此,了解JNDI在开发一个EJB应用程序中是至关重要的。另外,JDBC可以用JNDI来访问一个关系数据库。     

CorsairFS:一种面向校园网的分布式文件系统

描述了CorsairFS--一种针对校园网和企业内部网设计的专用分布式文件系统.通过采用可扩展的架构、分块存储方式和基于注册、汇报的自组织机制,系统在满足性能和吞吐量指标的前提下,具有更好的可扩展性和可管理性,能够提供同一数据的多种不同视图,允许在不移动数据的情况下对目录结构进行重构.系统针对大量用户的数据共享和存储的工作负载进行了优化,能有效地处理大量小文件的并发访问,并通过实验说明其能够更有效地利用存储空间,提供更好的数据传输性能,特别是面对大量小文件的情况.     

一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.     

基于Linux的计算系统性能监控

轻量级、低负载的持续性能监控对于分布式高性能计算环境的管理是至关重要的.该文设计和实现了一个开放的性能监控工具PerfMon.它利用Linux操作系统中/proc虚拟文件系统的内核机制和抽象,构造了负责系统资源信息采集任务的监控模块;使用命名目录服务,提供了对所有受监控计算节点的透明访问和整个系统、计算节点、进程等3种不同的监控粒度;采用基于时间和阈值的监控策略和基于采样间隔和资源变化量的数据重建策略,这些措施有效地刎减少了通信负荷.最后,用实验数据和应用实例证明了PerfMon是一个低负载、高效的监控工具,能够有效地实现分布式计算系统的性能实时监控.     

基于LDAP技术的大规模电子邮件服务解决方案

分析了目前提供大规模电子邮件服务所需要解决的各种问题 ,提出了一套主要基于开放源代码软件的低成本解决方案 该方案采用了集群技术和各种性能优化措施 ,具有很好的负载能力、可扩展性和可靠性 在用户邮件帐号管理方面 ,该方案采用了LDAP技术 ,以期能够与以目录服务为中心的网络管理相适应     

基于用户态文件系统的共享访问与性能提升研究

研究并实现面向NVMe SSD的用户态高性能共享式文件系统(UHSFS),并提出简单弹性的数据布局技术、多粒度IO队列弹性分离技术以及多用户共享内存架构,这些关键技术能够显著地提升元数据的操作性能和IO处理能力,并且实现用户态文件系统的共享访问。实验结果表明,与UNFS,NVFUSE,BLOBFS和BLUEFS等用户态文件系统相比,UHSFS的元数据操作性能和Filebench综合负载性能最优;IO队列分离技术能够大幅度地提升吞吐量;与F2FS, XFS, Ext4等内核态文件系统相比, UHSFS同样表现出性能优势。     

关系数据库中实时高效元数据存储算法优化研究

当前关系数据库中元数据存储算法不仅所需存储空间大,而且均衡性和稳定性差,读写效率低下。为此,提出一种新的关系数据库中实时高效元数据存储算法。通过基于优先级的蛇形时隙算法,对关系数据库中的元数据进行存储;通过分割网格区域把关系数据库中某一类型的元数据存储于对应的网格中,把优先级高的元数据存储于和查询节点较近的区域,使得高优先级元数据最先被搜索。针对优先级蛇形时隙算法未考虑元数据存储时缓存因素、缺乏针对元数据访问局部性优化机制的弊端,引入元素存储生存期对其进行改进,以提高元数据存储算法的实时高效性。实验结果表明,所提算法的分布均衡度和稳定性很高,而且存储空间小,读写性能优。     

基于LDAP技术的大规模电子邮件服务解决方案

分析了目前提供大规模电子邮件服务所需要解决的各种问题,提出了一套主要基于开放源代码软件的低成本解决方案,该方案采用了集群技术和各种性能优化措施,具有很好的负载能力、可扩展性和可靠性,在用户邮件帐号管理方面,该方案采用了LDAP技术,以期能够与以目录服务为中心的网络管理相适应。     

基于P2P的分布对象定位机制的研究

首先提出了一个基于P2P(peer to peer)架构的分布对象定位模型,该模型继承了P2P网络本身强大的可扩展性及容错特性,它将分布对象定位信息完全散布在整个系统中,克服了传统对象定位机制的目录服务器节点瓶颈缺点．其次提出了基于P2P的对象定位信息的发布、查询以及维护算法,并对算法的合理性作出了详细的分析;为了缓解由于系统定位信息本身的不均衡性所导致的瓶颈节点的负载,引入了扩散算法;replica算法则使得系统有足够的容错能力．然后设计了该模型在CORBA中实现对象定位的应用框架．最后对该定位机制进行了评述．