一个提高机群文件系统性能的方法与实现

提出了一个提高机群文件系统性能的方法,将元服务器分级:高级元服务器实现任务分配功能,依据与二级元服务器性能最密切相关的负载信息将任务快速分配给二级元服务器,同时在存储文件时,提出了一种能正确反映各存储节点I/O流量和存储量的策略,对待存文件进行了合理的分配存储。实验结果表明,本策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。     

基于CAS的媒体存储技术的研究

为了解决媒体存储和内容管理面临的问题,提出了一种新的媒体存储技术———媒体内容寻址存储(mCAS).mCAS是一种创新的基于内容寻址存储(CAS)和元数据技术的集成解决方案.mCAS对媒体对象进行Hash计算得到固定长度的数字代替文件名,并将Hash和基于MPEG-7的元数据组成一个标准格式的XML文件,称为摘要文件,摘要文件提供一个媒体对象的数字清单和内容清单,既便于媒体文件基于内容的存取,又便于多个媒体应用程序进行数据交换.mCAS原型系统由CAS驱动程序、MPEG-7工具和Web服务器组成,其中CAS驱动程序实现存储空间管理和分配、hash计算和与块的映射,MPEG-7工具实现基于内容的元数据提取,Web服务器实现内容检索.mCAS实现了对象存储技术和内容管理技术的结合,适合于对巨大的视听内容进行数字归档,可提高存储系统的搜索性能和效率.对CAS驱动程序进行了性能测试,结果表明:CAS的文件获取性能比文件服务器相比性能更好,CAS的性能高达10.7 Mbit/s.     

基于URL的Web集群分配策略

Web任务的分配影响Web服务器集群系统的整体性能。常用的分配方法是对用户的URL请求,根据服务器数量进行轮询分配。这种策略影响缓存的命中率和服务器性能的发挥。在分析了Web站点中文件的组织方式及用户对Web请求特征的基础上,提出了基于URL分配树的LT分配策略,根据URL地址构建URL分配树,对用户的请求进行响应。同时考虑任务的处理代价,各服务节点服务能力和当前负载状况,对服务节点进行负载均衡的任务分配。本文从缓存队列剩余、请求任务溢出情况和轮询分配策略进行了比较,实验表明本文的分配策略能根据服务节点的服务能力、负载状况进行合理地分配,实现了负载的真正均衡,提高了系统整体吞吐量。     

一种存储容量可扩展的文库系统设计与实现

随着Internet的发展,用户对网络存储系统的价格和性能提出了新的要求.本文分析了各种网络存储技术和Internet传输技术,在虚拟主机基础上,建立文库系统,用户上传文件到服务器中,服务器接收用户文件.服务器动态增加虚拟主机,扩展文库系统的存储容量,并利用Flash和Webservice技术,实现网络存储分布式传输和存储.系统具有良好的可扩展性和数据传输性能.     

面向高性能计算的混合存储系统设计与实现

提出了一种采用RAM-disk的混合存储系统,在计算节点的并行文件系统的元数据服务器和对象存储服务器组件中设置不同用途的RAM-disk,用于缓存各种访问模式的文件并提高系统的读写性能.结果表明,采用RAM-disk的混合存储系统可以明显提高系统的读写性能,同时可提高系统的可用性和可维性.     

基于信息资源地址的Web集群分配策略

Web任务的分配影响Web服务器集群系统的整体性能。常用的分配方法是对用户的信息资源地址(URL)请求,根据服务器数量进行轮询分配。这种策略影响缓存的命中率和服务器性能的发挥。在分析了Web站点中文件的组织方式及用户对Web请求特征的基础上,提出了基于URL分配树的LT分配策略。根据URL地址构建URL分配树,对用户的请求进行响应;同时考虑任务的处理代价,各服务节点服务能力和当前负载状况,对服务节点进行负载均衡的任务分配。从缓存队列剩余、请求任务溢出情况和轮询分配策略进行了比较,实验表明分配策略能根据服务节点的服务能力、负载状况进行合理地分配,实现了负载的真正均衡,提高了系统整体吞吐量。     

一种远程容灾系统的动态负载均衡方法

为解决远程容灾系统中出现的存储服务器负载不均衡现象,提出一种动态负载均衡方法,该方法首先对用户的任务进行排队,并结合动态反馈原理,周期地根据远程容灾系统各存储服务器的真实负载变化情况,进行任务分发,避免了系统内部存储节点间的负载不均.仿真实验证明,相对于传统的动态负载均衡算法WLC,该方法明显地提高了系统的吞吐量.     

物联网节点任务负载量的非对称分配系统设计

在物联网接收数据流速度出现较大波动的情况下,会导致节点任务负载量过大,影响整个物联网的整体性能。当前分配系统大多采用负载均衡策略,忽略了节点间传输数量迅速增加的情况,导致时间延迟和能耗增加。为此,设计了一种新的物联网节点任务负载量非对称分配系统。当物联网节点接收到新的任务后,利用非对称分类策略对任务负载量进行分配,选择最佳转移服务器,以保证节点任务负载量分配过程中通信链路的稳定性,给出服务器选择过程。利用"握手"操作交换物联网节点和服务器的计算能力信息,获取物联网节点和服务器进行负载处理的具体比例,实现非对称分配。实验结果表明,所设计系统能耗和时延较低,有效带宽利用率较高。     

文件分块和动态副本管理机制的容错控制方法

提出了一种基于文件分块访问的动态副本管理的容错控制机制,它根据邮箱服务器的可靠性指标决定文件的分块数目和选择合适的邮箱存储分块文件,并动态地调整邮箱服务器可靠性指标.     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

Load-Balance Policy in Two Level-Cluster File System

In this paper, we explored a load-balancing algorithm in a cluster file system contains two levels of metadata-server, primary-level server quickly distributestasks to second-level servers depending on the closest load-balancing information. At the same time, we explored a method which accurately reflect I/O traffic and storage of storage-node： computing the heat-value of file, according to which we realized a more logical storage allocation. According to the experiment result, we conclude that this new algorithm shortens the executing time of tasks and improves the system performance compared with other load algorithm.     

一种不依赖访问热度信息的分布式文件放置算法

文件放置问题一直是分布式存储领域的研究热点。分布式文件存储系统HDFS随机选择节点完成文件放置,存在访问负载分布不均衡的缺点。研究人员提出大量基于文件访问热度信息的放置算法;但是,文件的访问热度信息是动态变化的,难以准确预测。提出一种不依赖访问热度信息的分布式文件放置算法;该算法仅使用文件的创建时间信息,利用文件已创建时间与访问热度之间的相关性,首先将时间进行区间划分,然后统计出各节点在不同时间区间内所创建文件的数据量,放置过程中保持同一时间区间的数据量在不同节点间大致相同。实验结果表明,该算法不仅可以使各节点的存储负载达到均衡,还能够提升访问负载的均衡,消除因文件访问热度不均而导致的性能瓶颈。     

四向穿梭车仓储系统的多订单任务调度优化

针对四向穿梭车仓储系统很难同时处理多订单任务的问题, 提出一种自适应遗传退火算法对系统的作业时间模型求解, 并设计一种包含多订单任务的出库顺序和货物提升机选择信息的染色体个体, 解决了四向穿梭车系统同时处理多个订单任务困难的问题, 实现了多订单任务的调度优化. 实验结果表明, 该算法优化了出库货物的出库顺序及货物提升机的选择信息, 有效解决了四向穿梭车仓储系统同时处理多个订单任务的问题.     

Efficient Multi-Resolution Compression Algorithm for Disk-Based Backup and Recovery

0 IntroductionTraditionally,there are two kinds of compression meth-ods developedfor tape-based backup.Oneisincrementalbackup method, which can distinguish modified files , andbackup only those modifiedfilesinthe backup set . The otherone is streamcompression, which eli minate redundancy in asingle file.In a large backup system,numerous redundant data ex-ists across files .Files with the same content may be foundinother nodes due tofile reduplication and distribution;a partlymodifiedfile may …     

一种提高云存储中小文件存储效率的方案

针对基于HDFS(Hadoop distribated file system)的云存储系统中小文件存储效率不高的问题,采用序列文件技术设计了一个云存储系统中小文件的处理方案.该方案利用多维属性决策理论,综合读文件时间、合并文件时间及节省内存空间大小等指标,得出合并小文件的最优方式,能够在消耗的时间和节省的内存空间之间取得平衡;设计基于层次分析法的系统负载预测算法对系统负载进行预测,从而实现负载均衡的目的;利用序列文件技术对小文件进行合并.实验结果表明,在不影响存储系统运行状况的基础上,该方案提高了小文件的存储效率.     

对象存储系统中的柔性对象分布策略

为了使对象存储系统在处理不同大小文件时兼顾并行性和负载均衡,提出一种能够结合哈希算法和分片算法的优点,同时尽量避免其缺点的柔性分布算法.柔性分布算法将大小文件的边界值界定为512Kbyte,小文件直接映射成一个对象并使用哈希策略映射到一个设备中;大文件分割成多个对象,分别放置在不同的设备里.实验结果显示:柔性分布算法在不同规模的系统中开销最小,且性能受设备数增加的影响较小.     

一种基于智能网络磁盘存储系统的任务调度算法

智能网络磁盘(IND)存储系统现有的调度算法虽然使任务加权总完成时间最优，但是会导致大量任务长期得不到执行而引起“饥饿”现象。针对这个问题，本文提出了一种可控制调度算法 (CSA, Controlled Scheduling Algorithm)，把任务划分成步骤链并根据步骤链的执行时间及权重计算出 因子，在选择未执行步骤链时综合考虑 因子的大小与 因子所在任务的已执行时间。实验结果证明，CSA使加权总完成时间与IND现有算法相当，任务的平均周转时间及短任务的完成时间均优于IND现有算法，可以消除“饥饿”现象，较好地兼顾效益性和公平性原则。     

对等云存储系统信誉机制研究

云存储是分布式存储技术与虚拟化技术结合的产物,是分布式存储技术的最新发展.云存储意味着存储可以作为一种服务,通过互联网提供给用户.相对于当前主从（Master/Slave）结构的GFS（Google File System）,HDFS（Hadoop Distributed File System）,Sector,KFS...     

MIS的数据调查_分析及其存储设计

本文在深入分析MIS数据体系的基础上,阐述了MIS数据调查、分析及其存储设计的任务、关系和方法,并结合作者的实践,总结了在掌握传统方法的同时,如何抓住数据载体调查与数据库文件组织的关键,把数据调查、分析与数据存储设计做好的经验和体会.     

FastDu: Efficient Directory Summaries Harvest by Tracking File System Changes

FastDu is a file system service that tracks file system changes by intercepting file system calls to maintain directory summaries, which play important roles in both storage administration and improvement of user experiences for some applications. In most circumstances, directory summaries are independently harvested by applications via traversing the file system hierarchy and calling stat () on every file in each directory. For large file systems, this brute-force traverse-based approach can take many hours to complete, even if only a small percentage of the files have changed. This paper describes FastDu, which uses a pre-built database to store harvested directory summaries, and tracks the file system changes by intercepting file system calls, so that new harvesting is restricted to the small subset of directories that contain modified files. Tests using FastDu show that this approach reduces the time needed to get a directory summary by one or two orders of magnitude with almost negligible penalty to application-aware file system performance.