首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 296 毫秒
1.
针对文件系统日渐显著的复杂性,提出要对复杂文件系统进行管理以优化应用程序对文件系统的访问,改善文件系统的性能,基于LD-PRELOAD技术设计并实现了一种用于文件管理系统的轻量级方法,并阐述和分析了该方法的关键技术和实现.采用系统提供的内建环境变量,加载用户态钩子、实现管理机制及其动态控制.通过对比测试表明:与传统基于FUSE(用户态文件系统)框架的文件系统管理方法相比,该方法在同等环境下具有显著的性能优势.  相似文献   

2.
自主式存储中介系统(ASAS)是一个联系用户或应用程序与海量存储系统(可同时采用DAS、NAS、SAN等多种存储技术)的中间平台.ASAS能够自主地发现存储系统中所使用的存储设备的种类和可利用的各种资源;针对传统语义文件系统的主要缺点,即无法得到质量较高的文件属性,利用用户访问的模式捕捉用户状态,将直接文件属性设置与间接属性设置方法结合起来,实现基于语义的ASAS文件系统;通过ASAS文件系统扩展元数据的帮助,增加文件属性的数量,提高文件的可分类性;使ASAS能够自动收集用户的应用信息和需求,便于用户合理地存储数据并高效地进行访问.  相似文献   

3.
在现有HDFS文件系统的基础上,对于某些关键问题与算法进行了改进,采用JSP等技术结合Hadoop API设计并开发了一个基于Hadoop的云安全存储系统。该系统可以实现文件的上传、下载和共享等功能,用户可以通过Web网页进行相应的操作。  相似文献   

4.
城市地下管线元数据信息共享初探   总被引:1,自引:1,他引:0  
从管网数据库管理和地理信息共享的要求出发,研究了管网元数据的标准及内容,同时设计了元数据管理系统的内容,为管线数据的管理和共享提供了新的思路和方法。解决了目前城市UPIS构建过程中所面临的海量数据维护困难、不能共享、资源浪费等一系列问题;使数据生产者能够及时为用户提供元数据,最大限度地利用数据资源。  相似文献   

5.
研究了一种分两层构建分布式文件系统的方法,即首先在设备管理层提供一个块一级的分布式存储系统,然后在其上的文件系统层构建分布式文件系统.底层的分布式存储系统提供了块一级的分布界面,并且通过存储虚拟化技术将用户视图下的存储设备与真正的物理存储资源分离开来,从而为上层的文件系统屏蔽了底层存储系统的分布式特性.这种分层实现分布式文件系统的方法使得整个系统更加容易设计、实现以及优化,且在性能、缩放性和灵活性等方面与传统的在文件层中实现分布界面的方法相比具有很大的优势.  相似文献   

6.
数值模拟应用中科学数据的组织与管理   总被引:2,自引:0,他引:2  
数值模拟应用中大规模科学数据的组织与管理已经成为影响科学计算性能的一个重要瓶颈问题.针对数值模拟计算程序多维、多物理量、时空相关等复杂的数据特征和在应用程序、平台间所存在的数据交换与共享问题,提出了组织科学数据的层次化数据模型;引入数据语义信息实现了有效的数据管理方式,并向科学计算、可视化和数据分析等应用程序提供统一的高层数据访问程序接口;通过典型程序的实际应用,验证了层次化数据组织模型的有效性;同时还设计了一个数值模拟科学数据管理原型系统,利用元数据技术,整合高性能文件系统和数据库管理系统,以期在效率和易用性取得平衡.  相似文献   

7.
省级气象科学数据共享系统设计与实现   总被引:1,自引:0,他引:1  
省级气象科学数据共享系统旨在气象资料共享,实现元数据的统一发布、数据分级管理、为用户提供基于Web的数据访问服务。本文阐述了该系统的设计与技术实现。  相似文献   

8.
基于对象存储系统的对象文件系统设计   总被引:1,自引:0,他引:1  
基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理.基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统.通过对不同文件大小、不同文件分块大小条件下文件系统的性能进行测试分析,找出系统的数据传输瓶颈,使用以对象属性为导向的缓存和预取技术以及聚合读写的方法对文件系统进行了优化.优化后读写吞吐率分别提高了60Mbyte/s和40Mbyte/s。  相似文献   

9.
为了支持广域、异构资源的统一管理,实现单一虚拟机器,提出了基于分布式对象技术的单一映像文件系统的实现方法,建立了一种分布式对象模型,定义了上下文对象与文件对象,论述了单一映像文件系统的组织结构与实现技术,给出了单一映像文件系统的常用操作命令的性能,单一映像文件系统将地理上分布的、不同管理域的、不同节点的广域异构资源映射到虚拟目录系统,以支持广域资源的协同管理与统一调度,为用户提供方便实用的工具与命令,从而简化了元计算系统的操作。  相似文献   

10.
针对元数据管理子系统成为云存储中性能瓶颈的问题,研究了云存储元数据缓存算法.在分析元数据被访问特性的基础上,提出了元数据缓存生存期的概念;依据云存储的特性设计了元数据缓存生存期的计算规则,给出了基于生存期的元数据调出策略和元数据缓存写回策略,提高了云存储元数据管理的效率;分析了基于生存期元数据缓存算法适应用户访问特性的能力,讨论了使用基于生存期元数据缓存算法后如何保证元数据一致性的问题;使用基于生存期元数据缓存算法,实现了云存储元数据缓存原型系统,并使用通用数据集和测试工具进行了测试与分析.结果表明,该算法能提高云存储15%的I/O速度和16%的操作处理速度.  相似文献   

11.
Existing in-kernel distributed file systems cannot cope with the higher requirements in wellequipped cluster environments, especially when the system becomes larger and inevitably heterogeneous.TH-CluFS is a cluster file system designed for large heterogeneous systems. TH-CluFS is implemented completely in the user space by emulating the network file system (NFS) V2 server, and is easily portable to other portable operating system interface (POSIX)-compliant platforms with application programming/binary interface API/ABI compliance. In addition, TH-CluFS uses a serverless architecture which flexibly distributes data at file granularity and achieves a consistent file system view from distributed metadata. The global cache makes full use of the aggregated memories and disks in the cluster to optimize system performance.Experimental results suggest that although TH-CluFS is implemented as user-level components, it functions as a portable, single system image, and scalable cluster file system with acceptable performance sacrifices.  相似文献   

12.
The reliability and high performance of metadata service is crucial to the store architecture. A novel design of a two-level metadata server file system (TTMFS) is presented, which behaves high reliability and performance. The merits both centralized management and distributed management are considered simultaneously in our design. In this file system, the advanced-metadata server is responsible for manage directory metadata and the whole namespace. The double-metadata server is responsible for maintaining file metadata. And this paper uses the Markov return model to analyze the reliability of the two-level metadata server. The experiment data indicates that the design can provide high throughput.  相似文献   

13.
基于CAS的媒体存储技术的研究   总被引:1,自引:0,他引:1  
为了解决媒体存储和内容管理面临的问题,提出了一种新的媒体存储技术———媒体内容寻址存储(mCAS).mCAS是一种创新的基于内容寻址存储(CAS)和元数据技术的集成解决方案.mCAS对媒体对象进行Hash计算得到固定长度的数字代替文件名,并将Hash和基于MPEG-7的元数据组成一个标准格式的XML文件,称为摘要文件,摘要文件提供一个媒体对象的数字清单和内容清单,既便于媒体文件基于内容的存取,又便于多个媒体应用程序进行数据交换.mCAS原型系统由CAS驱动程序、MPEG-7工具和Web服务器组成,其中CAS驱动程序实现存储空间管理和分配、hash计算和与块的映射,MPEG-7工具实现基于内容的元数据提取,Web服务器实现内容检索.mCAS实现了对象存储技术和内容管理技术的结合,适合于对巨大的视听内容进行数字归档,可提高存储系统的搜索性能和效率.对CAS驱动程序进行了性能测试,结果表明:CAS的文件获取性能比文件服务器相比性能更好,CAS的性能高达10.7 Mbit/s.  相似文献   

14.
HANDY集群文件系统   总被引:2,自引:0,他引:2  
针对当前集群文件系统缺乏动态扩展性和高可用性的不足,提出了一种基于逻辑矢量环结构的集群文件系统HANDY.系统利用逻辑矢量环实现动态扩展和资源的动态管理,采用了分布式元数据管理策略,引入邻接复制技术实现元数据的容错,通过可定制的数据存放策略满足不同应用的数据存储需求.测试结果表明,基于环状结构的系统HANDY具有良好的动态扩展性和高可用性.  相似文献   

15.
集群系统的单一系统映像研究   总被引:2,自引:0,他引:2  
提出了一种集群网络服务器单一系统映像的结构,即Glosim系统.该系统在操作系统内核层通过修改与IPC对象、进程信号相关的系统调用,提供全局系统映像服务,支持全局IPC对象,包括消息队列、信号量及共享内存,同时引入全局工作进程概念,透明地提供SSI服务,并与LVS和SIOS配合,实现了集群系统的高性能单一系统映像.  相似文献   

16.
随着信息技术的日益发展,计算机安全问题越来越突出,数据安全是计算机安全问题的核心.本文首先通过分析常见的操作系统文件系统结构,说明文件存储、文件删除、文件恢复和文件反恢复的原理.其次研究和分析了文件安全存储算法,用于对文件进行分片、压缩、加密、并进行安全擦除,以达到安全存储的目的.最后设计并实现了模拟安全存储文件系统,...  相似文献   

17.
在当今商品化如此发达的时代,Linux是一个奇迹.到现在为止,它已能支持十余种文件系统,但包括现在Linux所使用的Ext2文件系统在内,其实时性都不理想.正是基于这个原因提出了Linux下的实时文件系统(LRTFS).在分析虚拟文件系统(VFS)和Ext2文件系统的基础上,首先指出它们在解决实时问题上的不足,然后提出了实时文件系统LRTFS,并阐述了它在Linux下的设计和实现方案.  相似文献   

18.
随着信息技术的不断发展,科研管理信息系统已经实现了业务的信息化。然而这些系统无法进行信息交流,导致了“信息孤岛”的现象。业务间关联使得科研管理需要进行数据交换,因此有效解决数据集成问题具有重要的现实意义。而元数据中包含的数据结构和语义说明信息是数据集成的重要信息,因此元数据建设是数据集成关键技术。本文以都柏林核心元数据DC(DublinCord)、中国科学院科学数据库核心元数据标准2.0和政务信息资源目录体系为主要参考依据,结合科研管理信息资源的特点,研究确定了科研管理信息资源核心元数据主要内容,并分析了其在科研信息资源管理平台中的作用以及其工作流程。  相似文献   

19.
Service and information resources are two kinds of major shared resources in virtual enterprises, where, service resources include third party‘s service resources and enterprise‘s legacy service resources, and information resources include database resources and file resources. Since service and information resources have distributed, autonomic, remotely bound as well as some other similar characteristics, an implementation mechanism on managing shared resources based on UDDI are presented. XML instances are used to describe resources authorization information, WSDLbased special XML instance represents information resource metadata, and these XML instancesare referenced by tModel for realizing the purpose of managing shared resources metadata based on UDDI.  相似文献   

20.
分布式文件系统是云计算研究领域内一个重要的分支,尽管分布式系统的分级安全功能的重要性很早就被意识到,但是在安全网络下进行分布式文件系统工作却极少。该文提出并设计基于分级安全局域网的分布式文件系统。采用主从式的结构,通过在客户端采取驱动式编程,用Reed-Solomen算法进行数据拆分存储,实现安全分布式文件系统的基本功能,包括数据传输、存储、数据加密、数据拆分、访问控制等。该系统性能测试实验结果满足多级安全局域网的性能要求。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号