分布式文件系统

文件系统是计算机系统的重要组成部分,随着个人计算机和网络技术的发展,独立平台上的文件系统有向局域网和广域网上发展的趋势,逐渐形成了分布式计算机环境中的一个重要技术——分布式文件系统。本文主要根据作者实际工作经验,探讨分布式文件系统的创建和复制策略的配置。     

基于MapReduce的视频爬虫系统研究

针对当前网络中视频媒体数量大、更新快、内容多、下载难,以及基于单机的视频网络爬虫系统中的处理速度慢、并发度低和下载速度慢等问题,提出了基于Hadoop框架的视频爬虫系统,为视频爬取提供了高并发度的处理和爬取速度.通过MapReduce计算模型实现网页抓取、分析、去重及下载等计算任务,Hadoop分布式文件系统(HDFS)存储各阶段计算任务的计算结果,运用多处备份机制,使得在某个结点退出时转移任务集,不影响整个系统的稳定性和有效性.实验结果表明完全分布式基于Hadoop的视频爬虫系统无论在单位时间内的视频下载速率还是爬取网页个数都明显高于未基于Hadoop的和伪分布式的视频爬虫系统.     

基于大数据的桥梁健康监测数据存储及预警方法

提出一种基于大数据的桥梁健康监测系统平台,在全面考虑影响桥梁服役性能的各个因素下对桥梁安全状态进行评估和实时预警。该系统平台利用容错率高的分布式文件系统以及计算效率高的平行数据处理引擎,具有高可靠性、可用性和存储效率,且易于扩展。进而采用多因素分析方法充分挖掘桥梁各个传感器实时数据之间隐含的关联性,通过分析数据相关性准确建立桥梁服役性能评估模型,并对桥梁安全状况进行实时预警。此外,该系统平台为测试模型的有效性,分别采用多种模型验证方法进行评估,确保大数据分析方法的可靠性。     

基于HBase的分布式空间数据库技术

针对在大型地理信息系统(GIS)中, 需要对海量矢量据和栅格数据进行存储并对高并发的用户查询请求提供高效响应, 传统的设计方案难以满足需求的问题, 提出一种使用基于内存存储的分布式数据库HBase存储空间数据, 并设计基于GeoHash的分布式空间索引, 实现了矢量空间数据与栅格空间数据的分布式存储与快速查询. 实验表明, 该方法提升了海量空间数据的查询速度.     

CorsairFS:一种面向校园网的分布式文件系统

描述了CorsairFS--一种针对校园网和企业内部网设计的专用分布式文件系统.通过采用可扩展的架构、分块存储方式和基于注册、汇报的自组织机制,系统在满足性能和吞吐量指标的前提下,具有更好的可扩展性和可管理性,能够提供同一数据的多种不同视图,允许在不移动数据的情况下对目录结构进行重构.系统针对大量用户的数据共享和存储的工作负载进行了优化,能有效地处理大量小文件的并发访问,并通过实验说明其能够更有效地利用存储空间,提供更好的数据传输性能,特别是面对大量小文件的情况.     

“云存储”在校园网络视频监控系统中的应用

<正>"云存储"是在云计算概念上延伸和发展的概念,是通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统.1校园进行视频联网监控的必要性     

应用分布式文件系统优化广西柳工机械股份有限公司海量文件型数据管理

应用微软公司在Windows2003服务器版提供的分布式文件系统(DFS)新功能优化柳工机械股份有限公司文件型数据管理.优化重组后的广西柳工机械股份有限公司海量文件型数据,实现了统一的管理模式,所有的员工只需要进入统一的地址,就可以快速地访问到自己所在单位的数据,同时,也可以实现与其他单位的数据交换,不用再担心找不到对方的文件.     

作战仿真中基于Web分布式文件系统的研究与应用

通过对分布式作战仿真环境中资源特点的研究,总结分布式作战仿真环境对分布式文件系统的需求。在Web-based Distributed Authoring and Versioning(WebDAV)协议的基础上,提出了开放、可扩展的分布式文件管理系统模型,并针对分布式作战仿真的需求,对其进行必要扩充,并实现了基于Web的分布式文件管理系统。该系统支持异构系统下的文件管理,具有良好的可扩展性、清晰的层次结构及全局性的资源视图。以分布式作战环境中的武器模型资源为对象,实验表明该系统的访问效率基本满足分布式作战仿真环境的要求。     

云存储访问控制研究

<正>云存储服务在飞速发展的互联网时代扮演着越来越重要的角色。云存储服务的需求度激增,使访问控制、用户授权管理等内容成为研究的重点。访问控制、用户授权管理是保护云存储服务重要技术和内容,无论是出于对主机系统、应用系统的保护,还是基于用户隐私保护的考量,都是云存储服务当中不可或缺的安全策略,值得深入探讨和研究。云存储是在云计算概念上延伸和发展出来的一个新的概念,是通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来,协同工作,共同对外提供数据存储和业务访     

一种融合分布式存储的架构设计

本文介绍了目前成熟分布式架构,在分析医疗机构、高校等特殊实际应用需求的基础上,汲取主流分布式框架的优点,提出分布式存储框架的优化设计思路,搭建了一种融合分布式存储框架,系统的实现将对特殊行业内部分布式存储的部署具有推广意义.