一种副本复制和纠错码融合的云存储文件系统容错机制

在云存储技术中,云存储文件系统的数据容错十分重要,直接关系到整个系统的可用性。该文通过对有中心的分布式文件系统进行分析,提出了双机热备的元数据管理节点容错技术和块副本与基于纠删编解码算法相结合的存储节点容错技术,为云存储文件系统设计了双重保险的容错机制。实验结果表明,该机制大大提高了云存储系统的可靠性,并提高了磁盘空间利用率。     

一种有效的并行文件系统容错方法

在分析导致I/O节点失效主要原因的基础上, 提出一种有效的并行文件系统容错方法： 子文件循环冗余备份. 该方法保证了I/O节点失效时并行文件的正常访问, 提高了并行文件系统的可靠性和有效性.     

面向高性能计算的混合存储系统设计与实现

提出了一种采用RAM-disk的混合存储系统,在计算节点的并行文件系统的元数据服务器和对象存储服务器组件中设置不同用途的RAM-disk,用于缓存各种访问模式的文件并提高系统的读写性能.结果表明,采用RAM-disk的混合存储系统可以明显提高系统的读写性能,同时可提高系统的可用性和可维性.     

一个可容错并行文件数据存储模型

针对大数据量需求问题, 设计并实现了一个并行文件数据存储模型： 固定大小数据分片和有冗余数据放置模型. 该存储模型简单高效. 实验结果表明, 该模型能够对数据进行容错, 提高了文件数据的可用性.     

一种基于NAS的安全镜像解决方案

以Storway NAS为硬件平台,利用NAS数据镜像功能,提出一种安全镜像解决方案,并分析其安全性和实用性.该方案能够实现数据的存储、备份及同步更新,能够保证数据复制的单向性、合法性,内部数据的及时更新,镜像操作在较短的时间内完成.实践证明该方案安全性高,实用性好.     

基于RS纠删码的HDFS云存储动态副本策略研究

目前多数云存储文件系统为保证其系统可靠性和性能所采用的静态完全副本冗余机制存在存储效率低、负载均衡能力差等缺点,为了提高云存储效率以及优化云存储的负载均衡能力,该文根据应用HDFS的经验,提出一种基于RS纠删码的云存储动态副本的冗余策略-SeaMaiden. SeaMaiden引入了副本调整模块和纠删码编解码模块,通过周期性的计算文件的热度,进而动态调整文件的副本数.当文件的副本数低于3时,则调用纠删码编解码模块对文件进行编码,提升文件的可靠性.当文件的热度级别上升时,则动态增加文件副本数,提升HDFS的负载均衡能力.通过实验证明SeaMaiden 能有效提高HDFS的存储效率、可靠性及响应速度.     

分布式文件系统K-DFS的设计与实现

设计并实现了一个可应用于CNGrid(中国国家网格)的分布式文件系统——K-DFS(Keda分布文件系统),该系统可以管理大量的存储节点并同时向多用户提供远程文件访问服务.K-DFS通过跟踪器的监控和管理,有效地解决了多存储节点的访问和同步问题,并实现了负载均衡的功能,避免数据集中于少量存储服务器中.通过副本冗余存储技术,K-DFS保障了远程文件的安全性,有效防止了由于存储节点宕机导致的文件丢失问题.同时,K-DFS具有良好的可扩展性,可以动态地增加存储节点,支持Windows和Linux平台的多种应用,特别适合各种以文件为载体的网络服务.     

基于flash的嵌入式文件系统

目前嵌入式手持设备与多媒体应用中大量数据存储在Flash中。本文针对Flash存储器的特点,设计了一种适合在嵌入式系统中使用的文件系统。该文件系统采用三层结构设计,为应用程序开发提供统一的标准API函数,具有良好的可维护性和移植性;另外,采用分布式文件分配表的存储结构．提高了文件系统的可靠性。     

面向PBOC2.0的智能卡操作系统的设计

针对智能卡的市场需求,摒弃了存储卡的设计思想,采用文件系统与安全访问机制联合设计及模块化的设计方法,在文件结构中加入二进制和记录文件的概念,进行了可靠性存储的设计。在智能卡操作系统的数据存取和文件管理模块上,设计并实现了应用防火墙和一卡多用的功能。该设计增加了智能卡的可靠性、适用性及灵活性。     

导航电子地图数据物理存储

为满足嵌入式系统中导航需要,研究了导航电子地图数据的物理组织与存储.对比了导航电子地图数据物理存储常用的2种实现方法:嵌入式数据库和基于文件系统的方法,提出了采用基于文件系统的实现方法.论述了导航数据物理存储的逻辑结构,提出采用多文件分块实现数据的存储.针对物理存储中导航地理要素检索定位的重要性,研究了基于数据管理框架的数据检索方法.以二进制文件为基础,给出了导航电子地图物理存储文件格式的具体定义.试验结果表明,该导航电子地图物理存储方法在满足导航系统性能需求的基础上,能较好地支持导航系统主要功能的实现,适合于导航服务系统.     

集群服务器系统前端接口子系统的设计与实现

基于链路聚集技术，提出并实现了一种适用于集群服务器系统的前端接口子系统方案，使得接口子系统中的接口机数目能随应用规模的变化而扩展，并增强了集群系统的可用性．链路聚集将多条物理链路聚合成一条单一虚拟的媒体访问控制（MAC）逻辑链路，通过将虚拟MAC解析为集群系统对外服务的虚拟IP（VIP），使多台接口机表现为单一IP的功能．利用链路聚集能在多条物理链路间进行负载均衡的功能，结合接口机的负载均衡策略来实现层次型的负载均衡，有效地提高了系统的I／O带宽．利用链路聚集的链路级容错，结合接口的检测机制实现了系统的高可用功能．理论分析和实验测试结果均表明，该方案能有效扩展集群系统的I／O带宽和处理能力．     

基于网络环境的并行文件系统NPFS的设计与实现

介绍一种基于网络工作站群的并行文件系统ＮＰＦＳ的概念设计,描述该方案的具体设计与实现．ＮＰＦＳ利用ｍｅｓｓａｇｅ－ｐａｓｓｉｎｇ库提供了一个在网络环境下或多处理机环境下可移植的并行文件系统,有效地解决了并行处理中的Ｉ／Ｏ瓶颈问题．图１,参４．     

一种分布式文件系统的推送式数据预取机制

为了克服传统的数据预取机制的不足,提出了一种在分布式文件系统中存储服务器端的推送式数据预取机制.在达到减少网络通信的数据量和通信时延目的的同时,可以让运行客户端文件系统的计算节点从跟踪I/O操作和预测I/O操作的工作中脱离出来,减轻了客户端的工作负担,提高了存储系统的性能.     

数据网格中存储I/O的SPN建模与性能评价

针对数据网格中存储资源的结构、协议和I/O模式的复杂性问题,分析了存储网络的并行存储I/O请求模型,采用随机Petri网(SPN)建立了SPN并行存储I/O传输的数学模型,描述了系统请求响应时间与系统负载、网络带宽和节点处理能力之间的关系,然后通过排队论进行了并行I/O的性能分析,最后归纳了影响存储网络系统I/O性能的因素,在并行策略和数据组织与分配等方面提出了提高整体存储性能的改进方法.为改进提高数据网格的整体存储I/O性能提供了有效的建模方法和具体的理论依据.     

基于SAN的虚拟化系统元数据组织策略

SAN(storage area netw ork)结构的实现使得多服务器平台可以共享多种存储设备,为了有效利用存储空间并提高数据存储的可靠性,提出一种基于SAN的虚拟化系统元数据分布策略,并将这种分布策略在I/O节点机的SCS I(sm a ll com pu ter system in terface)目标器中间层用软件的方法实现。通过映射位图方式将设备端的存储资源虚拟化,为光纤网络前端的各种异构平台服务器提供统一的存储资源视图。同时对元数据进行分布冗余存储提高系统可靠性。实验与结果表明:该设计减小了对物理存储设备的需求,使存储设备得到可靠且有效的利用。     

Research on Architecture Design with High Reliability of Network Nodes in the Amphibious Combating Simulation System

Upper-lower computer mode is the main architecture design of the amphibious combat simulation system(ACSS) at present. Through continuous improvement of real-time performance, software and hardware infrastructure, the exponential growth of operational network data scale is realized, but the availability performance of ACSS declines. The reliability of the working host as the key node has become the bottleneck of the overall availability of network nodes in the ACSS. To optimize the network node architecture of ACSS, this paper presents an effective optimization solution by designing the dual redundancy warm-standby module of the mission computer and I/O port, the algorithm of selecting output path of the mission computer in network nodes, the decision-making algorithm upon the on-duty host and output, and the video output decision-making algorithm upon the upper host. Lastly, the complete process of operational data from the input to output and the opposite is implemented well to guarantee the overall availability of network nodes in the ACSS. It has great advantages of wide applicability, strong reliability and high real-time switching speed.     

Lustre文件系统中范围锁机制的应用研究

分布式锁机制是分布式文件系统的重要机制,Lustre是一种高性能的分布式文件系统,针对现有的范围锁机制,在处理多客户端大量并发的密集型共享文件访问时,存在操作延迟、文件数据一致性管理复杂的问题,为了解决这类问题采用了可伸的锁范围划定、对范围锁赋予周期、范围锁版本控制相结合的改进机制.实验结果表明,采用改进后的范围锁机制...