存储区域网络基于主机接口卡的负载均衡

为提高存储区域网络中主机的I/O吞吐能力,在主机上加入冗余路径驱动程序,对逻辑单元(LUN)的I/O请求进行处理.将LUN的I/O请求分配到它的所有路径上,使主机的负载均匀地分布在存储网络中.应用排队理论的多服务员聚集模型,分析了总吞吐能力与主机负载、主机接口卡(HBA)数目、HBA性能之间的关系.实现了基于HBA的负载均衡算法,提高了主机的吞吐能力,缩短了I/O平均响应时间.     

适配器驱动层并行I/O调度性能分析

对适配器驱动技术进行了研究，提出了一种可扩展的并行I／O方法．这种方法将多DMA通道和I／O接口集成到适配器中，可实现I／O命令的多通道并行处理，从而以较低代价实现外围设备I／O性能扩展．建立并行I／O的SPN模型，对这种结构下各I／O环节对设备栈I／O性能的影响进行了分析，重点研究I／O请求量与系统IRP流量和I／O通道利用率的关系，并结合测试数据对分析结论给予了证明．     

林业资源数据集群的快速索引设计

设计一种快速索引以管理分布存储的林业资源数据, 通过大量独立数据节点共同负载数据请求, 减少数据访问过程的互斥, 实现了空间与属性数据的分布式存储并行访问. 实验结果表明, 基于目前的应用服务器集群, 应用该快速索引方法, 能以较低的改进成本提高整个数据集群的快速统计和更新能力.     

网格存储中的自适应负载平衡策略

为了优化网格存储的系统性能,针对网格环境中不同存储单元的性能差异,基于文件的访问特点提出一种自适应的负载平衡策略. 通过建立能量模型体现文件访问对存储单元的负载压力;通过与用户访问复合减少负载调整开销;通过创建和回收副本实现数据访问优化. 实验证明,提出的负载平衡策略与传统的磁盘冷却算法相比,请求处理时间和系统吞吐量均有20%左右的提高.     

分布式文件系统性能研究

随着海量数据存储和I/O密集型应用的发展,I/O越发成为了分布式存储系统的性能瓶颈,分布式文件系统是解决I/O瓶颈问题的重要途径。如何系统地研究分布式文件系统的性能因子和优化方案,是一个重要研究课题。本文系统地阐述了分布式文件系统的性能研究现状,挖掘并分析了分布式文件系统的关键性能影响因子,为分布式文件系统的设计和性能优化研究提供支持。     

大型多维数据集合中并行I/O数据存储新策略研究

对大型多维数据在分布式系统的多个磁盘之间进行并行I/O分布存储进行了研究，将已有的数据循环拆分法从适用于二维数据扩展到多维数据中，提出了一种新的启发式多维数据循环策略，即基于访问步长值Hi与访问长度M互质的启发式策略(HPPHM)，实验结果表明了新算法在并行度和鲁棒性等性能方面都具有优越性．     

高顽存性存储网格的构架与性能分析

为提高海量数据存储的可靠性,结合RS(Reed-Solomon)算法和网格技术提出了高可靠性存储网格的整体构架,设计并实现了RS数据存取中间件,理论上证明了系统的数据存储可靠性。通过性能测试,系统具有极高的读写性能。该系统的实现可很好地解决海量数据存储的可靠性问题。     

WNXD数据库存储策略的研究和实现

针对NativeXML数据存储性能不高、支持查询和更新效率低等不足,提出一种新的半结构化信息存储模型WNXD。引入动态倒排技术和数据映像机制,将记录和分页的存储模式相结合,建立3种结构化索引,用不同方法解决了结构化和动态增长的矛盾。创建了实用的存储模型,提供了从整体到局部,从元素、属性到具体值的全面覆盖访问策略,底层的数据存取,尤其是内容混杂的各类形式异构数据的有效性和完整性存取,得到了最大程度保证,查询次数减小了I/O,提高了系统处理性能。     

THCAS:内容存储系统及其性能优化

为实现开源的基于内容存储系统及性能优化,以应对固定内容数据存储的急速增长而带来的对这种存储系统结构的广泛需求,该文设计并实现了清华大学的基于内容存储(THCAS)系统,并对系统性能进行了分析和评价,在此基础上,提出了多线程Hash和存储流水线2种基于内容存储的优化方法。在正常操作系统I/O Buffer和去掉异步I/O 2种情况下,将优化后的系统与原系统的写数据吞吐率和CPU使用率进行测试比较,优化后系统在2种情况下均提升了原系统的写数据性能,多线程Hash提高了150%,而存储流水线提高了25%。     

并行文件系统客户端缓存对系统I/O性能的影响

对浪潮天梭并行文件系统(LCTS-PFS)客户端缓存性能进行了测试,提出了多客户端访问、带客户端缓存的并行文件系统排队模型.分析了不同缓存命中率、不同缓存空间大小和不同文件长度情况下,客户端缓存对I/O响应时间的影响.分析结果表明:I/O响应时间随缓存命中率提高而减少且在有/无缓存情况下的I/O响应时间曲线存在唯一交点,在此交点之前无缓存情况下I/O响应时间小于有缓存情况,而交点之后结果相反;缓存命中率不发生变化时,缓存空间越大I/O响应时间越长;相比无缓存情况下I/O响应时间,若客户端请求生成率固定,则访问文件越大,缓存对I/O响应时间提升越少;若请求生成率发生变化,则相同缓存命中率情况下,访问的文件越大缓存对I/O响应时间提升越多.性能测试和理论分析一致.     

一个可容错并行文件数据存储模型

针对大数据量需求问题, 设计并实现了一个并行文件数据存储模型： 固定大小数据分片和有冗余数据放置模型. 该存储模型简单高效. 实验结果表明, 该模型能够对数据进行容错, 提高了文件数据的可用性.     

Performance Comparison of IP-Networked Storage

Dramatically increasing amounts of digital data are placing huge requirements on storage systems. IP-networked storage systems, such as the network file system (NFS)-based network-attached storage (NAS) systems and the iSCSI-storage area network (SAN) systems, have become increasingly common in today’s local area network (LAN) environments. The emergence of new storage techniques, such as object-based storage (OBS) and content aware storage (CAS), significantly improves the functionality of storage devices ...     

Rapid framing mass storage system on the internet

Mass storage system is now very important for storing huge volume of data in many application system such as VOD systems, electronic library, scientific computation and so on. Besides the storage device and network devices, the real performance of mass storage system is greatly influenced by the connection way between the host and storage system. Here we propose a new design of mass storage system by promoting the storage devices' functions and involving, them directly into data delivering. It can easily meet the demands both for capacity and I/O bandwidth in those applications, and has better service quality and performance compared with the traditional system in delivering mass data over network. Foundation item: Supported by the National Natural Science Foundation of China under grant (69973017) and Defense Advanced Research Foundation of China under grant (98J15. 1. 1. JW0520) Biography: Wang Fang(1972-), female, Ph. D candidate, research interest: mass storage system.     

基于SAN的虚拟化系统元数据组织策略

SAN(storage area netw ork)结构的实现使得多服务器平台可以共享多种存储设备,为了有效利用存储空间并提高数据存储的可靠性,提出一种基于SAN的虚拟化系统元数据分布策略,并将这种分布策略在I/O节点机的SCS I(sm a ll com pu ter system in terface)目标器中间层用软件的方法实现。通过映射位图方式将设备端的存储资源虚拟化,为光纤网络前端的各种异构平台服务器提供统一的存储资源视图。同时对元数据进行分布冗余存储提高系统可靠性。实验与结果表明:该设计减小了对物理存储设备的需求,使存储设备得到可靠且有效的利用。     

Concurrent and Storage-Aware Data Streaming for Data Processing Workflows in Grid Environments

Data streaming applications, usually composed of sequential/parallel data processing tasks organized as a workflow, bring new challenges to workflow scheduling and resource allocation in grid environments. Due to the high volumes of data and relatively limited storage capability, resource allocation and data streaming have to be storage aware. Also to improve system performance, the data streaming and processing have to be concurrent. This study used a genetic algorithm (GA) for workflow scheduling, using on-line measurements and predictions with gray model (GM). On-demand data streaming is used to avoid data overflow through repertory strategies. Tests show that tasks with on-demand data streaming must be balanced to improve overall performance, to avoid system bottlenecks and backlogs of intermediate data, and to increase data throughput for the data processing workflows as a whole.     

Capability-aware data placement for heterogeneous active storage systems

By moving computations from computing nodes to storage nodes, active storage technology provides an efficient for data-intensive high-performance computing applications. The existing studies have neglected the heterogeneity of storage nodes on the performance of active storage systems. We introduce CADP, a capability-aware data placement scheme for heterogeneous active storage systems to obtain high-performance data processing. The basic idea of CADP is to place data on storage nodes based on their computing capability and storage capability, so that the load-imbalance among heterogeneous servers can be avoided. We have implemented CADP under a parallel I/O system. The experimental results show that the proposed capability-aware data placement scheme can improve the active storage system performance significantly.     

基于I/O通道的存储系统性能模型

基于数据存储I/O通道,为“服务器存储”和“数据中心”两种典型存储结构建立排队模型,利用模型对比分析两种结构的性能特点。结果表明:与服务器存储相比,数据中心的“用户绕过服务器直接访问存储设备”结构,避免了服务器成为系统瓶颈,提高了存储设备利用率,使系统总吞吐量有较大幅度增长。实验证明:该模型可有效地反映实际存储系统的性能变化趋势,并给出大致性能评价。     

对象存储系统的合作缓存方案

结合对象存储系统的数据访问模式,综合设计客户端和元数据服务的缓存,构造存储系统的合作缓存方案.该方案将客户端和元数据服务器的缓存作为整体进行设计,以达到提高缓存利用率的目的;通过缓存准入策略合理选择数据传送模式,减少数据传送的通信量;同时,合作缓存方案根据数据对象的大小、访问成本和网络负载动态地调整缓存策略,提高存储系统的服务质量.实验显示,合作缓存方案能较好地适应不同的工作负载,有效提高了系统的输入输出性能.