数据网格中存储I/O的SPN建模与性能评价

针对数据网格中存储资源的结构、协议和I/O模式的复杂性问题,分析了存储网络的并行存储I/O请求模型,采用随机Petri网(SPN)建立了SPN并行存储I/O传输的数学模型,描述了系统请求响应时间与系统负载、网络带宽和节点处理能力之间的关系,然后通过排队论进行了并行I/O的性能分析,最后归纳了影响存储网络系统I/O性能的因素,在并行策略和数据组织与分配等方面提出了提高整体存储性能的改进方法.为改进提高数据网格的整体存储I/O性能提供了有效的建模方法和具体的理论依据.     

Web高速缓存服务器网络I/O操作性能存在的问题及改善途径

使用事件驱动机制的Web高速缓存服务器在实际工作环境下性能很差,通过分析,发现网络I/O操作是一个主要瓶颈.实现了一个整合了event poll事件驱动机制的Web高速缓存服务器,它大幅度地提高了系统处理客户请求的能力,解决了系统处理网络I/O操作的瓶颈问题.     

核外计算中I/O优化策略的研究

在大规模科学计算中,核外计算的应用越来越广泛,而核外计算时间优化的关键是I/O执行时间的长短.通过对I/O优化方法的研究,实现了数据筛选、数据预取、数据重用三种I/O优化策略.实验结果表明这三种优化策略均能隐藏I/O延迟,优化核外计算的系统性能.     

存储区域网络基于主机接口卡的负载均衡

为提高存储区域网络中主机的I/O吞吐能力,在主机上加入冗余路径驱动程序,对逻辑单元(LUN)的I/O请求进行处理.将LUN的I/O请求分配到它的所有路径上,使主机的负载均匀地分布在存储网络中.应用排队理论的多服务员聚集模型,分析了总吞吐能力与主机负载、主机接口卡(HBA)数目、HBA性能之间的关系.实现了基于HBA的负载均衡算法,提高了主机的吞吐能力,缩短了I/O平均响应时间.     

基于iSCSI的虚拟化存储系统引擎设计

利用iSCSI存储技术标准设计了一个虚拟存储系统引擎VSSE(Virtual Storage System Engine).采用分层结构模型处理远程主机对存储区域网络中存储设备的I/O访问请求.实现基于快速以太网的存储区域网络中存储设备的虚拟化和透明访问,并取得了较好的I/O请求响应速度与I/O传输速度.     

不同网络环境下大数据系统的测试与分析

为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响,在介绍与分析不同网络架构和通讯协议的基础上,使用以太网和Infiniband网络连接,安装TCP/IP,IPoIB和RDMA协议,构建了Hadoop,Tachyon和Spark原型系统,使用通用测试工具和例程等进行了测试.测试结果表明相比使用TCP/IP,使用IPoIB能提高Hadoop的I/O性能4.6~5.6倍,减少Tachyon数据处理的时间开销达2%~27%,减少了Spark 90%~95%的时间开销,同时Spark性能提高了46倍.此外使用RDMA相比IPoIB减少了3%~15%的系统开销.最终分析得出,高速网络架构和高效通讯协议能有效提高大数据处理系统的I/O性能、处理效率和适应能力.     

一种面向HPC Cloud系统的在线作业调度算法

针对HPC Cloud中的作业之间对网络I/O资源的竞争问题,提出了一种基于动态规划算法、二分搜索算法和网络最大流算法的在线作业调度算法——DBMF算法.DBMF算法专注于物理节点上网络I/O的负载均衡,通过物理节点之间的网络I/O负载均衡来减少对网络I/O资源的竞争.通过与FCFS和RSF算法进行对比,DBMF调度算法有效提高了HPC Cloud的系统负载,减少了作业之间对网络I/O资源的竞争.     

冗余SCSI路径驱动程序的设计与实现

研究在Unix系统和NT系统中RDP设备驱动程序的设计原理和实现方法.采用了分层结构设计RDP驱动程序,将RDP置于磁盘驱动程序层次之上,避免了直接操作具体的硬件设备.通过对磁盘I/O请求的挂接和处理,实现故障切换和负载均衡.在路径发生故障时由RDP驱动程序将I/O切换到其他路径,以提高系统的可用性.实现了3种算法,通过将I/O负载均衡分布在各SCSI路径,以增加系统I/O处理能力.     

基于多模块的RAID的设计与实现

本文在多模块结构性能评估模型的基础上,设计了一个RAID的I/O请求处理性能的模拟测试软件,随机产生一组I/O请求,通过计算各级RAID的数据传输率,测试出其性能的高低。     

负载均衡技术在防火墙集群中的应用

负载均衡是一种策略,用来分流繁重的计算或I/O任务,从而提高系统的整体性能,以确保网络的稳定运行.随着网络信息流量的指数级的增加,使得保护网络安全的防火墙成为网络使用的瓶颈并制约着网络的实际应用,影响着网络的性能和扩展性.负载均衡技术应用于两台以上的防火墙集群服务,采用自适应动态负载均衡方式,是提高防火墙的可用性、处理能力和吞吐量的一种适用而有效的方案.     

面向对象的分布式视频会议系统模型

针对分布式视频会议,提出了一个基于对象的分层系统模型,描述了组成系统的各种构件的对象化方法和多媒体间的语义关系。这种模型将多媒体数据流在Ｉ／Ｏ级、处理级和传输网络级进行对象分解。多个对象的分布处理,易于按数据流编程实现,能很好地适应编程环境和网络环境。该模型可充分开发不同粒度的并行性,使媒体处理满足实时应用的需求,程序模块具有很好的可重用性,有利于不同操作环境下系统的实现及互通。     

一种分布式文件系统的推送式数据预取机制

为了克服传统的数据预取机制的不足,提出了一种在分布式文件系统中存储服务器端的推送式数据预取机制.在达到减少网络通信的数据量和通信时延目的的同时,可以让运行客户端文件系统的计算节点从跟踪I/O操作和预测I/O操作的工作中脱离出来,减轻了客户端的工作负担,提高了存储系统的性能.     

GPU加速高性能计算平台上容器性能评估

容器是近年来新兴的虚拟化工具,可以实现资源和系统环境的隔离.容器能够帮助高性能计算应用程序将依赖打包进轻量级可移植的环境中,解决因软件配置无法在高性能计算资源上运行的问题.容器在虚拟化宿主机过程中具有性能开销,为了解GPU加速高性能计算平台上容器虚拟化技术的性能特征,使用标准基准测试工具对Docker容器进行了全面的性...     

VBR流磁盘I/O的优化调度及特定的缓冲计算

VBR流如视频流,由于其位率的突发性和频繁的改变,给传输系统（如网络和磁盘I/O端口）带来了巨大的挑战．VBR流的平滑调度和传输控制成为分布式多媒体应用领域内研究的热点．对于存储的视频,在连续传输中,预缓冲是平滑VBR特性非常有效和实用的方法．作者在基于为网络传输而考虑的VBR流平滑算法的基础上,讨论了考虑物理磁盘块存取特性的VBR流二次平滑调度及缓冲计算方法．首先,给出了一个在最小缓冲尺寸下的磁盘I/O调度规划算法A;然后,计算了在最大存取单元（为某种需要而设定的）不超过某一特定值时的最低缓冲需求,及在该最低缓冲需求下的一个复杂度为线性时间的磁盘I/O调度规划算法C．分析结果表明,所设计的算法能100%地利用磁盘空间．     

Capability-aware data placement for heterogeneous active storage systems

By moving computations from computing nodes to storage nodes, active storage technology provides an efficient for data-intensive high-performance computing applications. The existing studies have neglected the heterogeneity of storage nodes on the performance of active storage systems. We introduce CADP, a capability-aware data placement scheme for heterogeneous active storage systems to obtain high-performance data processing. The basic idea of CADP is to place data on storage nodes based on their computing capability and storage capability, so that the load-imbalance among heterogeneous servers can be avoided. We have implemented CADP under a parallel I/O system. The experimental results show that the proposed capability-aware data placement scheme can improve the active storage system performance significantly.     

有限带宽条件下VOD服务器的设计

分析了ＶＯＤ系统的构成及其实时服务过程，基于Ｍｋ／Ｍ／１的排队过程计算了系统参数对系统性能的影响．给出了设计实时多媒体服务器最大同时访问用户数和缓冲器大小的计算式，并提出了改进服务器性能的ＴＩＰＭＳ方法．将该方法与ＱＰＭＳ的方法进行比较，表明ＴＩＰＭＳ有效地改善了服务器的性能