核外计算中I/O优化策略的研究

在大规模科学计算中,核外计算的应用越来越广泛,而核外计算时间优化的关键是I/O执行时间的长短.通过对I/O优化方法的研究,实现了数据筛选、数据预取、数据重用三种I/O优化策略.实验结果表明这三种优化策略均能隐藏I/O延迟,优化核外计算的系统性能.     

一种面向非规则数据的阶段预取策略

传统数据预取技术在处理结构复杂的非规则数据应用程序时,其有效性明显下降.为解决该问题,基于程序运行时的数据访问阶段性特征,提出一种面向非规则数据的阶段预取策略,研究应用程序的访存规律和预取调度机制.该策略通过在线剖析应用程序的访存行为,识别出数据访问性能指标表现稳定的数据访问阶段和具有特定访存行为特征的预取阶段,实现在数据访问阶段内依据预取阶段的访存规律动态调整预取操作.实验结果表明,与传统的基于访存流模型的数据预取技术相比较,阶段预取策略能够减少无用预取,更加有效地改善非规则数据应用程序性能.     

网络存储中分布式I/O缓存机制研究

针对网络存储中I/O的瓶颈问题,设计了一个基于网络存储的分布式I/O缓存机制,通过本地缓存和远程缓存的两级缓存机制进行I/O性能的优化.其中本地缓存用来保存本地磁盘的读写信息,远程缓存用来协调远程机器的本地缓存.针对以上的缓存机制,设计了相应的数据块更新算法和缓存一致性策略,有效地保证了I/O缓存的性能.     

大规模时变可视化数据的预取加速研究

针对读取数据这一制约绘制性能的主要因素,从时变数据场的相邻帧相似性入手,利用前一帧图像的绘图区域预测下一帧图像的绘图区域,进而转换成I/O参数,实现连续绘制中的数据预取.并在多帧图像绘制过程中形成载人、处理、绘制三级流水线,提高可视化的速度.微机测试表明,由于图像相邻帧相似度的不同,时变可视化数据预取将可视化性能提高17.2％～47.5％.     

Lustre文件系统中范围锁机制的应用研究

分布式锁机制是分布式文件系统的重要机制,Lustre是一种高性能的分布式文件系统,针对现有的范围锁机制,在处理多客户端大量并发的密集型共享文件访问时,存在操作延迟、文件数据一致性管理复杂的问题,为了解决这类问题采用了可伸的锁范围划定、对范围锁赋予周期、范围锁版本控制相结合的改进机制。实验结果表明,采用改进后的范围锁机制,不仅保证了文件数据的一致性,一定程度上降低了并发文件访问延迟,从而保证了分布式文件系统的I/O性能。     

并行文件系统客户端缓存对系统I/O性能的影响

对浪潮天梭并行文件系统(LCTS-PFS)客户端缓存性能进行了测试,提出了多客户端访问、带客户端缓存的并行文件系统排队模型.分析了不同缓存命中率、不同缓存空间大小和不同文件长度情况下,客户端缓存对I/O响应时间的影响.分析结果表明:I/O响应时间随缓存命中率提高而减少且在有/无缓存情况下的I/O响应时间曲线存在唯一交点,在此交点之前无缓存情况下I/O响应时间小于有缓存情况,而交点之后结果相反;缓存命中率不发生变化时,缓存空间越大I/O响应时间越长;相比无缓存情况下I/O响应时间,若客户端请求生成率固定,则访问文件越大,缓存对I/O响应时间提升越少;若请求生成率发生变化,则相同缓存命中率情况下,访问的文件越大缓存对I/O响应时间提升越多.性能测试和理论分析一致.     

解析Java中的阻塞I/O与非阻塞I/O控制

分析了新、旧I/O API工作原理及其可伸缩性方面的差异,阐述了如何用选择器通道技术让SocketChannel工作在非阻塞I/O模式下,以实现服务器与客户端无阻塞的、流畅的数据读写,使服务器能在较小的系统开销情况下更有效地、并发地为大量客户机提供服务,提升系统性能.     

基于IOCP的放射源自动监控系统

针对放射源自动监控系统无线数据传输的特点,提出了基于IOCP(I/O完成端口)的数据通信模型,该模型只采用较少的线程接收客户端发来的数据,并采用异步消息处理机制,可以将数据接收和处理过程分解开来,从而快速响应其他客户端的数据请求,因此可以大幅提升数据接收服务器的工作性,有效避免了基于传统Socket设计的数据通信模型占用服务器系统资源多、并发处理能力不足等缺陷.介绍了基于IOCP的放射源自动监控系统的结构特点及工作方式.     

Web高速缓存服务器网络I/O操作性能存在的问题及改善途径

使用事件驱动机制的Web高速缓存服务器在实际工作环境下性能很差,通过分析,发现网络I/O操作是一个主要瓶颈.实现了一个整合了event poll事件驱动机制的Web高速缓存服务器,它大幅度地提高了系统处理客户请求的能力,解决了系统处理网络I/O操作的瓶颈问题.     

磁带库随机I/O缓冲调度算法的性能

为了提高磁带设备的在线存储效率,提出了一种磁带库缓冲调度算法.该算法采用磁盘驱动器做缓存,将磁带库设备虚拟为逻辑块设备使用.同时,提出了主动写回以及读预取方法,将磁带库的随机读写操作顺序化,以改善系统随机读写性能.文中还对算法性能进行了详细分析,并利用仿真方法对算法进行了测试,结果证明系统集合I/O和单I/O响应时间能够得到明显改善.     

分布式文件系统性能研究

随着海量数据存储和I/O密集型应用的发展,I/O越发成为了分布式存储系统的性能瓶颈,分布式文件系统是解决I/O瓶颈问题的重要途径。如何系统地研究分布式文件系统的性能因子和优化方案,是一个重要研究课题。本文系统地阐述了分布式文件系统的性能研究现状,挖掘并分析了分布式文件系统的关键性能影响因子,为分布式文件系统的设计和性能优化研究提供支持。     

应用控制的Web服务器磁盘缓冲方法

针对大数据负载时磁盘I／O阻塞造成的Web服务器性能下降的问题，提出了应用程序控制缓冲（ACC）方法．其核心是，缓冲跟踪模块根据应用程序的文件访问过程来跟踪内核中的文件缓冲状态，缓冲控制模块进行缓冲替换和预取，保持文件缓冲有足够的空闲空间．这样，服务器可在用户空间控制文件缓冲，从而准确判断文件是否在缓冲之中，并依此来调度请求，以提高处理器和磁盘的I／O并行度．同时，服务器可采用适应自身特点的缓冲和预读策略，以提高缓冲的命中率．作为示例，将ACC在Flash服务器中实现，实现中选用了“金字塔选择”缓冲算法．实验表明，在大数据负载下使用ACC的Flash服务器性能有很大的提高，即便在数据负载稍大于物理内存空间的情况下，服务器的吞吐率仍可提高约24．4％，而当数据负载超出物理内存2～3倍时，吞吐率可提高3～4倍。     

Lustre文件系统中范围锁机制的应用研究

分布式锁机制是分布式文件系统的重要机制,Lustre是一种高性能的分布式文件系统,针对现有的范围锁机制,在处理多客户端大量并发的密集型共享文件访问时,存在操作延迟、文件数据一致性管理复杂的问题,为了解决这类问题采用了可伸的锁范围划定、对范围锁赋予周期、范围锁版本控制相结合的改进机制.实验结果表明,采用改进后的范围锁机制...     

一个可容错并行文件数据存储模型

针对大数据量需求问题, 设计并实现了一个并行文件数据存储模型： 固定大小数据分片和有冗余数据放置模型. 该存储模型简单高效. 实验结果表明, 该模型能够对数据进行容错, 提高了文件数据的可用性.     

一种适用于并行文件系统的高可用机制

针对并行文件系统文件数据分布存储的特性所带来的系统可靠性和可用性降低的问题,提出了一种提高并行文件系统可靠性与可用性的机制.该机制采用数据镜像技术,应用逻辑镜像环来指定存储节点间的镜像关系,使得一个存储节点既存储自身的数据,也作为其他节点的数据备份节点.该机制还可以通过调整镜像深度,以满足用户对文件系统不同级别的可靠性和可用性要求.同时,建立了马尔可夫链模型,以评估所提机制的可靠性和可用性.数学求解表明,在镜像深度为2时,应用该机制的并行文件系统发生数据丢失的平均时间大大提高,约为原系统的32倍.     

面向高性能计算的混合存储系统设计与实现

提出了一种采用RAM-disk的混合存储系统,在计算节点的并行文件系统的元数据服务器和对象存储服务器组件中设置不同用途的RAM-disk,用于缓存各种访问模式的文件并提高系统的读写性能.结果表明,采用RAM-disk的混合存储系统可以明显提高系统的读写性能,同时可提高系统的可用性和可维性.     

异构内存系统全局优化的数据预取算法

鉴于现有的数据预取算法不能满足高效能异构计算系统对动态随机存取存储器(DRAM)和非易失性存储器(NVM)相结合的新型异构存储器高效访问的要求,提出了一种模拟退火的全局优化数据预取算法(SADPA)。该算法在启发式搜索模拟退火算法的基础上,引入了随机因子,以避免局部最优,从而确定了全局优化阈值以预取NVM页面的有效数量。实验结果表明,该算法相对于静态阈值调整算法,平均访问延时降低了4%,每个时钟周期内的平均指令数(IPC)增加了10.1%;对于cactusADM应用,该算法相对于软硬件协同的动态阈值调整算法,系统能耗降低了3.4%。     

基于云平台的电信数据仓库文件备份和分布动态调整算法

Hadoop利用统一的备份机制来确保数据的可用性和容错性.然而对于重要的文件块,只能通过修改配置文件来设置副本数量.通过分析电信业数据仓库文件的访问情况,提出文件备份与存放动态调整算法（BPDA）来提高数据局部性,以减少数据传输带来的I/O和网络消耗,提高查询效率.运用多副本一致性哈希算法,概率采样和竞争力弱化算法,得到每一个文件的最佳备份数和备份位置.实验结果验证了该算法可以提高查询关联效率.