网络存储中分布式I/O缓存机制研究

针对网络存储中I/O的瓶颈问题,设计了一个基于网络存储的分布式I/O缓存机制,通过本地缓存和远程缓存的两级缓存机制进行I/O性能的优化.其中本地缓存用来保存本地磁盘的读写信息,远程缓存用来协调远程机器的本地缓存.针对以上的缓存机制,设计了相应的数据块更新算法和缓存一致性策略,有效地保证了I/O缓存的性能.     

一种分布式文件系统的推送式数据预取机制

为了克服传统的数据预取机制的不足,提出了一种在分布式文件系统中存储服务器端的推送式数据预取机制.在达到减少网络通信的数据量和通信时延目的的同时,可以让运行客户端文件系统的计算节点从跟踪I/O操作和预测I/O操作的工作中脱离出来,减轻了客户端的工作负担,提高了存储系统的性能.     

基于nested-loop的大数据集快速离群点检测算法

针对已有的多数离群点检测算法存在扩展性差,不能有效应用于大数据集的问题,在已有的基于距离的离群点检测算法的基础上,设计模信息表存储结构,利用向量内积不等式关系以及合理的存储分配和调度策略,提出一种高效离群点检测算法DBoda.该算法通过在预处理中存储每个点的模信息,减少点间距离的计算量,并对嵌套循环方法进行优化,进一步减少I/O的开销.理论分析和试验结果表明,所提算法具有时间消耗小和适用于处理大数据集的特点,可以有效地解决离群点检测中的算法时间复杂性和算法扩展性问题.     

数据网格中存储I/O的SPN建模与性能评价

针对数据网格中存储资源的结构、协议和I/O模式的复杂性问题,分析了存储网络的并行存储I/O请求模型,采用随机Petri网(SPN)建立了SPN并行存储I/O传输的数学模型,描述了系统请求响应时间与系统负载、网络带宽和节点处理能力之间的关系,然后通过排队论进行了并行I/O的性能分析,最后归纳了影响存储网络系统I/O性能的因素,在并行策略和数据组织与分配等方面提出了提高整体存储性能的改进方法.为改进提高数据网格的整体存储I/O性能提供了有效的建模方法和具体的理论依据.     

基于多GPU的三维Kirchhoff积分法体偏移

提出3种策略挖掘三维Kirchhoff积分法体偏移在众核GPU(图形处理器)上的并行性.首先,使用数据传输线程和GPU计算线程构造流水线并行框架,基于此框架直接实现异步输入输出(I/O)以减少GPU和网络存储之间数据传输所需的时间;其次,使用GPU的线程满载策略以使指令吞吐量最大化;最后,应用纹理缓存和常量缓存来减少片外存储器访问,并使用固定功能单元计算超越函数.实验结果表明:相比于IntelXeon E5430CPU上的算法串行版本,在nVidia Tesla C1060GPU上的优化算法实现了约20倍的加速比.比较了算法在3种不同GPU架构上的性能,并给出了CPU与GPU结果在0.5×10-4误差限下仅0.3×10-5的浮点数绝对误差.     

分布式文件系统性能研究

随着海量数据存储和I/O密集型应用的发展,I/O越发成为了分布式存储系统的性能瓶颈,分布式文件系统是解决I/O瓶颈问题的重要途径。如何系统地研究分布式文件系统的性能因子和优化方案,是一个重要研究课题。本文系统地阐述了分布式文件系统的性能研究现状,挖掘并分析了分布式文件系统的关键性能影响因子,为分布式文件系统的设计和性能优化研究提供支持。     

基于重复数据删除技术的数据容灾系统的设计与测试

针对当今企业海量数据的增长给数据容灾系统的存储容量、处理能力、数据传输带宽带来巨大压力的现状,设计了一种基于重复数据删除技术的数据容灾系统.通过I/O吞吐量、CPU利用率、响应时间、数据备份时间和重复数据删除率等指标对数据容灾系统性能进行了测试,测试结果表明数据容灾系统对应用服务器响应时间的影响甚小,重复数据删除效果显著.     

基于对象方向方位的连续方向查询算法

连续的方向查询返回一个拓扑集合,传统的方法无法计算出连续的方向变化,基于这种情况,介绍了一种利用索引结构TPR树来处理基于对象方向方位的连续方向查询算法,通过扩展时间参数化窗口查询技术,提高传送效率来减少I/O和CPU的设备开销。最后通过实验数据表明利用OSS策略进行连续的方向关系查询的I/O性能明显优于重复查询方法的性能。     

动态时间弯曲距离推导

已有研究成果表明,在大多数时间序列处理应用领域中,动态时间弯曲是最为有效的相似度计算方法,但该方法计算时间复杂度较高,并且不满足距离三角不等式,无法进行快速推导.目前,动态时间弯曲优化方法集中在设计低计算复杂度的下界距离,以加快时间序列的比较,然而,这些下界距离同样不能推导,因此在相似度计算时都必须对时间序列数据进行逐一比较,导致I/O代价高,为此提出一种新颖的可推导动态时间弯曲近似距离以及相应的索引构建方法和相似时间序列查询算法.这是首次针对动态时间弯曲距离的推导问题的研究.大量实验结果表明,与现有方法相比,我们提出的方法在时间复杂度和I/O代价两方面都是高效的.     

基于DWarf的语义压缩数据方体计算研究

提出了一个可以减少磁盘访问次数的快速Dwarf计算算法Q-Dwarf,避免了在构建Dwarf过程中,计算汇总单元时不必要关闭结点的频繁I/O磁盘访问,节省了时间.并在此结构上构建查询算法以及增量维护算法.实验证明了一系列算法的效率和有效性,尤其适合数据仓库中的高维数据集.     

VBR流磁盘I/O的优化调度及特定的缓冲计算

VBR流如视频流,由于其位率的突发性和频繁的改变,给传输系统（如网络和磁盘I/O端口）带来了巨大的挑战．VBR流的平滑调度和传输控制成为分布式多媒体应用领域内研究的热点．对于存储的视频,在连续传输中,预缓冲是平滑VBR特性非常有效和实用的方法．作者在基于为网络传输而考虑的VBR流平滑算法的基础上,讨论了考虑物理磁盘块存取特性的VBR流二次平滑调度及缓冲计算方法．首先,给出了一个在最小缓冲尺寸下的磁盘I/O调度规划算法A;然后,计算了在最大存取单元（为某种需要而设定的）不超过某一特定值时的最低缓冲需求,及在该最低缓冲需求下的一个复杂度为线性时间的磁盘I/O调度规划算法C．分析结果表明,所设计的算法能100%地利用磁盘空间．     

基于任务分类思维的云计算海量资源改进调度

对云计算海量数据下的资源调度的研究过程中,进行资源调度时资源分配无法到达合理化调度,存在资源调度效率低的问题。提出分类思维的云计算海量数据资源优化调度方法。该方法引入膜计算概念,将云计算下的海量资源调度的总任务划分为多个子任务,并详细计算每个子任务的资源调度任务量。将优化调度系统内部分解为主膜和辅助膜,利用蝙蝠算法在辅助膜内进行资源分配个体寻优,并将优化后的资源分配最优个体传送到主膜间进行云计算海量数据下的资源分配优化。实验仿真证明,基于改进膜计算蝙蝠算法的云计算海量数据下的资源优化调度方法调度效率高,分配较为均衡。     

一种用于透明计算的多媒体I/O 访问控制方法

针对实时媒体类I/O访问是透明计算系统性能瓶颈的问题,提出了一种用于透明计算的多媒体I/O访问控制方法CAVIO(Classification and Aggregation-based Vir-tual I/O mechanism).CAVIO通过对混杂类型I/O进行分类进而优先处理多媒体I/O,通过聚合小I/O减少I/O的平均路径长度和跨网络处理开销,通过并发处理网络传送提高虚拟磁盘I/O的吞吐率.实验表明,该方法对透明计算系统的多媒体I/O处理性能有显著提高.     

磁带库随机I/O缓冲调度算法的性能

为了提高磁带设备的在线存储效率,提出了一种磁带库缓冲调度算法.该算法采用磁盘驱动器做缓存,将磁带库设备虚拟为逻辑块设备使用.同时,提出了主动写回以及读预取方法,将磁带库的随机读写操作顺序化,以改善系统随机读写性能.文中还对算法性能进行了详细分析,并利用仿真方法对算法进行了测试,结果证明系统集合I/O和单I/O响应时间能够得到明显改善.     

基于MapReduce的大数据在线聚集优化设计

针对大数据在线聚集执行时间长、执行性能及延迟调度性能较差的问题,提出基于MapReduce的大数据在线聚集优化程序设计.使用分片聚集方法使集群中所有机器的计算资源得到充分调用,采用子连接的启发式优先方法优化各节点本地执行连接任务关系运算,实现大数据在线聚集的并行连接.利用混合近似查询框架的大数据在线聚集动态切换机制及基于渐进近似估计的动态切换机制,降低混合近似查询切换误判率,增强大数据在线聚集的执行性能.实验结果表明,该方法设计的在线聚集优化程序在不同数据规模下的执行时间较小,同时在基本频繁查询性能方面具备显著优势.     

虚拟仪器时间特性建模与实时优化分析

针对多任务运行环境下程序执行时间的不确定性会产生响应时间不可预测性的问题,基于虚拟仪器系统结构及实时工作条件,建立虚拟仪器的响应时间模型,确定实时性能评价指标,推导各时间分量的迭代计算公式,采用读取硬件时钟周期数方法实现代码执行时间获取,系统地评测虚拟仪器实时性能指标。基于数据处理超过规定完成时限的时间分析,表明增强数据处理任务的CPU竞争能力和提高计算机平台的硬件配置是实时性能优化的有效方法。相关的实验结果也证实了实时性能评测和优化方法的有效性,通过实验数据分析,推导出在给定实际数据处理时间和按规定时限完成工作周期比例系数的条件下的最大数据采集频率估算公式,可使虚拟仪器在运行效率高达80%的负载条件下,保持稳定的实时性能。     

Challenge and Methods of Synchronous Disk I／O

At present, I/O is the performance bottleneck limiting the speed of computer systems. A large number of I/O operations are synchronous read/write operations of only small data blocks. However, reducing the latency of synchronous I/O operation is a non-trivial problem. In this paper, we propose two methods to address this problem. The first method, FastSync, uses a cache disk optimized for write operation via use of a disk-head position prediction algorithm. In this way, disk capacity is traded for synchronous I/O performance. The second method, LND, uses free memory capacity in a network environment as a cache disk for the buffeting of synchronous I/O operation. Data integrity in FastSync is ensured by using a data log on the cache disk, whereas in LND, integrity is ensured by the storage in distributed memory of multiple copies of each data block. Both methods succeed in dramatically increasing the performance of synchronous I/O operation. The performance of LND is limited by the network speed, whereas performance of FastSync is determined mostly by the data block size.