一种有效的并行文件系统容错方法

在分析导致I/O节点失效主要原因的基础上, 提出一种有效的并行文件系统容错方法： 子文件循环冗余备份. 该方法保证了I/O节点失效时并行文件的正常访问, 提高了并行文件系统的可靠性和有效性.     

一种基于固态盘和硬盘的混合存储架构

为提高基于固态盘和硬盘的混合存储系统的I/O性能并降低固态盘的硬件磨损,提出了一种新型混合存储架构RAF(Random-Access First).该架构利用序列侦测算法识别负载请求队列中的随机I/O请求和顺序I/O请求,通过重定向模块使固态盘作为内存之外的第2层磁盘缓存来服务随机I/O访问请求,从而使硬盘服务过滤后的顺序I/O请求,使两者的优势得以发挥.原型实验证明,该架构可以有效地提升混合存储系统的性能和可靠性.     

用户访问特征驱动的中间件语义缓存替换策略

Web应用中大量用户请求频繁与数据库交互会严重影响系统性能,中间件层缓存有助于减少请求与数据库的交互开销、提高服务器的响应速度。研究了在Web应用服务器中引入语义缓存机制,在查询缓存时利用语义信息进行匹配,然后动态追踪和分析用户访问时间性、访问内容量、业务关联等用户访问特征,在此基础上设计一种基于用户访问特征的语义缓存替换算法。原型实验表明其能够提高缓存命中率,并使服务器的响应时间和吞吐量也得到改善。     

QoE驱动的基于CDN缓存命中率的码率自适应算法

随着移动流媒体用户群的增长,内容分发网(CDN)已经成为提高网络容量和用户体验质量(QoE)的重要途径。为了研究如何提升移动流媒体用户的QoE,提出基于CDN节点缓存命中率的QoE模型,该模型参数包含CDN节点缓存命中率、带宽吞吐量和客户端缓存变化量。在该模型的基础上,提出基于CDN节点缓存命中率的码率自适应算法,解决在网络条件不佳的情况下,根据用户码率请求参数的分布情况调整缓存策略,以提高CDN缓存命中率,降低时延,提高用户QoE。通过实验结果分析可以得出在网络条件相对较差的情况下,基于CDN缓存命中率的码率自适应算法能明显降低用户的RTT,提高用户QoE。     

数据网格中存储I/O的SPN建模与性能评价

针对数据网格中存储资源的结构、协议和I/O模式的复杂性问题,分析了存储网络的并行存储I/O请求模型,采用随机Petri网(SPN)建立了SPN并行存储I/O传输的数学模型,描述了系统请求响应时间与系统负载、网络带宽和节点处理能力之间的关系,然后通过排队论进行了并行I/O的性能分析,最后归纳了影响存储网络系统I/O性能的因素,在并行策略和数据组织与分配等方面提出了提高整体存储性能的改进方法.为改进提高数据网格的整体存储I/O性能提供了有效的建模方法和具体的理论依据.     

一种变粒度的闪存地址映射方案

闪存转换层最重要的功能是地址映射.地址映射需要同时具备高性能和低内存占用.基于需求的页级映射方案DFTL能有效节约内存且具有页级映射方案特有的灵活性,但是这种方案中,每个缓存槽只能存储一条映射记录,当缓存大小一定时,缓存中的映射记录数量有限;此外,这种方案没有考虑到请求的空间局部性.因此这种方案中,缓存命中率较低,DFTL需要频繁访问闪存来读取映射记录,降低了系统性能.于是针对命中率低的问题,提出了一种基于需求的变粒度映射方案VGFTL.这种方案可显著提高缓存的命中率.实验表明,VGFTL缓存平均命中率达到89.85%,远高于DFTL的45.46%,块擦除次数以及平均响应时间这两项指标优于DFTL,其性能接近纯页级映射方案.     

光纤通道的高速低延迟RDMA协议研究

提出了一种FC-AE-RDMA(光纤通道-航空电子环境-远程直接内存访问)协议的实现方法,采用内存区域作为目标端设备以缩短I/O访问路径,同时取消写操作中的流量控制信息单元以减少延迟时间.根据FC-AE-RDMA协议所描述的特征,为采用现场可编程门阵列实现的定制光纤通道控制硬件设计了支持RDMA传输的发起端和目标端驱动程序,并进行了光纤通道RDMA和FCP I/O访问的对比测试.测试结果显示:光纤通道RDMA比FCP具有更短的延迟,当执行最小的I/O请求(512byte)时,光纤通道RDMA的I/O读请求延迟时间为FCP I/O读请求延迟时间的49%;光纤通道RDMA的I/O写请求延迟时间为FCP I/O读请求延迟时间的29%,其中取消流量控制信息单元令使得请求延迟时间减少22%.     

支持大规模地震探测数据快速可视化的云端数据缓存技术

首先, 基于云计算应用模式, 提出一种能有效利用云存储架构的双层缓存技术. 通过在客户端和服务器端建立分布式缓存, 能有效避免用户频繁访问远端数据, 为用户构建轻量级的客户端, 解决了目前地学数据可视化软件大量占用用户本地存储容量的问题. 同时服务器端也避免了多次访问云存储文件系统, 减少了大量的数据检索与加载时间. 其次, 提出一种ARLS(association rule last successor)访问预测算法, 根据用户的历史访问记录, 利用关联规则挖掘用户的访问模式, 对其访问行为进行预测, 进而提前加载数据, 提高缓存命中率, 解决了用户在可视化过程中不断移动兴趣区域, 频繁更换渲染数据的问题, 能有效应对用户具有多种访问模式的情况, 提高了预测准确率. 实验结果表明, 该云存储架构显著减少了本地资源消耗, 访问预测算法的准确率在最差情形下可达47.59%, 平均准确率达91.3%, 分布式缓存的平均缓存命中率达95.61%, 可有效支持云端大规模地震数据的快速可视化.     

面向网络GIS的最小价值空间数据缓存替换算法研究

海量空间数据的网络传输是影响网络GIS服务质量的重要因素.数据缓存机制能有效提高数据响应速度,提升网络GIS服务质量.FIFO、LRU、LFU等常用的缓存替换算法侧重于数据的访问时间和频率,而未能兼顾空间数据特有的空间位置特性,在空间数据缓存的应用上存在着局限性.该文面向网络GIS提出了一种最小空间数据价值缓存替换算法GDLVF(Lowest-Value FirstCache Replacement for Geospatial Data),除考虑数据的访问时间和频率外,还兼顾数据空间位置与可视区域间的面积和位置关系,并利用加权数据大小来降低数据大小差异对价值计算的影响.实验表明,GDLVF较传统的缓存替换算法能够同时兼顾请求命中率和字节命中率,减少数据的网络传输,显著改善网络GIS的服务质量.     

ORM中基于语义相似性的查询缓存替换策略

针对查询的时间局部性特点, 提出基于语义缓存查询SC(semantic comparability)替换策略. 该策略通过分析缓存项与查询项在关系、条件及查询属性3个方面的相关性, 并结合数据访问频率将相似性最小的缓存项予以淘汰. 实验结果表明, 基于查询序列的先后关系, 有选择性的保留与查询具有继承、关联等关系的缓存项, 能够得到更高的查询命中率及更短的查询响应时间. 在缓存空间相同的情况下, SC策略优于LRU策略.     

应用控制的Web服务器磁盘缓冲方法

针对大数据负载时磁盘I／O阻塞造成的Web服务器性能下降的问题，提出了应用程序控制缓冲（ACC）方法．其核心是，缓冲跟踪模块根据应用程序的文件访问过程来跟踪内核中的文件缓冲状态，缓冲控制模块进行缓冲替换和预取，保持文件缓冲有足够的空闲空间．这样，服务器可在用户空间控制文件缓冲，从而准确判断文件是否在缓冲之中，并依此来调度请求，以提高处理器和磁盘的I／O并行度．同时，服务器可采用适应自身特点的缓冲和预读策略，以提高缓冲的命中率．作为示例，将ACC在Flash服务器中实现，实现中选用了“金字塔选择”缓冲算法．实验表明，在大数据负载下使用ACC的Flash服务器性能有很大的提高，即便在数据负载稍大于物理内存空间的情况下，服务器的吞吐率仍可提高约24．4％，而当数据负载超出物理内存2～3倍时，吞吐率可提高3～4倍。     

基于辅助设备的D2D集群的文件块缓存策略研究

为了解决D2D缓存命中概率的最优化问题,在集群用户中加入了移动辅助设备(HEs)缓存,同时,提出了基于辅助设备的D2D集群的流性文件块分批缓存策略(FCPhit):首先,将有相似文件请求的用户群置于一个集群中;然后,将用户分批并将流行文件分为若干块,用户设备缓存文件的第1块,移动辅助设备缓存其他文件块. 并与已有的最流行缓存策略(MPhit)、最优缓存策略(OCPhit)和等概率缓存策略(EPRC)进行对比实验,结果表明:FCPhit策略可以有效提高系统的缓存命中概率.     

基于网络环境的并行文件系统NPFS的设计与实现

介绍一种基于网络工作站群的并行文件系统ＮＰＦＳ的概念设计,描述该方案的具体设计与实现．ＮＰＦＳ利用ｍｅｓｓａｇｅ－ｐａｓｓｉｎｇ库提供了一个在网络环境下或多处理机环境下可移植的并行文件系统,有效地解决了并行处理中的Ｉ／Ｏ瓶颈问题．图１,参４．     

Web缓存系统浅析

研究和构造一个可扩展性好及请求命中率高的Web缓存系统，通过对Web缓存定位问题及目前流行的分布缓存系统的分析，确定分层缓存系统更有优势，为了提高分层缓存的可扩展性和请求命中率，在保持父子代理之间原有协作关系的同时加强父代理的处理能力，提出了一种新的虚拟协作缓存系统，即父代理用扩展性好的集群系统实现，子代理在缓存的同时加进预取技术，该虚拟制作缓存系统能满足网络缓存对可扩展性及请求命中率的要求，具有可扩展性好，吞吐率高和命中率高的特点。     

一种新的Web缓冲替换算法

为了提高Web缓冲的命中率和字节命中率，研究了Web缓冲进行替换操作的依据，提出了一种新的基于站点角色的Web缓冲替换算法(SRB)，该算法除了考虑文档最近存在时间、文档大小、文档访问频率以及文档的价值外，还界定了站点在代理服务器上的角色，并在进行替换操作时对来自不同站点的文档赋予不同的角色值，基于轨迹驱动的模拟试验表明，SRB优于其他的主要算法。     

一种统一存储网的Cache方案

统一存储网融合了NAS和SAN的优点,但对小写数据其I／O性能不高．在客户端采用NVRAM和日志磁盘构成一个两层的Cache,可以将小写数据积累成大写数据,达到提高性能的目的;采用基于租约的Cache一致性协议可以保证网络中断或客户出错时USN的可用性和数据的一致性;实验显示Cache方案可以使USN的性能最大提高50％．     

One method for improving RAID5 performance

As a kind of parallel storage system, RAID5 has been becoming a popular solution for providing better performance at low cost and without sacrificing much redundant data, its main disadvantage is poor performance. It is a general method to improve RAID5 performance by using cache. However, it often happens that the data is not hit in cache, in this case, the RAID5 performance also will be very poor. The method based on combination of disk I/O operations has been proposed for impriving the I/O response time through reducing the number of low-level operations. According to theoretic analysis and experimental test, we find that RAID5 access time and data transfer rate could be largely improved than conventional method. Foundation item: Supported by the National Natural Science Foundation of China under grant 69773046 and (69973017), and Defense Advanced Research Foundation of China under grant (98J15. 1. 1. JW0516) Biography, Chen Qiong (1963-), female, Ph. D candidate, research interests: computer architecture, parallel processing, disk arrays.     

基于价值预评估的代理服务器缓存策略

传统方法解决代理服务器内存空间不足的问题都是被动性方法,在没有考虑缓存对象的缓存价值的情况下直接对它们做缓存,在代理服务器内存不够时再将它们替换,使得部分无缓存价值的对象毫无效果地被缓存了一遍.本文引入了缓存的准入机制,提出基于价值预评估的缓存策略,描述了缓存价值的预评估算法,仿真实验结果表明采用本缓存策略的系统运行有较高的文档命中率和字符命中率.     

一个可容错并行文件数据存储模型

针对大数据量需求问题, 设计并实现了一个并行文件数据存储模型： 固定大小数据分片和有冗余数据放置模型. 该存储模型简单高效. 实验结果表明, 该模型能够对数据进行容错, 提高了文件数据的可用性.     

软件定义下的CCN缓存算法研究

为了解决内容中心网络（CCN）中存在的缓存问题,在内容中心网络和软件定义网络（SDN）的融合架构下,充分利用控制层全局感知和集中控制的优势,提出了一种软件定义下的CCN缓存决策方法。考虑了中介中心度、内容流行度、节点边缘度和缓存节点存储容量的有限性,引入了控制节点和通信节点的概念,通过控制器缓存决策,使得请求内容在不同的节点进行合理缓存。同时,根据控制节点距离缓存节点和服务器的跳数,找到返回用户请求的最短路径,采用ndnSIM进行仿真实验。结果表明,相比ALWAYS,LCD两种传统缓存决策策略,该方案可以明显提高缓存命中率,降低路径延展率和缓存替换数,达到了提高CCN缓存效率的目的,有利于内容中心网络及未来网络的发展。