支持大规模地震探测数据快速可视化的云端数据缓存技术

首先, 基于云计算应用模式, 提出一种能有效利用云存储架构的双层缓存技术. 通过在客户端和服务器端建立分布式缓存, 能有效避免用户频繁访问远端数据, 为用户构建轻量级的客户端, 解决了目前地学数据可视化软件大量占用用户本地存储容量的问题. 同时服务器端也避免了多次访问云存储文件系统, 减少了大量的数据检索与加载时间. 其次, 提出一种ARLS(association rule last successor)访问预测算法, 根据用户的历史访问记录, 利用关联规则挖掘用户的访问模式, 对其访问行为进行预测, 进而提前加载数据, 提高缓存命中率, 解决了用户在可视化过程中不断移动兴趣区域, 频繁更换渲染数据的问题, 能有效应对用户具有多种访问模式的情况, 提高了预测准确率. 实验结果表明, 该云存储架构显著减少了本地资源消耗, 访问预测算法的准确率在最差情形下可达47.59%, 平均准确率达91.3%, 分布式缓存的平均缓存命中率达95.61%, 可有效支持云端大规模地震数据的快速可视化.     

命名数据网络中基于数据请求节点的就近缓存算法

为提高命名数据网络(named data networking,NDN)中数据存储节点的缓存效率和存储空间利用率,根据就近缓存思想,提出一种在数据请求节点中根据特定内容兴趣而区分缓存的数据缓存算法.该算法结合缓存节点地理位置差异性和缓存数据内容热度差异性,将热度高的数据内容优先缓存在数据请求节点周围,并根据数据被请求的频次动态设置缓存时间,使热度高的数据内容尽可能长时间地缓存在存储节点中,增大了数据就近响应概率;且节点中被替换的数据内容没有直接删除,而是向上转发并指示上游节点缓存,增加了缓存数据内容的多样性.仿真结果表明,所提算法能有效提高数据搜索命中率,降低网络请求时延以及路由传输跳数.     

基于t-SNE算法的ICN缓存容量分配机制

针对现有ICN中节点负载不均衡、重要节点缓存利用率低、缓存开销大等问题,面向互联网主干网节点,提出了基于t-SNE算法的ICN缓存容量分配机制.首先,收集网络拓扑信息和流量特征信息并建立高维数据集;然后,通过构造K-近邻表征相似性的方式改进t-SNE算法,对数据集进行降维并对网络节点进行聚类划分;最后,基于聚类结果,将有限的缓存容量合理地分配给不同节点以平衡节点负载.仿真结果表明,本设计的缓存容量分配机制和基准机制相比,在保证路由成功率维持在约95%的前提下,缓存命中率提升了3%～4%,平均缓存开销减少了13. 5%～23. 4%.     

一种基于双窗口的NAND闪存缓冲区管理算法

为提升NAND闪存使用寿命和存储性能,提出了一种基于双窗口的NAND闪存区管理算法DW-LRU。DW-LRU算法利用4个LRU链表来捕获访问次数和冷热特征,且根据访问新近度将页面分为了6类:冷干净页面、冷脏页面、旧热干净页面、非旧热干净页面、旧热脏页面、非旧热脏页面。算法在冷干净LRU链表上设置了一个静态窗口,避免最近写入缓存区中的冷干净页面被频繁置换出;在热脏LRU链表上设置了一个动态窗口,用来处理长时间没被访问的热脏页面。实验结果表明:与LRU、LRU-WSR、PR-LRU算法相比,DW-LRU算法缓冲区命中率平均提升了16.8%、12.3%、2.8%。DW-LRU算法可以提高缓冲区命中率,减少闪存写操作次数和算法运行时间。     

节点-区域关联度感知的区域数据分发算法

为了减少系统开销和降低网络负荷量,设计了节点-区域关联度感知的区域数据分发算法(RDAA-RP):首先,以时间片为周期持续记录和更新节点的区域属性;然后,计算节点对区域的权值并设置阈值作为数据转发限制条件;最后,根据权值控制不同程度关联度的节点参与完成区域数据的共享和交换.为验证RDAA-RP算法的效果,在The ONE平台进行了仿真实验,对比了在不同节点缓存大小和不同传输速度下,RDAA-RP算法、地图分区算法(SSMZ)和Epidemic算法的性能.仿真结果表明:(1)RDAA-RP算法能够在消息采集率与Epidemic算法及SSMZ算法基本相当的情况下,较大程度地降低网络负荷量,并降低消息平均缓存时间; (2)RDAA-RP算法可以有效屏蔽无关或低关联度节点数据带来的干扰,提供可靠的区域特定数据采集分发功能,实现关联节点数据共享的目标.     

RAID在线数据重建方法仿真器设计

在磁盘系统仿真器DiskSim的基础上,提出了一种独立冗余磁盘阵列在线数据重建方法仿真器的设计方案和实现机制.该仿真器以事件驱动的方式与主磁盘系统仿真器进行信息交互,并支持对2种常用的磁盘阵列重建方法(流水重建方法和面向磁盘的重建方法)的功能和性能仿真.仿真结果证明了磁盘阵列在线数据重建方法仿真器的有效性.     

云计算中虚拟机脏页实时迁移的改进策略

虚拟机的实时迁移是实现虚拟机负载均衡的关键技术.当前基于预拷贝(Pre-Copy)方式的内存迁移机制被广泛的采用,该机制在高负载状态下会造成高脏页的反复传送,导致迁移效率严重下降.有效地减少迁移过程中的数据传输量和缩短迁移时间成为亟待解决的问题.本文提出一种迁移过程脏页率预测优化算法,利用马尔科夫模型预测脏页被传送后再次变脏的概率,并结合预测概率时脏页的变化情况,避免了迭代过程中高脏页频繁重传.实验结果表明,本文算法在高负载环境下能明显减少高脏页的无效传送,同时缩短了10%的迁移时间,提高虚拟机迁移性能.     

面向媒体的粗粒度可重构架构层次化存储设计

为了优化粗粒度可重构架构REMUS-II(Reconfigurable Multimedia System 2)的数据流通路,使其能够完成高性能媒体解码,针对媒体算法的数据访问特征,对REMUS-II的片上存储与片外存储访问模块进行优化.片上存储通过二维数据传输和转置等访问模式进行优化,片上数据传输效率分别平均提高了69.6%和15.1%.片外存储通过块缓存设计优化参考帧访问,平均减少37%的外存访问时间.经过层次化存储设计,REMUS-II数据流可满足计算需求,在200MHz主频下实现H.264算法和MPEG2算法高级档次的1 920像素×1 080像素高清分辨率实时解码.     

基于C64x+内核的H.264编码数据Cache优化

文章从C64x+内核DSP的RAM存储器使用效率、Cache工作机制和缓存一致性3个方面出发,分析了数据处在不同级别的存储器对运算性能的影响,指出制约算法效率的因素,给出提高算法效率的方法.H.264的数据类型包括原始帧、重建帧、参考帧、内插数据、预测数据等,在不同级别的存储器上安排这些数据对运算速度有不同程度的影响,...     

一个检测超流的早期淘汰算法

超流是网络中具有大量不同宿IP/源IP链接的源IP/宿IP.实时检测出高速网络(OC48、OC192等)中的超流对网络安全具有非常重要的意义.近年来已经有论文提出了不同超流检测算法,但是这些算法都没有考虑控制测量过程中超流缓存空间的大小.论文在超流检测过程中增加了早期淘汰功能,将超流缓存中链接数较少的记录提前淘汰,以便腾出空间用于存储新检测到的IP记录,实现对超流缓存资源的控制.论文最后还使用实际网络日志数据对算法进行验证,实验表明:早期淘汰算法可以使系统以更少的内存空间和测量资源检测超流信息.     

Design and Implementation of Hierarchy Cache Using Pagefile

This paper presents a novel hierarchy cache architecture for the purpose of optimizing IO performance. The main idea of the hierarchy cache is to use a few megabytes of RAM and a pagefile to form a two-level cache architecture. The pagefile is equivalent to the cache disk in DCD(Disk Caching Disk). The pagefile outperforms data disks, because data are accessed in different units and different ways. Small writes are collected in the RAM cache first, and data will be transferred to the pagefile in large writes later. When the system is idle, it will destage data from the pagefile to data disks. The performance test results show that the hierarchy cache can improve IO performance dramatically for small writes, and the mail server using the hierarchy cache driver can handle transactions about 2.2 times faster than the normal mail server. The hierarchy cache is implemented as a filter driver, so it‘s transparent to the current Windows 2000/Windows XP operating system.     

基于RAID-6的容量扩容布局研究

随着数据量的不断增加,原有存储系统已不能满足海量数据存储的要求。RAID(redundant arrays of independent disks)存储系统因具有良好的数据可靠性、磁盘独立性和可扩展性,成为应用范围最广的存储系统。新型存储技术存在研究迟缓、推广率低的问题,使得在原有RAID存储系统中添加新的磁盘,成为存储海量数据最为便捷,最为有效,成本最低的方式。RAID发展至今,根据对数据存储的不同需求,衍生出了不同层级的RAID存储系统。RAID-6存储系统由数据盘与2个校验盘构成,相较于其他RAID存储系统,具有更好的数据容错功能,更高的数据恢复能力。因此,提出一种基于H-Code针对RAID-6存储系统的扩容算法HS6。该算法在扩容过程中体现了最小化数据迁移量和快速扩容等特性,与传统的Round-Robin和Semi-RR扩容算法相比,该算法减少了73.2%~88.6%的数据迁移量,缩短了30.6%~62.9%的总扩容时间。     

网络存储中分布式I/O缓存机制研究

针对网络存储中I/O的瓶颈问题,设计了一个基于网络存储的分布式I/O缓存机制,通过本地缓存和远程缓存的两级缓存机制进行I/O性能的优化.其中本地缓存用来保存本地磁盘的读写信息,远程缓存用来协调远程机器的本地缓存.针对以上的缓存机制,设计了相应的数据块更新算法和缓存一致性策略,有效地保证了I/O缓存的性能.     

磁盘冗余阵列技术解析

采用磁盘冗余阵列(Redundant Array of Disks 简称 RAID)技术存储数据,可以实现不同等级的冗余和错误修复。RAIDO 只是简单地增加了存储的容量和数据的操作速度,RAIDI 实现了数据的镜像备份,RAID3则具有效据的检错和纠错功能。各种 RAID 技术的结合是一个符合服务器大容量硬盘、数据安全性和服务器运行速度等综合要求的廉价解决方案。     

总线复用型存储器阵列系统数据记录速度模型

为提高总线复用型存储器阵列的性能 ,在小型计算机系统接口总线标准的基础上 ,建立了总线复用型存储器阵列的数据记录速度模型 ,讨论了系统的工作流程、数据记录速度、阵列规模确定以及缓存容量对系统性能影响等阵列系统设计和性能评估中的关键内容 ,提出了优化设计方法。实验研究证明了 :阵列规模、存储设备缓存容量、SCSI(sm allcom puter system interface)适配器的性能和存储设备的性能直接影响总线复用型阵列系统数据记录速度     

LSF:一种面向S-RAID 5的能量管理算法

S-RAID 5是一种适于顺序数据访问的节能磁盘阵列,为了提高其性能并保持节能效率,提出一种能量管理算法:逻辑空间预测法（LSF）,该算法对S-RAID 5的I/O请求地址进行动态聚类分析,以获得I/O请求在逻辑地址空间内的分布区,然后求出各分布区的动态特性,并结合S-RAID 5的特殊数据布局,预测磁盘的工作状态并根据预测状态调度磁盘. 实验表明,在节能效果相当的情况下,与典型算法TPM、Markov相比,LSF可有效消除S-RAID 5的响应时间延迟.      

One method for improving RAID5 performance

As a kind of parallel storage system, RAID5 has been becoming a popular solution for providing better performance at low cost and without sacrificing much redundant data, its main disadvantage is poor performance. It is a general method to improve RAID5 performance by using cache. However, it often happens that the data is not hit in cache, in this case, the RAID5 performance also will be very poor. The method based on combination of disk I/O operations has been proposed for impriving the I/O response time through reducing the number of low-level operations. According to theoretic analysis and experimental test, we find that RAID5 access time and data transfer rate could be largely improved than conventional method. Foundation item: Supported by the National Natural Science Foundation of China under grant 69773046 and (69973017), and Defense Advanced Research Foundation of China under grant (98J15. 1. 1. JW0516) Biography, Chen Qiong (1963-), female, Ph. D candidate, research interests: computer architecture, parallel processing, disk arrays.     

简单树结构存储系统数据分块标准及其证明

为解决传统磁盘阵列技术受系统总线与设备通道制约的问题,采用树结构和单元控制器构建了新型的存储系统.在树结构存储系统的基础上,通过对简单树结构存储系统数据分块方式的定义、推论,以及冲突系数的证明,给出了简单树结构存储系统的数据分块标准.结果证明:简单树结构存储系统数据分块标准能最大程度降低存储系统有效冲突系数,提升存储系统性能.     

网络磁盘阵列I/O请求并行调度策略

在研究网络磁盘阵列I／O请求处理过程中，利用网络通道与I／O通道的并行操作，提出了网络磁盘阵列I／O请求并行调度策略，并给出了详细设计与实现．该策略由同步控制和并行调度两阶段组成．控制程序初始化完成后，进入同步控制阶段，同步控制阶段操作I／O请求信息队列，并根据当前条件启动并行调度阶段的不同步骤．并行调度阶段按照启动顺序完成I／O请求，并返回下一次同步控制．研究结果表明，并行调度策略能有效地提高网络磁盘阵列的性能．     

集群式VOD系统的视频数据存储技术研究

在采用层次化存储的并行VOD系统中,若将视频文件进行拆分并把它打散存储在各个存储单元,将获得更高的磁盘利用率.在我们提出的集群式并行视频服务器结构中,数据节点的独立性很强,为提高数据的并发度、负载平衡及容错性,本文提出了一种类似RAID5结构的独立冗余数据节点阵列RAIDN,并讨论了它的容错机制.