THCAS:内容存储系统及其性能优化

为实现开源的基于内容存储系统及性能优化,以应对固定内容数据存储的急速增长而带来的对这种存储系统结构的广泛需求,该文设计并实现了清华大学的基于内容存储(THCAS)系统,并对系统性能进行了分析和评价,在此基础上,提出了多线程Hash和存储流水线2种基于内容存储的优化方法。在正常操作系统I/O Buffer和去掉异步I/O 2种情况下,将优化后的系统与原系统的写数据吞吐率和CPU使用率进行测试比较,优化后系统在2种情况下均提升了原系统的写数据性能,多线程Hash提高了150%,而存储流水线提高了25%。     

数据网格中存储I/O的SPN建模与性能评价

针对数据网格中存储资源的结构、协议和I/O模式的复杂性问题,分析了存储网络的并行存储I/O请求模型,采用随机Petri网(SPN)建立了SPN并行存储I/O传输的数学模型,描述了系统请求响应时间与系统负载、网络带宽和节点处理能力之间的关系,然后通过排队论进行了并行I/O的性能分析,最后归纳了影响存储网络系统I/O性能的因素,在并行策略和数据组织与分配等方面提出了提高整体存储性能的改进方法.为改进提高数据网格的整体存储I/O性能提供了有效的建模方法和具体的理论依据.     

网络存储中分布式I/O缓存机制研究

针对网络存储中I/O的瓶颈问题,设计了一个基于网络存储的分布式I/O缓存机制,通过本地缓存和远程缓存的两级缓存机制进行I/O性能的优化.其中本地缓存用来保存本地磁盘的读写信息,远程缓存用来协调远程机器的本地缓存.针对以上的缓存机制,设计了相应的数据块更新算法和缓存一致性策略,有效地保证了I/O缓存的性能.     

分布式文件系统性能研究

随着海量数据存储和I/O密集型应用的发展,I/O越发成为了分布式存储系统的性能瓶颈,分布式文件系统是解决I/O瓶颈问题的重要途径。如何系统地研究分布式文件系统的性能因子和优化方案,是一个重要研究课题。本文系统地阐述了分布式文件系统的性能研究现状,挖掘并分析了分布式文件系统的关键性能影响因子,为分布式文件系统的设计和性能优化研究提供支持。     

CarrierFS:基于虚拟内存的分布式文件系统

针对由于磁盘I/O的性能瓶颈,基于磁盘的分布式文件系统无法为海量小文件存储提供高数据吞吐率和低访问延迟这一问题,设计并实现了一个基于虚拟内存的分布式文件系统——CarrierFS,它将数据存储于虚拟内存中,利用磁盘备份数据.在实现元数据和数据可扩展存储的基础上,CarrierFS设计了监管者模块来保证系统的可靠性.对CarrierFS和HDFS进行了性能测试,实验结果表明,CarrierFS对大文件和小文件的读写速度都具有明显的性能优势.当文件大小为256 Mbyte时,CarrierFS的写入速度大约是HDFS的1.30倍,读取速度大约是HDFS的1.95倍.当文件大小为32 Kbyte时,CarrierFS的写入速度大约是HDFS的3.0倍,读取速度大约是HDFS的3.4倍.     

基于内容存储系统及其性能优化

为实现开源的基于内容存储系统及性能优化,以应对固定内容数据存储的急速增长而带来的对这种存储系统结构的广泛需求,本文设计并实现了清华大学的基于内容存储(THCAS)系统,并对系统性能进行了分析和评价,在此基础上,提出了多线程Hash和存储流水线2种基于内容存储的优化方法。在正常操作系统I/OBuffer和去掉异步I/O2种情况下,将优化后的系统与原系统的写数据吞吐率和CPU使用率进行测试比较,优化后系统在2种情况下均提升了原系统的写数据性能,多线程Hash提高了150%,而存储流水线提高了25%。     

一种基于固态盘和硬盘的混合存储架构

为提高基于固态盘和硬盘的混合存储系统的I/O性能并降低固态盘的硬件磨损,提出了一种新型混合存储架构RAF(Random-Access First).该架构利用序列侦测算法识别负载请求队列中的随机I/O请求和顺序I/O请求,通过重定向模块使固态盘作为内存之外的第2层磁盘缓存来服务随机I/O访问请求,从而使硬盘服务过滤后的顺序I/O请求,使两者的优势得以发挥.原型实验证明,该架构可以有效地提升混合存储系统的性能和可靠性.     

Xen虚拟机存储方式I/O性能研究

虚拟化存储技术是虚拟化技术当中重要的技术之一,可以提高存储利用率和性能,增强存储数据的安全性。针对Xen虚拟机存储虚拟化方式,使用I/O测试软件Iozone对虚拟磁盘镜像存储方式与物理硬盘存储方式的I/O性能进行研究比较,从理论和实验两方面说明了使用虚拟磁盘镜像存储方式和物理硬盘存储方式作为虚拟存储设备在性能和功能上的差异,可为以后根据不同的环境在虚拟机上创建虚拟存储器提供参考依据。     

基于HDFS的企业私有云存储的研究

针对目前企业海量数据存储和管理的问题,本文通过对私有云存储和HDFS技术的研究,提出基于HDFS技术构建企业私有云存储系统。通过实验验证,该系统具有安全可靠性高、扩展性好、开发和运行的成本较低等特点,能够满足企业对海量资源安全可靠、高效快速的存储。     

基于HDFS的企业私有云存储的研究

针对目前企业海量数据存储和管理的问题,本文通过对私有云存储和HDFS技术的研究,提出基于HDFS技术构建企业私有云存储系统。通过实验验证,该系统具有安全可靠性高、扩展性好、开发和运行的成本较低等特点,能够满足企业对海量资源安全可靠、高效快速的存储。     

基于I/O通道的存储系统性能模型

基于数据存储I/O通道,为“服务器存储”和“数据中心”两种典型存储结构建立排队模型,利用模型对比分析两种结构的性能特点。结果表明:与服务器存储相比,数据中心的“用户绕过服务器直接访问存储设备”结构,避免了服务器成为系统瓶颈,提高了存储设备利用率,使系统总吞吐量有较大幅度增长。实验证明:该模型可有效地反映实际存储系统的性能变化趋势,并给出大致性能评价。     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

一种基于CloudSim的分级云存储仿真模型

随着云存储技术的发展,云存储平台解决了大数据存储与管理的难题。然而当数据量与用户量进一步扩大,系统性能要求逐步提升,需要对目前云存储环境中的数据存储管理技术进行深入的研究与改进。由于应用实际的云存储集群进行优化研究极易受到平台环境的限制,因此基于CloudSim实现了一个分级云存储的仿真模型TCSS,给出了一种三层次的设备分级组织结构,构建了完善的数据I/O业务处理与数据存储管理等功能结构。已经将所有拓展功能模块集成到了CloudSim仿真工具的CloudSim层中,用户可以依据TCSS模型,突破平台限制,完成云存储优化策略的建模与测试工作。     

磁带库随机I/O缓冲调度算法的性能

为了提高磁带设备的在线存储效率,提出了一种磁带库缓冲调度算法.该算法采用磁盘驱动器做缓存,将磁带库设备虚拟为逻辑块设备使用.同时,提出了主动写回以及读预取方法,将磁带库的随机读写操作顺序化,以改善系统随机读写性能.文中还对算法性能进行了详细分析,并利用仿真方法对算法进行了测试,结果证明系统集合I/O和单I/O响应时间能够得到明显改善.     

存储区域网络基于主机接口卡的负载均衡

为提高存储区域网络中主机的I/O吞吐能力,在主机上加入冗余路径驱动程序,对逻辑单元(LUN)的I/O请求进行处理.将LUN的I/O请求分配到它的所有路径上,使主机的负载均匀地分布在存储网络中.应用排队理论的多服务员聚集模型,分析了总吞吐能力与主机负载、主机接口卡(HBA)数目、HBA性能之间的关系.实现了基于HBA的负载均衡算法,提高了主机的吞吐能力,缩短了I/O平均响应时间.     

THCASN——一种基于内容存储区域网络

基于内容存储(CAS)是一种可用于保存内容不变数字记录的存储设备。为解决CAS在安全和性能上的问题,该文介绍了清华大学实现的基于内容存储区域网络原型——THCASN,遵从对象存储设备标准OSDT-10,提出一个分析I/O路径上开销的性能评价模型,找出系统性能瓶颈是对象内容Hash值计算和Hash-元数据变换表搜索。THCASN、NFS和iSCSI存储器性能测试结果表明其性能是接近的,但THCASN写性能高出一倍。实验结果与评价模型对性能瓶颈的分析相符。     

THCASN——一种基于内容存储区域网络

基于内容存储(CAS)是一种可用于保存内容不变数字记录的存储设备。为解决CAS在安全和性能上的问题,该文介绍了清华大学实现的基于内容存储的区域网络原型——THCASN,遵从对象存储设备标准OSDT-10,提出一个分析I/O路径上开销的性能评价模型,找出系统性能瓶颈是对象内容Hash值计算和Hash-元数据变换表搜索。THCASN、NFS和iSCSI存储器性能测试结果表明其性能是接近的,但THCASN写性能高出一倍。实验结果与评价模型对性能瓶颈的分析相符。     

一种基于SSD的高性能Hadoop系统的设计与应用

Hadoop已经成为大数据平台的事实标准,当用户要求它成为全栈平台时,MapReduce为批处理而设计的局限日益显现。文中将SSD引入大数据的内存缓存存储解决方案,阐述了SSD和HDD的混合存储架构;同时,结合高效的计算模型Spark等优化技术,设计了一种基于SSD的高性能Hadoop系统,分别有效地解决大数据计算系统的性能问题和存储空间问题,实验性能评测显示取得了显著效果。     

云存储技术在数字图书馆建设中的应用探讨

分析了现有存储技术的特点及其不足,描述了图书馆数字资源存储的需求,介绍了云存储的概念及其优点,提出了一个基于Hadoop HDFS的图书馆云存储架构方案。     

一种Cache加速在虚拟桌面云上的应用

传统的虚拟桌面云系统,随着用户数的增加,系统会显现I/O瓶颈,用户体验降低等现象。本方案是在虚拟化桌面云系统中,把热点数据缓存在SSD高速存储设备上作为Cache,大幅度提高系统I/O性能,并减少虚拟机用户的I/O请求的处理延时,具有一定的实际应用意义。