基于内容存储系统及其性能优化

为实现开源的基于内容存储系统及性能优化,以应对固定内容数据存储的急速增长而带来的对这种存储系统结构的广泛需求,本文设计并实现了清华大学的基于内容存储(THCAS)系统,并对系统性能进行了分析和评价,在此基础上,提出了多线程Hash和存储流水线2种基于内容存储的优化方法。在正常操作系统I/OBuffer和去掉异步I/O2种情况下,将优化后的系统与原系统的写数据吞吐率和CPU使用率进行测试比较,优化后系统在2种情况下均提升了原系统的写数据性能,多线程Hash提高了150%,而存储流水线提高了25%。     

THCASN——一种基于内容存储区域网络

基于内容存储(CAS)是一种可用于保存内容不变数字记录的存储设备。为解决CAS在安全和性能上的问题,该文介绍了清华大学实现的基于内容存储区域网络原型——THCASN,遵从对象存储设备标准OSDT-10,提出一个分析I/O路径上开销的性能评价模型,找出系统性能瓶颈是对象内容Hash值计算和Hash-元数据变换表搜索。THCASN、NFS和iSCSI存储器性能测试结果表明其性能是接近的,但THCASN写性能高出一倍。实验结果与评价模型对性能瓶颈的分析相符。     

THCASN——一种基于内容存储区域网络

基于内容存储(CAS)是一种可用于保存内容不变数字记录的存储设备。为解决CAS在安全和性能上的问题,该文介绍了清华大学实现的基于内容存储的区域网络原型——THCASN,遵从对象存储设备标准OSDT-10,提出一个分析I/O路径上开销的性能评价模型,找出系统性能瓶颈是对象内容Hash值计算和Hash-元数据变换表搜索。THCASN、NFS和iSCSI存储器性能测试结果表明其性能是接近的,但THCASN写性能高出一倍。实验结果与评价模型对性能瓶颈的分析相符。     

分布式文件系统性能研究

随着海量数据存储和I/O密集型应用的发展,I/O越发成为了分布式存储系统的性能瓶颈,分布式文件系统是解决I/O瓶颈问题的重要途径。如何系统地研究分布式文件系统的性能因子和优化方案,是一个重要研究课题。本文系统地阐述了分布式文件系统的性能研究现状,挖掘并分析了分布式文件系统的关键性能影响因子,为分布式文件系统的设计和性能优化研究提供支持。     

基于CAS的媒体存储技术的研究

为了解决媒体存储和内容管理面临的问题,提出了一种新的媒体存储技术———媒体内容寻址存储(mCAS).mCAS是一种创新的基于内容寻址存储(CAS)和元数据技术的集成解决方案.mCAS对媒体对象进行Hash计算得到固定长度的数字代替文件名,并将Hash和基于MPEG-7的元数据组成一个标准格式的XML文件,称为摘要文件,摘要文件提供一个媒体对象的数字清单和内容清单,既便于媒体文件基于内容的存取,又便于多个媒体应用程序进行数据交换.mCAS原型系统由CAS驱动程序、MPEG-7工具和Web服务器组成,其中CAS驱动程序实现存储空间管理和分配、hash计算和与块的映射,MPEG-7工具实现基于内容的元数据提取,Web服务器实现内容检索.mCAS实现了对象存储技术和内容管理技术的结合,适合于对巨大的视听内容进行数字归档,可提高存储系统的搜索性能和效率.对CAS驱动程序进行了性能测试,结果表明:CAS的文件获取性能比文件服务器相比性能更好,CAS的性能高达10.7 Mbit/s.     

基于I/O通道的存储系统性能模型

基于数据存储I/O通道,为“服务器存储”和“数据中心”两种典型存储结构建立排队模型,利用模型对比分析两种结构的性能特点。结果表明:与服务器存储相比,数据中心的“用户绕过服务器直接访问存储设备”结构,避免了服务器成为系统瓶颈,提高了存储设备利用率,使系统总吞吐量有较大幅度增长。实验证明:该模型可有效地反映实际存储系统的性能变化趋势,并给出大致性能评价。     

一种基于HDD-SSD混合的Mesos存储优化方法

在分析Mesos持久化存储原理的基础上,提出一种基于HDD-SSD混合存储的Mesos系统持久化存储优化方案。它为了解决HDFS频繁读写带来的I/O性能问题,将HDD-SSD混合存储的HDFS作为Mesos持久化层,并对内存冷页面迁出策略进行了优化。实验结果表明,所提出的方法不仅可以提高基于Mesos的系统I/O性能,而且能保证SSD的利用率,节省SSD的成本开销。     

基于Openfiler构建NAS与SAN的整合存储研究

在存储系统的应用中,既有文件I/O服务的需求,也有数据块I/O的需求,以往需要分别构建NAS与SAN来满足,增加了成本和管理的麻烦。基于Openfiler的统一网络存储系统实现了NAS与SAN的融合,同时提供文件I/O和数据块I/O服务。     

VISA存储网络系统元数据管理的研究

为了提高虚拟接口存储结构(VISA)存储网络系统的性能,设计实现了基于块级的元数据管理子系统.该系统的元数据管理子系统实现了物理设备和逻辑设备的块地址空间之间的映射,支持动态地址映射、动态块重分配和热块冗余技术,可以对I/O请求的路径和数据传输的路径完全控制,从而有效地改善了VISA存储网络系统的I/O性能,使数据布局更加合理,提高了存储管理的灵活性,初步实现了负载均衡,并且使VISA存储网络系统具备了容错能力和节点的动态增加能力.测试结果表明:在加入了基于块级的元数据管理功能带来相应开销的情况下,VISA存储网络系统原型与传统存储网络系统iSCSI Linux MD相比,传输延迟减少了8.2%～21.0%,传输吞吐率提高了8.7%～11.9%.     

基于逻辑卷副本整合的节能存储技术研究

为了解决数据中心外存储系统能耗和负载不对等引发的能源浪费问题,设计并实现了一种能耗和负载强度动态平衡的节能存储系统.该系统对存储虚拟化架构进行优化,通过在多个物理卷中为逻辑卷创建工作集副本,并使用内部算法将外部I/O请求映射到启用的逻辑卷副本,从而最小化工作物理卷数目,达到减少能耗的目的.经模拟验证,该系统能够以10%的冗余存储空间为代价,节约外存储系统30%～40%的能耗.     

可快速定位的视频流媒体大数据存储系统

根据流媒体大数据的特点及其在检索定位、存储容量和速度上的局限性,提出了一种新型的视频流媒体大数据以帧为单位的存储架构;设计了与之相适应的硬件存储阵列系统架构和数据管理系统。重点研究了利用现有IDE硬盘设计形成存储视频流媒体大数据的控制器和硬盘存储阵列系统的结构。利用本文设计的存储阵列结构,一个具有n个硬盘的阵列,在实现n倍扩容的同时可以实现n倍提速;并且可以实现快速定位到帧。系统已经在Xilinx的XUPV5_LX110T开发平台通过验证。     

储能辅助电网参与调频的控制策略研究

目的 研究储能电站在风光发电情况下保持电力系统稳态的调节原理与方法,并在此基础上设计了一种虚拟同步发电机三级模型用有源支持控制方式辅助火电机组维持电网频率稳定的主动支撑控制策略。方法 利用储能电池快速响应的特性,建立储能系统,对储能换流器的控制进行改进,在传统的控制架构的基础上改进为在电压中加入虚拟阻抗的外环调节器和基于准PR控制器的电流内环控制,深入分析控制策略的原理和同步发电机的对应关系。结果 随着新能源渗透率越来越高,在储能电站并网参与频率调节的情况下,频率波动的次数变少。结论 控制方法可以给新能源发电系统带来一定的惯性和阻尼,从而增强了系统的稳定性,并且证明了储能电站参与电网调频的必要性和可实施性,为储能电站的分布和储能电池的容量配置提供了一定的实际的参考意义。     

一种提高云存储中小文件存储效率的方案

针对基于HDFS(Hadoop distribated file system)的云存储系统中小文件存储效率不高的问题,采用序列文件技术设计了一个云存储系统中小文件的处理方案.该方案利用多维属性决策理论,综合读文件时间、合并文件时间及节省内存空间大小等指标,得出合并小文件的最优方式,能够在消耗的时间和节省的内存空间之间取得平衡;设计基于层次分析法的系统负载预测算法对系统负载进行预测,从而实现负载均衡的目的;利用序列文件技术对小文件进行合并.实验结果表明,在不影响存储系统运行状况的基础上,该方案提高了小文件的存储效率.     

OrientX. An Integrated, Schema Based Native XML Database System

The increasing number of XML repositories has stimulated the design of systems that can store and query XML data efficiently. OrientX, a native XML database sys tern, is designed to meet this requirement. In this paper, we described the system structure and design of OrientX, an integrated, schema-based native XML database. The main contributions of OrientX are： a）We have implemented an integrated native XML database system, which supports native storage of XML data, and based on it we can handle XPath＆ XQuery efficiently; b）In our OrientX system, schema information is fully explored to guide the storage, optimization and query processing.     

压缩空气含水层储能系统设计及可行性分析

采用数值模拟方法,以3 MW储能规模为例,建立水平地层埋深800 m、渗透率0.5×10~(-12)m~2的压缩空气地下含水层储能模型,对初始气囊及系统循环过程中压力、气相饱和度、系统循环次数等参数进行分析.结果表明:经历完整一次循环后,地层中压力和气相饱和度变化较小;随着循环的继续,地层中可供储能释能循环的有效气相体积缓慢减少;周循环过程压力变化范围较大,对储能系统要求较高.含水层作为储气库进行压缩空气储能具有可行性,应根据实际地质条件进行相应系统设计.     

工业现场传感器实时数据存储系统设计与实现

针对工业现场中大量的传感器以连续高并发的方式所产生的海量实时数据难以高效可靠存储的问题,设计了基于 Hadoop 与 HBase 的工业现场传感器实时数据存储系统,并利用5台服务器和1个磁盘阵列构建了数据存储系统原型,最后通过仿真程序模拟工业现场传感器实时数据的高并发特性,对所提出的数据存储系统性能进行了验证。实验表明,所提出的工业现场传感器实时数据存储系统数据存储可靠、运行稳定、并发处理能力强。     

基于PLC的种蛋保存控制系统设计

针对家禽种蛋储存难的特点,设计了一种基于PLC的智能化种蛋保存系统。系统通过监控种蛋保存环境中的温度、湿度等关键性指标,经PLC分析后及时输出控制指令,有效地控制种蛋保存环境中加湿系统、换热系统、通风系统及消毒系统的运行。系统以西门子PLC作为控制核心,以紫金桥组态软件为上位机组态软件,通过实际的生产运行,种蛋保存时间可达30 d,系统具有良好的经济性和实用性。     

一体化瞬态高温智能存储测试系统设计

为解决当前瞬态高温测试中存在的测试系统对瞬态高温参数信号响应速度慢、动态特性不足、设备布设及装置回收不便等问题,综合运用无线通信技术、数据采集与缓冲技术和存储测试技术,设计了一种通用一体化瞬态高温智能存储测试系统。该系统可用于特殊测试环境下瞬态高温参数的测试,并实时记录存储测试数据和处理结果。设计了基于蓝宝石黑体平面的瞬态高温敏感体、数据处理存储模块和无线模块,并将瞬态高温敏感体、数据处理存储模块和无线模块进行一体化设计。通过ZigBee模块对系统进行参数设置(上、下电、触发电平、测量范围等),使用AVR单片机和FPGA为主控芯片,解决了特殊测试环境下瞬态高温参数的测试采集问题。实际测试结果表明,该瞬态高温智能存储测试系统可准确获得被测温度场瞬态高温参数,具有无线遥控、微功耗、高精度、抗高冲击、抗干扰、微型化、工作稳定和可靠性高等特点,适于恶劣测试环境下瞬态高温参数的测试和记录。     

一种高性能普及型数据采集系统

DAS—4/16型高速数据采集系统采用独特设计的瞬态记录器和APPLE—Ⅱ型微机做为基本硬件,配置了丰富的软件,使之性能好,成本低。它有16个通道,最大数据采集存储量可达32K字节,单通道最高数据采样频率为250千赫。实验和使用证明,本系统达到了设计要求。本文概述了此系统的设计特点、硬件、软件及其应用。