THCASN——一种基于内容存储区域网络

基于内容存储(CAS)是一种可用于保存内容不变数字记录的存储设备。为解决CAS在安全和性能上的问题,该文介绍了清华大学实现的基于内容存储区域网络原型——THCASN,遵从对象存储设备标准OSDT-10,提出一个分析I/O路径上开销的性能评价模型,找出系统性能瓶颈是对象内容Hash值计算和Hash-元数据变换表搜索。THCASN、NFS和iSCSI存储器性能测试结果表明其性能是接近的,但THCASN写性能高出一倍。实验结果与评价模型对性能瓶颈的分析相符。     

THCASN——一种基于内容存储区域网络

基于内容存储(CAS)是一种可用于保存内容不变数字记录的存储设备。为解决CAS在安全和性能上的问题,该文介绍了清华大学实现的基于内容存储的区域网络原型——THCASN,遵从对象存储设备标准OSDT-10,提出一个分析I/O路径上开销的性能评价模型,找出系统性能瓶颈是对象内容Hash值计算和Hash-元数据变换表搜索。THCASN、NFS和iSCSI存储器性能测试结果表明其性能是接近的,但THCASN写性能高出一倍。实验结果与评价模型对性能瓶颈的分析相符。     

一种存储容量可扩展的文库系统设计与实现

随着Internet的发展,用户对网络存储系统的价格和性能提出了新的要求.本文分析了各种网络存储技术和Internet传输技术,在虚拟主机基础上,建立文库系统,用户上传文件到服务器中,服务器接收用户文件.服务器动态增加虚拟主机,扩展文库系统的存储容量,并利用Flash和Webservice技术,实现网络存储分布式传输和存储.系统具有良好的可扩展性和数据传输性能.     

THCAS:内容存储系统及其性能优化

为实现开源的基于内容存储系统及性能优化,以应对固定内容数据存储的急速增长而带来的对这种存储系统结构的广泛需求,该文设计并实现了清华大学的基于内容存储(THCAS)系统,并对系统性能进行了分析和评价,在此基础上,提出了多线程Hash和存储流水线2种基于内容存储的优化方法。在正常操作系统I/O Buffer和去掉异步I/O 2种情况下,将优化后的系统与原系统的写数据吞吐率和CPU使用率进行测试比较,优化后系统在2种情况下均提升了原系统的写数据性能,多线程Hash提高了150%,而存储流水线提高了25%。     

基于二维表的对象存储元数据管理

大多数存储系统采用Hash算法或目录子树分区算法来实现元数据在元数据集群内的存储,但是上述算法在元数据修改、删除等操作时系统开销较大,严重影响了系统的性能。文章通过引入二维表存储元数据信息,提出了一种新的存储策略。该策略通过使用二维表、数据库存储过程和特定的递归算法实现了元数据存储。实验结果证明该策略具有良好的存储性能。     

多媒体数据库的元数据存储与检索

给出了多媒体数据库的元数据结构,对元数据的生成、基本媒体元数据(文本元数据、音频元数据、图像元数据和视频元数据)的存取方法进行了论述.描述了多媒体数据库的查询语言和查询管理结构.从媒体的内容及信息特征入手,抽象出元数据的存储与检索方法.     

基于.NET的图像压缩存储技术研究

图像压缩存储技术对于图像数据在数据库服务器中实现快速传输与存储具有重要意义。针对.NET应用程序开发过程中的图像压缩存储问题,在对图像压缩编码、GDI+技术与ADO.NET技术分析研究的基础上,提出了一套实用的图像压缩存储算法,并通过一个基于三层架构的Web应用程序实例介绍了该算法的具体应用方案。     

一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.     

基于对象存储系统的对象文件系统设计

基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理．基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统．通过对不同文件大小、不同文件分块大小条件下文件系统的性能进行测试分析,找出系统的数据传输瓶颈,使用以对象属性为导向的缓存和预取技术以及聚合读写的方法对文件系统进行了优化．优化后读写吞吐率分别提高了60Mbyte／s和40Mbyte／s。     

多媒体数据库的元数据存储与检索

给出了多媒体数据库的元数据结构，对元数据的生成、基本媒体元数据（文本元数据、音频元数据、图像元数据和视频元数据）的存取方法进行了论述。描述了多媒体数据库的查询语言和查询管理结构，从媒体的内容及信息特征入手，抽象出元数据的存储与检索方法。     

Applying File Information to Block-Level Content Addressable Storage

Content addressable storage (CAS) is a promising technology for improving storage efficiency as well as access throughput.Currently,many CAS products are implemented on the block level,which results in loss of file information.Thus,some sophisticated optimizations cannot be achieved,such as accurate fileprefetching.This paper presents a file-aware block-level storage system combined with the CAS function.In contrast with some existing file-level CAS,this system is transparent to upper-level applications,including the operating system and the file system.These features are achieved by using smart-disk technologies to help the storage system to learn the file-system layout.A prototype was implemented on an open-source virtual machine (VM) with the guest operating system being Windows XP.Tests show that this combination significantly reduces the size of the VM image file and improves the storage performance by discarding unused blocks and using a simple file-level prefetching strategy.     

Design and implementation of two-level metadata server in small-scale cluster file system

The reliability and high performance of metadata service is crucial to the store architecture. A novel design of a two-level metadata server file system （TTMFS） is presented, which behaves high reliability and performance. The merits both centralized management and distributed management are considered simultaneously in our design. In this file system, the advanced-metadata server is responsible for manage directory metadata and the whole namespace. The double-metadata server is responsible for maintaining file metadata. And this paper uses the Markov return model to analyze the reliability of the two-level metadata server. The experiment data indicates that the design can provide high throughput.     

一种基于DCT系数的数字视频水印算法

文章提出了一种基于DCT的MPEG-2视频水印技术的设计方法。该算法将水印信息经Hash置乱后嵌入在I帧色度DC系数上。这种算法将混沌理论与置乱技术和扩频技术综合运用到视频水印中,既提高了水印的不可见性、鲁棒性,又提高了水印的安全性。     

Research of the streaming media system architecture based on net-RAID

0　IntroductionRecentdevelopmentsincomputersystemsandhigh speednetworkshavepropelledtheresearchonmultimediasys temsandstimulatedtheemergenceofstreamingmediaapplica tions .ThistrendispartlypromptedbythewidedistributionofsoftwarefromindustrysuchasRealNetworksandMicrosoftWindowsMedia,andtheadoptionofapplicationlevelprotocolssuchasRTP[1 ] andRTSP[2 ] forstreamingmediatransmission .Inthetypicalstreamingmediasystem[3] ,thestoragede vicesareattachedprivatelytothestreamingmediaserver.Un fortunate…     

视听新媒体内容元数据研究

视听新媒体业务的迅速崛起使得新媒体内容元数据标识方式和方法变得尤为重要，合理的视听新媒体内容标识方式和方法将对新媒体内容的交换、存储、定位、检索、管理等相关应用带来直接影响，对视听新媒体的高效性和可持续性有很大影响。     

基于哈希树的分布式目录同步方法

在云存储应用中,用户通常需要在多个终端上对其工作目录副本进行修改,如何在分布式目录副本之间进行高效的数据同步是一个重要问题。设计实现了一个面向私有云存储的分布式目录同步系统HTD2Sync。系统以文件哈希值为依据进行并发同步冲突检测,能够在文件同步过程中过滤大量伪冲突;针对目录副本同步中的2种冲突类型和6种冲突场景,给出了对应的冲突消解方法;引入有序哈希树对用户目录副本的内容和结构进行建模,给出了有序哈希树的创建和更新方法。提出了一种基于有序哈希树的分布式目录副本同步方法,对其流程和核心操作步骤进行了说明,给出了有序哈希树比对算法COMPARE_OHT。实验表明,HTD2Sync系统能够快速感知私有云存储终端的文件变化,在云端文件变化感知方面也具有较高的效率。     

散列技术在CC工具箱开发中的应用实现

研究了散列技术的一些技术性方法，对CC标准作了简介．利用对散列技术研究的成果，具体实现了CC工具箱的开发，其中包括生成预定义环境文件，存放CC组件，存放CC组件依赖关系，创建数据索引等．这使CC工具箱可以对CC标准所定义的数据进行高效的使用，从而使CC工具箱软件建立在一个高效的基础之上．     

基于差异数据的块级数据库备份系统

针对传统数据库备份系统中备份方法存在的重复数据过多、磁盘存储空间利用率低等问题,本文提出了一种基于块差异数据的数据库备份系统.该系统通过实现基于rsync算法的块差异备份,将备份文件划分固定大小的块并利用索引表对块进行排序,Hash表对块进行标识,检测相邻时间点备份文件间及备份文件内部的重复数据,并利用块差异数据备份文件和块差异指示文件实现备份数据的差异传输.实验结果表明,与传统数据库备份系统的备份方法相比,该系统的块差异备份方法消除了各时间点备份数据中的重复数据,从而有效地提高了存储空间的利用率.     

基于Web2．0的高校图书馆数字化资源共享与开放检索系统浅析

探讨了Web2.0时代的高校图书馆数字化资源共享与开放检索系统,其中包含元数据的整合问题。进而描述了订阅图书馆数字化资源的RSS系统、基于OAI-PMH架构的开放检索系统等。这些基于Web2.0的新技术使图书馆数字化资源更迅速有效的典藏、交换、传递与分享,提升图书馆资料的利用价值。