重复数据删除中的无向图遍历分组预测方法

针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法.该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量.对于索引表缓存命中率低、系统性能差的问题,采用了图遍历分组方法予以解决,根据数据块访问序列特征信息建立无向图并进行分析,基于分析结果对索引项进行分组,并以组进行缓存替换,从而提高缓存命中率和系统性能.实验结果表明,基于缓存预取原理和无向图遍历分组,在将缓存设置为索引表大小的10％时,重复数据删除存储系统最大存储容量比原有方法提高了7.5倍,缓存命中率由不进行索引项分组时的47％提高到87.6％.     

一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.     

基于生存期的云存储元数据缓存算法

针对元数据管理子系统成为云存储中性能瓶颈的问题,研究了云存储元数据缓存算法.在分析元数据被访问特性的基础上,提出了元数据缓存生存期的概念;依据云存储的特性设计了元数据缓存生存期的计算规则,给出了基于生存期的元数据调出策略和元数据缓存写回策略,提高了云存储元数据管理的效率;分析了基于生存期元数据缓存算法适应用户访问特性的能力,讨论了使用基于生存期元数据缓存算法后如何保证元数据一致性的问题;使用基于生存期元数据缓存算法,实现了云存储元数据缓存原型系统,并使用通用数据集和测试工具进行了测试与分析.结果表明,该算法能提高云存储15％的I/O速度和16％的操作处理速度.     

重删环境下双 B-树索引性能优化研究

为了减少重删环境下磁盘访问次数,提高重删系统的读取性能,提出了一种基于双B-树的索引结构DBIS(Double B-tree Index Structure).DBIS由两种结构不同的B-树构成,B-tree-1通过优化B-树结构,提高检索效率;Btree-2则在B-树的基础上,结合改进的LRU算法构成优化的索引结构,提高了检索命中率.实验验证了DBIS的有效性和优越性,达到了对重复数据删除系统读性能优化的目的.     

CarrierFS:基于虚拟内存的分布式文件系统

针对由于磁盘I/O的性能瓶颈,基于磁盘的分布式文件系统无法为海量小文件存储提供高数据吞吐率和低访问延迟这一问题,设计并实现了一个基于虚拟内存的分布式文件系统——CarrierFS,它将数据存储于虚拟内存中,利用磁盘备份数据.在实现元数据和数据可扩展存储的基础上,CarrierFS设计了监管者模块来保证系统的可靠性.对CarrierFS和HDFS进行了性能测试,实验结果表明,CarrierFS对大文件和小文件的读写速度都具有明显的性能优势.当文件大小为256 Mbyte时,CarrierFS的写入速度大约是HDFS的1.30倍,读取速度大约是HDFS的1.95倍.当文件大小为32 Kbyte时,CarrierFS的写入速度大约是HDFS的3.0倍,读取速度大约是HDFS的3.4倍.     

一种基于Winnowing分块的重复数据删除备份与恢复系统设计与实现

针对海量数据中存在的大量冗余信息,本文设计并实现了一种基于重复数据删除的文件备份与恢复系统,该系统采用改进的Winnowing动态分块算法,将文件分割成不同长度的数据块,并结合摘要算法、索引表、数据压缩等技术,确保服务器仅存储数据块唯一副本,以达到重复数据的删除目的.实验表明,该系统相比cwRsync能较更好的减少网络流量,并且相比传统的压缩技术能更进一步减少磁盘空间占用率.     

一种基于属性的对象访问方法

基于对象存储，吸取NAS和SAN的优点。成为下一代网络存储模式．Ext2作为对象存储的文件系统，数据访问至少需两次以上的磁盘操作，由此提出了一种基于属性的对象访问方法．将数据的块地址和长度链接在一起，作为对象的扩展属性，连同数据对象一起存储到磁盘中，无论数据对象大小。磁盘访问次数仅为两次。有效地提高了数据访问效率．     

磁盘地址转换以及调度算法实现的探讨

磁盘是计算机中重要的设备之一,是存储信息和数据的“仓库”,怎样访问存储在磁盘上的信息,取决于磁盘地址的确定以及磁盘调度算法的实现,本文就磁盘地址的确定加以分析,引出一维地址和三维地址及其之间的关系和调度算法的语言实现,并加以探讨,最终达到对磁盘访问理解的直观性。     

林业资源数据集群的快速索引设计

设计一种快速索引以管理分布存储的林业资源数据, 通过大量独立数据节点共同负载数据请求, 减少数据访问过程的互斥, 实现了空间与属性数据的分布式存储并行访问. 实验结果表明, 基于目前的应用服务器集群, 应用该快速索引方法, 能以较低的改进成本提高整个数据集群的快速统计和更新能力.     

基于地质技术方法非结构化数据的文档检索研究

文章论述了地质调查技术方法非结构化数据在关系型数据库存储的基础上,进行文档检索技术与方案实现的研究,设计了一个针对多种格式文档进行处理的可扩展的应用服务框架,并在框架中实现对文档的全文和元数据的存储、索引和检索等服务。并对关系型数据库存储和检索非结构化数据的不足进行了分析,提出了以NoSQL数据库支撑地质调查技术方法非结构化数据存储检索的改进方向。     

基于元数据的通用异构数据交换工具

为解决企业数据模型升级等多异构数据库间的数据交换问题,构建基于元数据的通用异构数据交换工具。重点研究ETL驱动元数据描述、通用异构数据交换体系、元数据存储模型。实现基于本体映射的元数据的自动抽取,并用元数据驱动数据抽取、转换和加载引擎功能。工具在大庆石油勘探研究院数据中心建设中应用,取得了良好效果。     

地学数据共享网络中的元数据扩展和互操作技术

利用元数据技术整合分散的数据资源,并借助网络提供共享服务已成为当前数据交换中心的主导模式.这一模式隐含了3个潜在的缺陷,元数据的可扩展性和互操作性是其在数据共享网络中应用的关键.针对地学数据共享网络,建立了元数据的扩展模式,并依此构建多学科元数据扩展体系;分5个方面分析了元数据互操作技术(核心元数据互操作、元数据映射、RDF技术框架、基于协议层的互操作和Web Service互操作).结合元数据分布查询服务(SRW)介绍了基于ZING标准的元数据互操作的开发应用实例.     

实时元数据管理的软件体系结构研究

针对数据仓库环境中元数据互操作困难和老化的问题，提出了一种实时分布式元数据管理的软件体系结构．通过对元数据管理模式的分析，基于公共仓库元模型(CWM)规范，以CWM元模型规定的元数据集成、交换内容，用XML元数据交换提供实时元数据交换和共享机制，结果使每个异构软件成员仅需对应一个接口驱动程序即可实现分布式元数据的动态读取和集成．利用模型管理算子，在模型的抽象层次上讨论了模式集成和进化的实现过程．在原型实验中，所有实时操作都在10s内完成，这验证了在该体系结构下元数据的互操作性和实时分布式存取的可行性、有效性。     

元数据技术在油气资源数据共享服务中的应用

为满足国家级油气资源基础数据库开发需要,针对数据源异构问题提出了一种基于元数据的解决方案.该方案利用面向对象方法和原型法分别设计油气资源总体数据库和各专题的元数据,参照国标制定元数据的构造标准,使用元数据字典表实现数据的组织与管理.研究结果表明:元数据在数据库管理和web发布过程中具有重要作用.     

基于OAI-PMH的服务提供者的设计与实现

设计和实现一个基于OAI-PMH的服务提供者.讨论目前数字图书馆中异构数据的检索现状,分析OAI-PMH协议及其互操作框架,基于OAI-PMH协议设计服务提供者系统框架,并提出了OAI-PMH互操作框架中数据快速更新的推/拉模型.完成服务提供者框架中批量获取数据提供者基地址、元数据收获、统一检索3个主要模块的设计与实现.该系统实现了分布异构数据的获取和在此基础上的集中式元数据统一检索,支持数字图书馆中分布式信息资源的可互操作和对用户的透明性,作为数字图书馆中统一检索的一种实现方式.     

数据仓库中元数据应用管理研究

元数据管理是基于决策支持的数据仓库技术研究的重点。元数据可以很好地对数据仓库中的数据进行描述。介绍了数据仓库中元数据的内容与功能。阐述了元数据在数据仓库中的具体工作流程。     

国家环境背景元数据库建设的关键问题

对国家环境背景数据的分类编码、元数据标准、元数据工具软件展开研究,表明在分类编码的编制中应强调环境背景数据位置信息的浓缩与提炼,应贯彻分类为综合服务的原则.对分类编码与数据字典要区别对待,分类编码要赋予较强的概括能力,并成为元数据库的有机组成部分.分类编码是挖掘信息的一种有效手段,可以有效降低元数据信息的检索门槛;分类编码、元数据标准和元数据库结构的整合则从概念层面提供了元数据库主中心和分中心的集成方法;元数据工具软件的功能需求应定位于其所将要依托的社会群体,并以此为基础诠释了元数据工具软件功能的内涵.     

MARC到其他元数据格式的数据复用软件

以数字图书馆的信息组织为研究背景 ,讨论了元数据复用和多种元数据并存所带来的互操作问题 ,并构建了一个通用的机读型目录 (MARC)元数据到其他元数据格式的数据复用软件 ,实现了对MARC数据字段的筛选、整理、整合 ,及其到其他元数据语义重复字段的数据转换     

数字博物馆元数据标准初探

元数据是数据的数据，可为各种形态的数字化信息单元和资源集合提供规范、普遍的描述方法和检索工具。数字博物馆的元数据对于数字博物馆实体性藏品及其数字化信息资源的生成、描述、标引、检索、管理、利用、复用等，具有十分重要的意义。目前在国内外，尚未形成相对统一的博物馆元数据标准规范。采用文献调查法，探讨元数据对于数字博物馆的意义，考察国际上较为成熟的数字博物馆元数据标准，包括都柏林核心，CDWA，VRA Core等元数据，介绍了元数据与XML语言之间的转换机制，并提出我国数字博物馆建设中发展元数据标准的几点初步设想。     

基于云计算的一种全新元数据管理方案

为有效减少云计算过程中不同元数据的工作量,本研究提出了一种全新的管理方案.通过改进的Chord算法和协同双层缓存机制使得元数据服务性能随着聚类上元数据服务器数量增加而增强;采用亲密算法控制客户端与服务器端的协作以便对元数据集进行缓存.基于以上方案能表现出较高性能和良好的可扩展元数据服务,实验表明本文提高的方案性能优于其它方案,更能体现出元数据访问性能与亲密值之间变化的关系.