基于生存期的云存储元数据缓存算法

针对元数据管理子系统成为云存储中性能瓶颈的问题,研究了云存储元数据缓存算法.在分析元数据被访问特性的基础上,提出了元数据缓存生存期的概念;依据云存储的特性设计了元数据缓存生存期的计算规则,给出了基于生存期的元数据调出策略和元数据缓存写回策略,提高了云存储元数据管理的效率;分析了基于生存期元数据缓存算法适应用户访问特性的能力,讨论了使用基于生存期元数据缓存算法后如何保证元数据一致性的问题;使用基于生存期元数据缓存算法,实现了云存储元数据缓存原型系统,并使用通用数据集和测试工具进行了测试与分析.结果表明,该算法能提高云存储15％的I/O速度和16％的操作处理速度.     

关系数据库中实时高效元数据存储算法优化研究

当前关系数据库中元数据存储算法不仅所需存储空间大,而且均衡性和稳定性差,读写效率低下。为此,提出一种新的关系数据库中实时高效元数据存储算法。通过基于优先级的蛇形时隙算法,对关系数据库中的元数据进行存储;通过分割网格区域把关系数据库中某一类型的元数据存储于对应的网格中,把优先级高的元数据存储于和查询节点较近的区域,使得高优先级元数据最先被搜索。针对优先级蛇形时隙算法未考虑元数据存储时缓存因素、缺乏针对元数据访问局部性优化机制的弊端,引入元素存储生存期对其进行改进,以提高元数据存储算法的实时高效性。实验结果表明,所提算法的分布均衡度和稳定性很高,而且存储空间小,读写性能优。     

基于SQL的电子资源数据库元数据的开发与设计

根据SAN (storage area network)存储模式的分块理论,以64 M作为block分块单位,设计了分块算法的实现.重点研究了使用底层的SQL Server开发工具对数据库资源平台的元数据进行库结构调整.利用apabi元数据的标识找到了与此元数据相对应的SQL表.修改元数据就是对SQL的表进行操作.最后,使用XML语言设计出了形象直观的农业学科书评数据库的元数据信息.     

基于SAN的虚拟化系统元数据组织策略

SAN(storage area netw ork)结构的实现使得多服务器平台可以共享多种存储设备,为了有效利用存储空间并提高数据存储的可靠性,提出一种基于SAN的虚拟化系统元数据分布策略,并将这种分布策略在I/O节点机的SCS I(sm a ll com pu ter system in terface)目标器中间层用软件的方法实现。通过映射位图方式将设备端的存储资源虚拟化,为光纤网络前端的各种异构平台服务器提供统一的存储资源视图。同时对元数据进行分布冗余存储提高系统可靠性。实验与结果表明:该设计减小了对物理存储设备的需求,使存储设备得到可靠且有效的利用。     

基于元数据的维表标准化管理

为了解决企业IT系统对维表缺乏统一管理的问题,提出了在各业务系统定义和使用的维表编码之上,借助元数据建立一套标准维表库,统一管理维度及维度映射关系,为目标系统解决了不同系统数据集中时维度映射带来的数据质量问题。并且本体系提供了维表检索、维表影响分析、维表变更监控等应用,进一步提升了维护的便利性和数据质量问题发现的及时性。     

块级别的海量存储虚拟化系统

为了适应海量规模存储环境的要求,设计并实现了一种块级别的带内存储虚拟化系统(AXUM)。它使用连续空间段来组织虚拟盘和物理盘,减少了元数据的空间开销。并通过实现目标器模式的虚拟化服务,提供良好的兼容性。同时,AXUM利用多节点协同工作消除了性能瓶颈。实验结果表明:相对于普通网络磁盘,AXUM虚拟化系统带来的延迟在0.6%以下,而该系统的数据处理能力仅受限于物理设备的性能,适用于海量存储网络环境。     

一种包含两级元数据服务器的机群文件系统

本文提出了一种两级元数据服务器机群文件系统,高级元服务器实现任务分配功能,依据与二级元服务器性能最密切相关的负载信息将任务快速分配给二级元服务器,同时在存储文件时,提出了一种文件热量模型,能正确反映各存储节点I/O流量和存储量的方法,并依据文件热量值对待存文件进行了合理的分配存储。实验结果表明,本策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。     

元数据驱动的大型数据库数据迁移工具实现

随着数据模型的升级等,企业需要将原来数据库中存储的数据迁移到新的数据库,一般的做法都是通过开发专用迁移软件来实现,而仅仅依靠数据库系统本身提供的工具是不能满足实际数据迁移需求的。通过对ETL模型、元数据驱动技术的研究,结合中国石油数据中心大型数据迁移需求,定义了数据迁移的通用框架模型体系。对其中的关键技术-映射模式的元数据表示进行了重点研究,用元数据对映射模式进行描述与存储。最后,采用元数据来驱动对ETL引擎进行功能实现。该技术与功能已在中国石油数据中心大型数迁移中得到了应用。     

SXSES－DSS数据库系统的设计与实现

ＳＸＳＥＳ－ＤＳＳ数据库系统通过投影技术将多维层次的数据结构转化为二维表结构，实现了数据的关系存储。系统建立了无数据管理字典，采用压缩索引，以管理数据的描述信息，节约存储空间，提高查询速度。为了能够自动产生导出数据和进行图表输出，系统提供了自定义算术表达式和图表输出功能。此外并利用ＯＲＡＣＬＥ提供的机制，实现了系统的完整性、一致性和安全性控制。     

基于元数据的检察机关与政法部门信息共享方法研究

基于元数据的检察机关与政法部门信息共享方法研究是分析检察机关信息共享实际业务,提出并建立基于检察业务信息共享实际的元数据字典,在元数据字典的基础上建立数据交换平台,对各单位提供交换数据进行检测、清洗、分类、入库,对各单位交换请求进行数据相应.数据交换平台负责对元数据进行存储、管理和共享,同时广播发布交换数据格式,对各单位应用系统提供信息资源共享接口.系统交换平台根据各单位数据交换内容定义各元数据实体,通过元数据实体提取中心库的元数据信息,生成相应交换数据包.为确保数据安全性,系统平台对各交换数据包采用3DES加密算法进行加密控制,防止系统数据泄密.     

基于3-gram模型和数据挖掘技术的元数据预取 

在大规模的文件存储系统中,针对大多数算法的设计没有考虑到元数据访问的特征与元数据本身较小的特点,提出了一种利用存储系统中的元数据操作日志文件,运用3元(3-gram)预测模型和数据挖掘的方法对用户未来可能要操作的元数据进行组预取。实验证明,对于从日志文件中提取出的文件元数据访问序列,新预取模式的缓存(Cache)命中率与基于权重图的预取算法(NEXUS)相比平均提高了3.9%,与最近最少使用算法(least recently used,LRU)比较平均提高了16%。     

电子政务信息资源元数据库的研究

研究采用元数据库统一管理元数据的方法。通过辨识政务信息资源元数据库的数据需求和功能需求,确立了所选数据库的类型,总结了元数据库的存储策略和索引策略,阐述了元数据对象从关系数据到文件系统的映射关系。最后给出了一个具体的实例,对元数据库如何发展进行了展望。     

一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.     

基于元数据的通用异构数据交换工具

为解决企业数据模型升级等多异构数据库间的数据交换问题,构建基于元数据的通用异构数据交换工具。重点研究ETL驱动元数据描述、通用异构数据交换体系、元数据存储模型。实现基于本体映射的元数据的自动抽取,并用元数据驱动数据抽取、转换和加载引擎功能。工具在大庆石油勘探研究院数据中心建设中应用,取得了良好效果。     

自适应型WebGIS构成模式初探

在元数据概念的基础上,分析了目前流行的WebGIS结构模式的不足,拓展了元数据的概念,提出了程序元数据的概念,并基于其上提出了构件灵活配置的应用分布模式,较好的解决了Internet环境下系统应用的灵活配置及分布式数据的共享的问题。     

基于定位目录的元数据管理方法

元数据的访问性能和可扩展性是影响大规模存储系统整体性能的关键因素。该文提出了一种基于定位目录的元数据组织机制。该机制以定位目录作为元数据定位、负载评价以及元数据动态迁移的基础,保持了元数据的目录相关性,提供了较高的元数据访问的性能;在此基础上的负载评价方法以很小的开销反映操作历史信息的影响。测试数据表明,该机制可以提供良好的负载调节能力。     

A solution for digital image management in spatial databases

Digital Orthographic Map (DOM) can be used in various applications because it contains both image features and terrain information. Spatial database management systems aim at the effective and efficient management of data related to a space,engineering design and so on. Thereby spatial database provides an efficient solution for managing DOM. According to large amounts of the DOM data in storage, a data compression based on wavelet is introduced into the storage. Another strategy to solve this problem is to decompose the raw image into tiles and store the tiles individually as separate tuples. The metadata of DOM can be used to organize and manage spatial information,especially for spatial data sharing and fast locating. A tool for browsing, zooming and querying the DOM data is also designed. We implemented these ideas in SISP (Spatial Information Sharing System) and applied the subsystem into the DOM management of Beijing City, which is an component of the Beijing Spatial Information Infrastructure.     

藏文数字图书馆的体系结构与元数据方案建设

从藏文数字图书馆体系结构的建设角度考察元数据方案．认为元数据方案在很大程度上决定了藏文数字图书馆各类对象的数据结构．影响着数字资源的管理方式和构件模型。同时元数据方案应该体现藏文数字图书馆与一般因特网应用的不同之处．元数据方案设计的出发点是将资源的存储、表现、传输相分离，提供分层次的服务。元数据提供了所有这些功能语义内容与相互联系的基础。     

面向对象方法在元数据研究中的应用

面向对象设计技术,将元数据标准中的元数据子集、元数据实体和元数据元素抽象为面向对象中的对象类和属性,将元数据管理中涉及的对象抽象为对象类,提出了元数据标准和元数据管理的对象模型.这种设计理念增强了元数据标准之间的兼容性、元数据管理的可扩展性及代码重用.