元数据驱动的大型数据库数据迁移工具实现

随着数据模型的升级等,企业需要将原来数据库中存储的数据迁移到新的数据库,一般的做法都是通过开发专用迁移软件来实现,而仅仅依靠数据库系统本身提供的工具是不能满足实际数据迁移需求的。通过对ETL模型、元数据驱动技术的研究,结合中国石油数据中心大型数据迁移需求,定义了数据迁移的通用框架模型体系。对其中的关键技术-映射模式的元数据表示进行了重点研究,用元数据对映射模式进行描述与存储。最后,采用元数据来驱动对ETL引擎进行功能实现。该技术与功能已在中国石油数据中心大型数迁移中得到了应用。     

基于元数据的通用异构数据交换工具

为解决企业数据模型升级等多异构数据库间的数据交换问题,构建基于元数据的通用异构数据交换工具。重点研究ETL驱动元数据描述、通用异构数据交换体系、元数据存储模型。实现基于本体映射的元数据的自动抽取,并用元数据驱动数据抽取、转换和加载引擎功能。工具在大庆石油勘探研究院数据中心建设中应用,取得了良好效果。     

基于元数据的数据仓库ETL系统设计与研究

数据仓库的ETL系统设计是一个很复杂的过程,为了能有效地管理数据仓库中的数据,使ETL过程具有灵活性、扩展性和可维护性,提出基于元数据管理方法,利用SQL Server 2008的综合服务(SSIS)项目与编程相结合方式来构建ETL系统.阐述了ETL系统的设计思路,元数据管理设计和ETL流程控制设计.     

电子政务信息资源元数据库的研究

研究采用元数据库统一管理元数据的方法。通过辨识政务信息资源元数据库的数据需求和功能需求,确立了所选数据库的类型,总结了元数据库的存储策略和索引策略,阐述了元数据对象从关系数据到文件系统的映射关系。最后给出了一个具体的实例,对元数据库如何发展进行了展望。     

基于CWM的标准ETL的设计与实现

目前开发ETL(Etract Transform Load)系统过程中,最典型的问题就是元数据管理混乱,在分析ETL和元数据之间关系的基础上,提出了一种基于公共仓库模型开发的标准ETL系统设计思想,给出了该标准ETL系统的实现过程。将该方法应用于某医疗保险系统的ETL开发过程中,结果表明,与传统的ETL开发过程相比,该系统开发效率提高40%以上,系统具有良好的通用性和易集成性,解决了元数据管理混乱的问题。     

元数据驱动的异构数据模型双向映射策略

重点研究异构数据模型间的映射关系,并参考ETL框架思想,设计了针对异构数据模型间数据映射、转换和加载于一身的双向映射策略。分析并定义了数据模型间的映射关系与映射规则。基于元数据驱动理论方法设计了数据映射元模型。并将映射关系按照复杂程度分类,分为简单映射与复合映射关系。明确给出了分类原则。还对双向映射关系进行了描述,并分析了双向映射中遇到的问题。     

数据仓库中数据抽取、转换及加载工具研究

分析数据仓库体系结构，描述数据加载过程中的不同实现方法．在实现过程中引入工作流的思想，提出了一种以工作流为模式的基于元数据的ETL模型，将数据加载分解成可配制的具有不同语义的过程，并给出了相关元素的定义，提供了一个可配置的具有良好伸缩性的ETL解决方案。     

UML在关系型GIS空间数据库设计中的应用与研究

空间数据库是GIS系统的核心 ,如何将面向对象的理论和方法应用于空间数据库的分析、设计和实现的全过程 ,实现整个软件生命周期中从问题域到设计域的无缝转换 ,是相关应用领域中的一个十分重要的问题 UML (UnifiedModelingLanguage)是一种标准的、功能强大的面向对象建模语言 文章结合实例研究UML应用于GIS空间数据库的面向对象设计中的理论和技术 ,解决了系统从对象模型到关系模型的转换和空间矢量数据的关系化的面向对象描述和实现 在此基础上 ,通过对系统对象的设计来不断完善数据库的结构设计和功能设计 ,并取得了较好的效果     

数据仓库中ETL技术的研究与改进

ETL是数据仓库构建中的核心环节,通过对传统的ETL架构体系的介绍,从数据抽取、数据转换等方面对ETL过程进行了改进,让数据转换环节在数据抽取和数据清洗加载的过程中同时进行,并增加了一个临时存储区,以此来缓解在数据抽取和转换过程中由于数据量太大或过于复杂而引起的数据拥堵和冗余的现象。通过改进后的ETL系统,可以提高整个数据仓库运行的效率,大大改善运行速度,提高了数据仓库的数据质量。     

基于CWM的ETL元数据管理系统在电子政务中的研究和设计

为解决政府＂信息孤岛＂现状,提高政府部门间数据共享和交互,从根本提高数据利用率,故建设基于CWM的ETL元数据管理系统。本设计主要基于CWM标准,利用数据的ETL技术,根据政府电子政务实际情况,结合工信部相关条例,在技术上利用先进数据抽取工具并采用成熟的数据建模方式。用户反馈情况良好,需进一步对该系统进行完善和改进,从而更好地服务电子政务的信息化建设。     

数据仓库及元数据管理

数据仓库技术是基于数据管理和利用的综合性技术,为支持管理决策而设计。元数据是数据的数据,描述了数据仓库中的各个对象,遍及数据仓库的所有方面,是整个数据仓库系统的核心部件。在对数据仓库系统中的元数据管理及其现状进行了全面分析的基础上,介绍了基于元数据的数据仓库体系结构、元数据管理的实现和元数据的维护。     

MARC到其他元数据格式的数据复用软件

以数字图书馆的信息组织为研究背景 ,讨论了元数据复用和多种元数据并存所带来的互操作问题 ,并构建了一个通用的机读型目录 (MARC)元数据到其他元数据格式的数据复用软件 ,实现了对MARC数据字段的筛选、整理、整合 ,及其到其他元数据语义重复字段的数据转换     

ETL多点缓存技术的数据仓库系统构建

由于数据库中处理数据标准不同,当用户构建数据仓库时,会产生不同效果的问题.而ETL作为数据处理的基本工具,能够在数据仓库构建的过程中提供稳定、高效、可靠的数据.ETL在数据仓库创建过程中起着举足轻重的地位,构建一种基于ETL多点缓存技术的数据仓库,可为用户提供一种稳定的、高质量的数据仓库.     

元数据技术在油气资源数据共享服务中的应用

为满足国家级油气资源基础数据库开发需要,针对数据源异构问题提出了一种基于元数据的解决方案.该方案利用面向对象方法和原型法分别设计油气资源总体数据库和各专题的元数据,参照国标制定元数据的构造标准,使用元数据字典表实现数据的组织与管理.研究结果表明:元数据在数据库管理和web发布过程中具有重要作用.     

Study and Implementation of a New SQL-Based ETL Approach

This paper analyzes the main characteristics, benefits, and disadvantages of existing traditional ETL （extraction, transformation, loading） methods, and summaries some factors affecting the performance of ETL tools. Then, a new ETL approach, E-LT （extraction, loading and transformation）, is proposed. The E-LT approach applies database mapping technique to realize that loading stage and transformation stage in the ETL process are performed at the same time after the extraction stage. Thus, it can use SQL commands to complete loading and transformation processing, and eliminates the staging area before loading in traditional ETL process. The framework of an ETL engine based on E-LT method is presented. The ETL process including initial loading and incremental refreshment is discussed in detail, and the SQL-based algorithm for initial loading is presented. The performance of E-LT method on loading throughout outperforms some commercial ETL approaches by experimental proof and theoretical analysis. At last, a real case in marine data warehousing of the E-LT method is discussed for illustrating the validity of the proposed method.     

塔里木河流域遥感影像数据库系统的设计和建立

目的 采用当前非常流行的数据仓库技术管理塔里木河流域海量遥感影像、背景数据，实现塔河流域管理的数字化、信息化。方法 采用当前流行的数据仓库管理技术，按照空间数据-属性数据一体化、多源数据无缝集成及基于C／S结构和关系数据库3层体系结构的设计思想，将塔里木河流域遥感信息、空间地理信息、多专题信息、社会经济信息，以及多媒体和元数据等各类信息进行集成建库。结果 实现了多类型、多尺度的海量遥感影像、空间地理等基础数据的无缝集成和统一管理。结论 综合使用遥感、地理信息系统、数据库等技术，建立基于动态监测与管理的生态环境信息系统，具有明显的工程优势和技术优势。