基于元数据的数据仓库ETL系统设计与研究

数据仓库的ETL系统设计是一个很复杂的过程,为了能有效地管理数据仓库中的数据,使ETL过程具有灵活性、扩展性和可维护性,提出基于元数据管理方法,利用SQL Server 2008的综合服务(SSIS)项目与编程相结合方式来构建ETL系统.阐述了ETL系统的设计思路,元数据管理设计和ETL流程控制设计.     

Business Intelligence在企业数据仓库建设中的应用与研究

论文阐述了商业智能（Business Intelligence）在创建数据仓库过程中的重要地位,首先介绍了BI的工作原理和ETL具体步骤,剖析了ETL的整个流程和ETL技术在企业决策支持系统中的作用;重点分析了Microsoft SQL Server 2005 Integration Services（SSIS）用于生成高性能数据集成和工作流解决方案的平台。     

公路客运售票系统数据仓库的设计与实现

公路运输企业的信息化工作已从管理信息系统发展到决策支持系统,而数据仓库是决策支持系统的核心。本文分析客运售票业务系统的现状和存在的问题,设计实现了一个数据仓库系统,利用SQL Server 2005提供的SSIS工具构建ETL package,保证存入到数据仓库中的数据的质量,用SSAS来实现OLAP数据分析,用SSRS来实现智能报表功能。系统通过在多个运输公司的实际应用,取得了良好的效果,为客运企业管理者提供准确的决策信息。     

数据仓库中ETL技术的研究与改进

ETL是数据仓库构建中的核心环节,通过对传统的ETL架构体系的介绍,从数据抽取、数据转换等方面对ETL过程进行了改进,让数据转换环节在数据抽取和数据清洗加载的过程中同时进行,并增加了一个临时存储区,以此来缓解在数据抽取和转换过程中由于数据量太大或过于复杂而引起的数据拥堵和冗余的现象。通过改进后的ETL系统,可以提高整个数据仓库运行的效率,大大改善运行速度,提高了数据仓库的数据质量。     

数据ETL问题研究

数据ETL(Data Extraction,Transformation and Loading)是数据仓库、数据挖掘以及商业智能等技术的基石,其主要用来实现异构多数据源的数据集成．首先简单介绍了ETL概念、背景、应用领域,然后着重讨论了ETL在异构数据源集成和脏数据检测中的应用、所面临的挑战等问题．最后总结介绍了ETL的三大发展趋势。     

智能导库工具研究与实现

针对金融系统数据的特点,基于ETL基本原理,结合工作流调度引擎,设计开发了具有结构化数据和半结构化数据处理能力的ETL(Extract Transfer move and Loading)处理平台——SETL(SMART ETL)智能化ETL处理平台。     

基于分层映射的ETL过程建模

ETL是数据仓库建设的首要环节,在数据仓库建设过程中占有极其重要的地位。为了使ETL过程更加清晰、可靠,设计更加规范、便捷,提出了一种基于分层映射的ETL过程建模方法。本方法建立的ETL模型,具有严格规范的控制流程,能够清晰直观地反映数据的来源和流向、源数据与目标数据之间的映射和转换关系。本方法有效提高了开发效率,能够...     

浅谈数据仓库中ETL的重要性

ETL是数据仓库的重要环节,本文主要论述了ETL在数据仓库中的作用,以及通过对数据仓库概念、搭建数据仓库的难点、ETL在数据仓库中的位置和其实现过程的介绍论证了ETL在数据仓库中的重要性。     

基于元数据的ETL工具设计与实现

通过分析ETL与元数据的关系,改进传统ETL构架,自行设计ETL工具,生成数据对象描述和数据对象之间映射关系描述的元数据,指导从多数据源抽取数据,在临时数据库中完成转换并加载到目标数据库,利用临时数据库减轻目标数据库压力,实现通过用户设计修改元数据,从多源业务数据到数据仓库转化的一种灵活设计思想.     

基于实时资源状况和代价分析的ETL动态调整研究

文章首先介绍了ETL过程和当前ETL技术中存在的问题,提出了一种对系统资源动态监控并实时调整ETL工作部署的方案,对实时ETL调整方案的各模块功能和处理流程进行分析并得出结论。     

元数据驱动的大型数据库数据迁移工具实现

随着数据模型的升级等,企业需要将原来数据库中存储的数据迁移到新的数据库,一般的做法都是通过开发专用迁移软件来实现,而仅仅依靠数据库系统本身提供的工具是不能满足实际数据迁移需求的。通过对ETL模型、元数据驱动技术的研究,结合中国石油数据中心大型数据迁移需求,定义了数据迁移的通用框架模型体系。对其中的关键技术-映射模式的元数据表示进行了重点研究,用元数据对映射模式进行描述与存储。最后,采用元数据来驱动对ETL引擎进行功能实现。该技术与功能已在中国石油数据中心大型数迁移中得到了应用。     

一种轻量OLAP与OLTP集成数据模式设计

本文概要阐述了轻量型OLAP特征,提出了基于RDBMS的集成数据模式设计方案。借助实例,方案实现了OLTP数据模式、ROLAP数据模式、ETL算法的设计,估算了模式的存储空间代价、ETL时间代价。方案在实际项目中得到了有效应用。     

ETL多点缓存技术的数据仓库系统构建

由于数据库中处理数据标准不同,当用户构建数据仓库时,会产生不同效果的问题.而ETL作为数据处理的基本工具,能够在数据仓库构建的过程中提供稳定、高效、可靠的数据.ETL在数据仓库创建过程中起着举足轻重的地位,构建一种基于ETL多点缓存技术的数据仓库,可为用户提供一种稳定的、高质量的数据仓库.     

DTS工具在建立数据仓库过程中的应用

本文介绍了在数据仓库建立过程中,数据从事务型数据库向数据仓库抽取,转换,加戴的过程——ETL,并详细讲述了利用SQL Server 2000的数据转警工具（DTS）实现数据从FOXPRO到SQL Server．再到数据仓库的导入过程。     

基于水厂数据仓库系统的ETL技术研究

ETL是指数据抽取(extract)、转换(transform)、装载(load)的过程,是数据仓库构建过程中的核心环节和技术难点.基于水厂数据仓库系统,研究了如何运用ETL技术实现水厂数据仓库中数据的抽取、转换和装载.     

浅议数据仓库

在分析传统数据库和数据仓库的的区别中介绍了数据仓库的概念，分析数据仓库的体系结构，阐述了数据抽取、转换、清冼、装载的ETL过程，介绍企业在定义、建立和使用数据仓库的过程。     

基于MAS的分布式ETL模型

提出了基于MAS的分布式ETL模型,该模型将数据处理分配到多计算服务器,利用Agent的协作性、主动性、反应性和交互性,控制多计算服务器的协同处理来提高系统计算能力.与原有的ETL工具相比,该模型不仅可以提高ETL流程的运行效率,而且充分利用了企业系统中所有的服务器资源,从而降低了运行ETL服务器的硬件成本.     

ETL技术在复杂数据迁移项目中的应用

针对数据迁移中ETL技术的实现问题,指出可以通过构造输入数据库和中间数据库,利用Datastage工具和PL/SQL程序相结合的方式进行数据迁移.给出了Datastage工具的应用策略和PL/SQL程序实现ETL过程的具体流程.实践表明该方案数据迁移速度较快,能够较好地完成海量数据的迁移任务.     

数字化校园建设中数据分析的研究

在数字化校园建设中将既有业务系统的数据整合形成数据中心,并在此基础上进行数据分析,形成决策支撑系统,为相关管理部门提供服务．数据分析中ETL（数据抽取、转换与加载）是非常关键的技术．本文就ETL的分析和设计进行了一些基本的研究和探讨．     

基于CWM的ETL元数据管理系统在电子政务中的研究和设计

为解决政府＂信息孤岛＂现状,提高政府部门间数据共享和交互,从根本提高数据利用率,故建设基于CWM的ETL元数据管理系统。本设计主要基于CWM标准,利用数据的ETL技术,根据政府电子政务实际情况,结合工信部相关条例,在技术上利用先进数据抽取工具并采用成熟的数据建模方式。用户反馈情况良好,需进一步对该系统进行完善和改进,从而更好地服务电子政务的信息化建设。