浅议数据仓库

在分析传统数据库和数据仓库的的区别中介绍了数据仓库的概念，分析数据仓库的体系结构，阐述了数据抽取、转换、清冼、装载的ETL过程，介绍企业在定义、建立和使用数据仓库的过程。     

基于COW模式下的ETL应用研究

从数据仓库与并行计算的概念引入,重点介绍了ETL以及工作站机群,对当前传统模式下数据仓库建立时ETL(抽取/转换/装载)过程中的效率问题,提出了工作站机群模型结合并行算法的思想,并给出了该模型的描述算法,分析了该模型的优势以及存在的问题.     

数据仓库中ETL技术的研究与改进

ETL是数据仓库构建中的核心环节,通过对传统的ETL架构体系的介绍,从数据抽取、数据转换等方面对ETL过程进行了改进,让数据转换环节在数据抽取和数据清洗加载的过程中同时进行,并增加了一个临时存储区,以此来缓解在数据抽取和转换过程中由于数据量太大或过于复杂而引起的数据拥堵和冗余的现象。通过改进后的ETL系统,可以提高整个数据仓库运行的效率,大大改善运行速度,提高了数据仓库的数据质量。     

教学管理数据仓库中ETL的实现

ETL 工具从异构数据泺抽取数据,并将数据清洗,规范化后装载到数据仓库.文章从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案.提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出成绩管理模块的具体实施步骤.     

点击流数据仓库中的ETL技术

ETL是构建数据仓库的核心,点击流数据仓库无论在体系结构上,维表与事实表设计上,还是点击流的抽取、转换和装载机制上,都比传统的数据仓库要复杂的多。本文在总结了传统的数据仓库构建基础上,着重分析了点击流数据仓库的ETL技术,为以后在点击流数据仓库中进行数据挖掘做了准备。     

DTS工具在建立数据仓库过程中的应用

本文介绍了在数据仓库建立过程中,数据从事务型数据库向数据仓库抽取,转换,加戴的过程——ETL,并详细讲述了利用SQL Server 2000的数据转警工具（DTS）实现数据从FOXPRO到SQL Server．再到数据仓库的导入过程。     

基于元数据的数据仓库ETL系统设计与研究

数据仓库的ETL系统设计是一个很复杂的过程,为了能有效地管理数据仓库中的数据,使ETL过程具有灵活性、扩展性和可维护性,提出基于元数据管理方法,利用SQL Server 2008的综合服务(SSIS)项目与编程相结合方式来构建ETL系统.阐述了ETL系统的设计思路,元数据管理设计和ETL流程控制设计.     

装备制造业服务平台异构数据模型研究与设计

研究分析了异构数据交换的析取、转换、装载等相关技术,元数据技术、Web Services技术和ETL技术,掌握了使用Web Services封装异地和远程的不同异构数据源,设置异构数据源的元数据信息由元数据库综合管理,进一步研究了数据仓库中关键技术,最后实现了使用灵活、操作简捷、可扩充的异构数据集成交换工具.     

基于分层映射的ETL过程建模

ETL是数据仓库建设的首要环节,在数据仓库建设过程中占有极其重要的地位。为了使ETL过程更加清晰、可靠,设计更加规范、便捷,提出了一种基于分层映射的ETL过程建模方法。本方法建立的ETL模型,具有严格规范的控制流程,能够清晰直观地反映数据的来源和流向、源数据与目标数据之间的映射和转换关系。本方法有效提高了开发效率,能够...     

ETL多点缓存技术的数据仓库系统构建

由于数据库中处理数据标准不同,当用户构建数据仓库时,会产生不同效果的问题.而ETL作为数据处理的基本工具,能够在数据仓库构建的过程中提供稳定、高效、可靠的数据.ETL在数据仓库创建过程中起着举足轻重的地位,构建一种基于ETL多点缓存技术的数据仓库,可为用户提供一种稳定的、高质量的数据仓库.     

基于ETL的数据仓库ODS数据查询

ETL是构建数据仓库的一个非常重要的环节,是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程成为众多计划或正在实施数据仓库项目的单位考虑的重要问题。针对数据来源一是Oracle数据库,二是Excel格式的经济普查电子年鉴系统的异构性,提出了一种并行数据抽取接口设计方案,解决了异构数据源的模式匹配问题,对数据进行清理、集成和变换后,整合两种异构数据源为统一的Oracle数据存储模式,消除了异构数据源之间的隔离,保证了对数据资源的有效集成。提出在数据源和数据仓库之间增加一个中间层ODS(操作型数据存储),通过在ODS中的转换策略研究,论述了如何实现个性化的数据转换,将信息仓库中的数据以多维的形式表示,满足各种方式的个性化查询。     

Study and Implementation of a New SQL-Based ETL Approach

This paper analyzes the main characteristics, benefits, and disadvantages of existing traditional ETL （extraction, transformation, loading） methods, and summaries some factors affecting the performance of ETL tools. Then, a new ETL approach, E-LT （extraction, loading and transformation）, is proposed. The E-LT approach applies database mapping technique to realize that loading stage and transformation stage in the ETL process are performed at the same time after the extraction stage. Thus, it can use SQL commands to complete loading and transformation processing, and eliminates the staging area before loading in traditional ETL process. The framework of an ETL engine based on E-LT method is presented. The ETL process including initial loading and incremental refreshment is discussed in detail, and the SQL-based algorithm for initial loading is presented. The performance of E-LT method on loading throughout outperforms some commercial ETL approaches by experimental proof and theoretical analysis. At last, a real case in marine data warehousing of the E-LT method is discussed for illustrating the validity of the proposed method.     

基于元数据的ETL工具设计与实现

通过分析ETL与元数据的关系,改进传统ETL构架,自行设计ETL工具,生成数据对象描述和数据对象之间映射关系描述的元数据,指导从多数据源抽取数据,在临时数据库中完成转换并加载到目标数据库,利用临时数据库减轻目标数据库压力,实现通过用户设计修改元数据,从多源业务数据到数据仓库转化的一种灵活设计思想.     

浅谈数据仓库中ETL的重要性

ETL是数据仓库的重要环节,本文主要论述了ETL在数据仓库中的作用,以及通过对数据仓库概念、搭建数据仓库的难点、ETL在数据仓库中的位置和其实现过程的介绍论证了ETL在数据仓库中的重要性。     

数据仓库和OLAP技术在高校教学决策系统中的应用研究

借助某高校教务系统中的教学数据,使用ETL（ Extract-Transform-Load)技术把适合主题分析的数据抽取到目的数据仓库,并使用OLAP（ Online Analytical Process)技术对这些数据进行多角度分析,从而找出成绩变化的趋势,成功地分析了变化的原因,为该校的管理者提供了有效的决策依据和初步的决策建议。     

公路客运售票系统数据仓库的设计与实现

公路运输企业的信息化工作已从管理信息系统发展到决策支持系统,而数据仓库是决策支持系统的核心。本文分析客运售票业务系统的现状和存在的问题,设计实现了一个数据仓库系统,利用SQL Server 2005提供的SSIS工具构建ETL package,保证存入到数据仓库中的数据的质量,用SSAS来实现OLAP数据分析,用SSRS来实现智能报表功能。系统通过在多个运输公司的实际应用,取得了良好的效果,为客运企业管理者提供准确的决策信息。     

数据仓库在市场信息系统设计中的应用

构造了基于数据仓库的市场信息系统，包括企业内部报告信息子系统、市场情报子系统、专题市场调查信息子系统、数据仓库子系统和决策支持系统。对信息的搜集方式。ETL工具，数据仓库的数据模型设计，OLAP工具和决策支持的实现方式进行了探索。     

基于工作流的数据抽取转换加载

将数据的抽取转换加载（ETL）过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法．为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法,并讨论了加入并行机制后可能会遇到的数据源并发控制等问题,并给出了解决方法．所提出的方法对提高数据集成效率很有效,在国产数据库系统的应用中可起到积极推动作用．     

ETL在福建省房地产市场数据仓库建设中的应用

针对福建省房地产市场数据仓库建设中,各设区市房地产市场数据源存在异构性、低质量和数据标准不统一的特点,定义了ETL过程中数据交换标准和数据交换前置包,并详细阐述了ETL在福建省房地产市场数据仓库建设中的实现过程.