基于MAS的分布式ETL模型

提出了基于MAS的分布式ETL模型,该模型将数据处理分配到多计算服务器,利用Agent的协作性、主动性、反应性和交互性,控制多计算服务器的协同处理来提高系统计算能力.与原有的ETL工具相比,该模型不仅可以提高ETL流程的运行效率,而且充分利用了企业系统中所有的服务器资源,从而降低了运行ETL服务器的硬件成本.     

基于水厂数据仓库系统的ETL技术研究

ETL是指数据抽取(extract)、转换(transform)、装载(load)的过程,是数据仓库构建过程中的核心环节和技术难点.基于水厂数据仓库系统,研究了如何运用ETL技术实现水厂数据仓库中数据的抽取、转换和装载.     

基于CWM的标准ETL的设计与实现

目前开发ETL(Etract Transform Load)系统过程中,最典型的问题就是元数据管理混乱,在分析ETL和元数据之间关系的基础上,提出了一种基于公共仓库模型开发的标准ETL系统设计思想,给出了该标准ETL系统的实现过程。将该方法应用于某医疗保险系统的ETL开发过程中,结果表明,与传统的ETL开发过程相比,该系统开发效率提高40%以上,系统具有良好的通用性和易集成性,解决了元数据管理混乱的问题。     

数据仓库的数据采集与建模问题研究

本文讨论了建设大型数据仓库系统中的关键问题,对源数据的抽取、转换与加载和数据仓库建模问题进行了比较深入的分析.应用数据仓库技术,可以改善企业决策支持模式,提高企业参与国际市场的竞争能力.     

数据仓库中ETL技术的研究与改进

ETL是数据仓库构建中的核心环节,通过对传统的ETL架构体系的介绍,从数据抽取、数据转换等方面对ETL过程进行了改进,让数据转换环节在数据抽取和数据清洗加载的过程中同时进行,并增加了一个临时存储区,以此来缓解在数据抽取和转换过程中由于数据量太大或过于复杂而引起的数据拥堵和冗余的现象。通过改进后的ETL系统,可以提高整个数据仓库运行的效率,大大改善运行速度,提高了数据仓库的数据质量。     

浅谈数据仓库中ETL的重要性

ETL是数据仓库的重要环节,本文主要论述了ETL在数据仓库中的作用,以及通过对数据仓库概念、搭建数据仓库的难点、ETL在数据仓库中的位置和其实现过程的介绍论证了ETL在数据仓库中的重要性。     

基于SOA和ETL的信息整合研究

随着我国信息技术的发展,企业的信息化建设程度得到了较大的提高,随之产生了不少的问题。该文针对目前很多行业在信息化建设中面临着的信息孤岛、数据分散、应用软件重复购置等难题,从不同角度提供了信息数据整合方案：从软件架构方面建议采用面向服务架构SOA技术;从数据集成角度建议采用ETL数据处理方法;也可以采用两者相结合的方法,即SOA架构结合数据仓库。     

数据仓库中数据抽取、转换及加载工具研究

分析数据仓库体系结构，描述数据加载过程中的不同实现方法．在实现过程中引入工作流的思想，提出了一种以工作流为模式的基于元数据的ETL模型，将数据加载分解成可配制的具有不同语义的过程，并给出了相关元素的定义，提供了一个可配置的具有良好伸缩性的ETL解决方案。     

电信经营分析系统中抽取转换子系统的设计与实现

针对电信运营分析系统的特殊要求，仔细分析了系统的数据源情况和数据转换要求，设计并实现了一个能够完成经营分析系统数据抽取转换工具．     

数据仓库中的数据集成

首先提出了数据仓库中数据集成的一个总体框架;然后探讨了数据集成在数据仓库设计方案中的作用、所要解决的问题、工作流程等;最后,介绍作者依据这一框架所开发的"铁路货票信息综合利用系统数据仓库解决方案"的数据集成工具DWE-DI.     

数据仓库系统设计的初步探讨

数据仓库技术是在数据库发展的基础上产生的,已成为应用联机分析处理和数据挖掘技术的数据载体。本文以数据仓库技术的应用为主题,探讨了数据仓库技术的应用策略。     

数据仓库数据加载技术

数据仓库中的数据不是传统数据库中数据的简单堆积，其数据的组织必须方便基于数据仓库基础之上的数据挖掘和商业智能工作，为决策者提供访问、分析及共享信息的能力，从而发挥数据仓库的真正功效。成功构造一个数据仓库的关键在于自始至终理解用户需要，紧紧围绕用户目标这一主题进行数据的搜集和存储。首先分析数据仓库的特点及拥有的数据类别及组成，重点介绍如何从现有数据库中有效地将数据引导至数据仓库的方法和策略，具体给出了数据仓库中5种不同类别数据的加载方法。     

基于工作流的数据抽取转换加载

将数据的抽取转换加载（ETL）过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法．为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法,并讨论了加入并行机制后可能会遇到的数据源并发控制等问题,并给出了解决方法．所提出的方法对提高数据集成效率很有效,在国产数据库系统的应用中可起到积极推动作用．     

基于企业网格的ETL技术的应用研究

随着网格技术的迅速发展,特别是网格产品的商业化,如何对网格中资源信息数据及时、高效地监控、管理成为网格用户的迫切需求.针对目前企业级网格系统高效处理资源信息数据的要求,提出了将ETL(Extract、Transformer、loader)技术应用到网格系统的解决方案.在该方案中,把ETL技术应用到服务接口中,然后将其架构在网格系统上;通过启动服务接口对数据进行抽取、转化、加载,实现资源信息数据的集成处理,最终向网格用户提供有效的资源信息数据.     

ETL技术在部门预算决策分析领域的应用

针对财政部门预算编制的特性及发展方向,提出了辅助决策分析系统在财政行业中应用的ETL基础功能的解决方案,为建立行业数据仓库提供了一种方法.该方法作为财政部门预算决策分析系统的重要模块,为财政辅助决策分析系统的建设构建了较好的基础平台.     

一种通用的多数据库间数据抽取方法及应用

为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽取转换基于抽取规则,抽取规则采用可视化方法编辑生成;抽取规则存储于规则库,供多次调用修改;多个抽取任务组成抽取任务队列.开发的抽取工具软件DbBridge,支持从Oracle,SQL Server,SAS,Access,Excel等数据源抽取数据.软件成功应用于某数据仓库的建立及数据迁移工作.     

数据仓库实现实例探索

简要介绍了数据仓库的概念 ,数据仓库的实现方式 ,比较详细的对数据仓库的实现进行实例探索     

数据仓库在病案管理中的应用研究

目前医院信息系统的建设已取得显著成效,多年的应用也积累了大量数据.如何利用这些宝贵的信息资源为医院管理与决策服务,是医院信息化所面临的重要研究课题.在概述数据仓库技术特点的基础上,阐述了数据仓库的设计方法和设计内容,并针对医院的具体情况和决策需求特点,设计实现了符合医院病案管理决策需求特点的病案数据仓库.最后讨论了病案数据仓库对病案管理系统和病案数据挖掘的影响,并对将来的研究问题作了展望.     

数据仓库建模与集成工具的设计与实现

从系统开发环境、体系结构、功能结构和实现的关键技术等方面介绍了自行开发的数据仓库建模与集成工具的系统     

基于ETL的数据仓库ODS数据查询

ETL是构建数据仓库的一个非常重要的环节,是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程成为众多计划或正在实施数据仓库项目的单位考虑的重要问题。针对数据来源一是Oracle数据库,二是Excel格式的经济普查电子年鉴系统的异构性,提出了一种并行数据抽取接口设计方案,解决了异构数据源的模式匹配问题,对数据进行清理、集成和变换后,整合两种异构数据源为统一的Oracle数据存储模式,消除了异构数据源之间的隔离,保证了对数据资源的有效集成。提出在数据源和数据仓库之间增加一个中间层ODS(操作型数据存储),通过在ODS中的转换策略研究,论述了如何实现个性化的数据转换,将信息仓库中的数据以多维的形式表示,满足各种方式的个性化查询。