辅助决策实施中的数据集成

数据集成是辅助决策实施的基础,为辅助决策提供统计分析的数据、素材,是辅助决策系统之源。ETL在数据集成的重要组成部分,是向辅助决策系统提供规范化的数据。通过该系统,企业的管理人员可以直观的了解企业的经营情况。     

基于ETL的数据仓库ODS数据查询

ETL是构建数据仓库的一个非常重要的环节,是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程成为众多计划或正在实施数据仓库项目的单位考虑的重要问题。针对数据来源一是Oracle数据库,二是Excel格式的经济普查电子年鉴系统的异构性,提出了一种并行数据抽取接口设计方案,解决了异构数据源的模式匹配问题,对数据进行清理、集成和变换后,整合两种异构数据源为统一的Oracle数据存储模式,消除了异构数据源之间的隔离,保证了对数据资源的有效集成。提出在数据源和数据仓库之间增加一个中间层ODS(操作型数据存储),通过在ODS中的转换策略研究,论述了如何实现个性化的数据转换,将信息仓库中的数据以多维的形式表示,满足各种方式的个性化查询。     

数据ETL问题研究

数据ETL(Data Extraction,Transformation and Loading)是数据仓库、数据挖掘以及商业智能等技术的基石,其主要用来实现异构多数据源的数据集成．首先简单介绍了ETL概念、背景、应用领域,然后着重讨论了ETL在异构数据源集成和脏数据检测中的应用、所面临的挑战等问题．最后总结介绍了ETL的三大发展趋势。     

数据仓库中ETL技术的研究与改进

ETL是数据仓库构建中的核心环节,通过对传统的ETL架构体系的介绍,从数据抽取、数据转换等方面对ETL过程进行了改进,让数据转换环节在数据抽取和数据清洗加载的过程中同时进行,并增加了一个临时存储区,以此来缓解在数据抽取和转换过程中由于数据量太大或过于复杂而引起的数据拥堵和冗余的现象。通过改进后的ETL系统,可以提高整个数据仓库运行的效率,大大改善运行速度,提高了数据仓库的数据质量。     

基于本体的异构数据集成方法研究与应用

分析了现有的数据集成方式,针对集成中的语义异构问题提出一种基于本体和XML的集成系统框架,并进一步阐述了其实现中的关键技术,结合航空装备信息的特点,给出该框架在航空装备信息集成系统中的具体应用.     

基于XML／Web Services的异构数据集成研究

分析了异构数据库系统存在的问题.对XML及Web服务相关技术进行了探讨,在借鉴现有集成方法的基础上,提出一个基于Web服务的异构数据集成方案,该方案提供给用户一个使用多种数据源的统一接口,消除了企业信息孤岛,解决了异构数据带来的一系列数据共享问题.     

数据集成(ETL)工具的设计与构建

经过几十年来快速不断的IT创新造就了大批综合性的、分布式的且不断变化的应用系统．这些系统跨越了从大型机到Web的多种平台．因此不同系统的互连成了亟待解决的问题。如何发挥这些系统中各种数据的作用。将不同应用系统的数据进行提炼、整合。并充分利用已有的技术及应用资源．建成一个完整的、可持续发展的集成系统．数据集成工具成为一种重要的技术．面对多种技术环境开发的基础业务系统。把业务数据迁移到综合业务系统和决策分析系统。并进行有效整合。     

信息系统集成与数据集成策略

围绕信息系统集成的核心问题——数据集成展开研究,分析和阐述了信息系统集成和数据集成的基本概念,信息系统集成与数据集成的关系,详细介绍了数据集成的模型分类及数据集成的主要难点——数据源的异构性及异构数据源之间数据转换的方法。最后,对数据集成的研究与应用前景进行了展望。     

一种基于XML的异构数据源集成的方法与实现

异构数据源的集成问题是当前数据处理领域内研究的一个热点，它能更有效地利用信息资源、实现数据共享，文章提出了一种基于XML为中间件的异构数据源集成的方法，并予以实现，首先介绍系统整体框架结构的层次模型和每一层的服务功能，然后对其中的关键问题，如模式转换和XML中间件技术做了详细说明，并结合实例进一步说明了模式间的映射算法以及转换器的具体实现。     

扩展OGSA-DAI数据访问与集成框架的关键技术分析

基于OGSA-DAI数据访问模式,以网络服务方式提供对异构数据资源统一访问,更方便地满足特殊的数据源访问、集成.通过编写相应的Activity类操纵数据,创建服务器端Activity负责具体数据处理任务,创建客户端Activity 用于生成执行文档和执行数据转换任务,扩展OGSA-DAI以支持异构数据源的集成和访问.     

Web服务技术在企业数据集成中的应用研究

随着企业内和企业间应用集成的需要，作为较低层次的企业数据集成越来越显得重要．本文针对企业数据集成的目标，结合Web服务体系结构本身的技术特性，提出了利用Web服务技术进行非侵入型数据集成的一般方法。最后，根据这个方法实现了综合教务系统和人事系统异构数据源之间的数据集成。     

基于水厂数据仓库系统的ETL技术研究

ETL是指数据抽取(extract)、转换(transform)、装载(load)的过程,是数据仓库构建过程中的核心环节和技术难点.基于水厂数据仓库系统,研究了如何运用ETL技术实现水厂数据仓库中数据的抽取、转换和装载.     

基于本体的异构数据源集成系统分析与设计

分析了现有的数据集成方式,针对集成中的语义异构问题提出一种基于本体和XML的集成系统框架,并进一步阐述了其实现中的关键技术,结合航空装备信息的特点,给出该框架在航空装备信息集成系统中的具体应用。     

基于模式映射的异构数据源集成查询关键技术研究

针对业务相近的数据源具有的分布、异构和动态等特性,本文提出一种基于元数据的、以模式映射为媒介关联各数据源的方法,主要讨论了建立用户模式、模式映射以及生成查询语句等方法和过程;估计了查询时可能遇到的问题,提供了相应的解决方式,以实现对多种异构数据源的整合查询。     

基于SVG的辅助决策油田空间数据集成方法研究

将油田领域可对生产提供决策支持的空间数据提取、转化、集成,并利用SVG技术形成综合信息分析图。提出了针对石油生产的辅助决策模型架构,研究空间数据的组织形式,重点分析各类数据的提取方式和集成方法,利用XML技术设计中间图形文件格式并加以解释,最终达到油田空间数据集成的目的。     

浅谈数据集成相关技术

随着信息化的普及、推广及建设,更多的信息系统投入使用,一方面提高了工作效率、带来了经济社会效益,但另一方面因为信息系统独立、数据源分布异构等原因形成了越来越多的"信息孤岛"现象,为了解决"信息孤岛"问题,数据集成成为一种重要的解决方法。数据集成技术目前已成为社会研究和讨论的热点领域,数据集成的好与坏直接影响信息化建设速度。该文首先阐述了数据集成的产生及作用,其次介绍了一种通用的数据集成模型框架,基于此模型框架从数据质量的角度对ETL(Extraction数据抽取、Transformation数据转换、Loading数据加载)及数据清洗等关键技术进行了研究和介绍,对数据集成的普及和推广有指导意义。     

浅谈基于Web Service的异构数据源集成技术

异构数据源的存在给实现不同信息系统间数据的互访带来了很大的不便,异构数据源集成是解决网络条件下“信息孤岛”问题的有效途径。本文对异构数据源集成的问题进行了深入的研究,在研究和比较了各种集成的方法和体系结构之后,重点研究了基于webService的异构数据源集成技术,论述了webService的技术特点和在异构数据源集成上的优势。     

扩展OGSA-DAI数据访问与集成框架的关键技术分析

基于OGSA DAI数据访问模式,以网络服务方式提供对异构数据资源统一访问,更方便地满足特殊的数据源访问、集成。通过编写相应的Activity类操纵数据,创建服务器端Activity负责具体数据处理任务,创建客户端Activity 用于生成执行文档和执行数据转换任务,扩展OGSA DAI以支持异构数据源的集成和访问。     

面向服务的柔性异构数据集成模型研究

为了解决多个异构遗留系统中数据的集成问题,提出了一个具有访问控制层、协同层、数据层的面向服务的柔性异构数据集成模型。访问控制层能够连接各种数据源,通过柔性操控平台对数据源和集成映射方案进行描述,采用消息机制进行消息传递。协同层对传送过来的消息进行分发执行数据同步与描述信息更新操作,消息检测器对消息进行校验和错误处理,同步检测器实时检测数据同步情况,协同反馈器对错误的消息与不同步的数据进行反馈处理,保证模型各层协同工作。数据层用来存储集成的数据、数据源描述信息、集成映射信息、异构数据类型信息。模型最终以服务的形式进行发布,可单独使用也可以进行二次开发供其他系统调用。最后,通过将该模型应用到燕山大学财务查询系统中,说明了模型的有效性。     

基于分层映射的ETL过程建模

ETL是数据仓库建设的首要环节,在数据仓库建设过程中占有极其重要的地位。为了使ETL过程更加清晰、可靠,设计更加规范、便捷,提出了一种基于分层映射的ETL过程建模方法。本方法建立的ETL模型,具有严格规范的控制流程,能够清晰直观地反映数据的来源和流向、源数据与目标数据之间的映射和转换关系。本方法有效提高了开发效率,能够...