基于水厂数据仓库系统的ETL技术研究

ETL是指数据抽取(extract)、转换(transform)、装载(load)的过程,是数据仓库构建过程中的核心环节和技术难点.基于水厂数据仓库系统,研究了如何运用ETL技术实现水厂数据仓库中数据的抽取、转换和装载.     

教学管理数据仓库中ETL的实现

ETL 工具从异构数据泺抽取数据,并将数据清洗,规范化后装载到数据仓库.文章从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案.提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出成绩管理模块的具体实施步骤.     

装备制造业服务平台异构数据模型研究与设计

研究分析了异构数据交换的析取、转换、装载等相关技术,元数据技术、Web Services技术和ETL技术,掌握了使用Web Services封装异地和远程的不同异构数据源,设置异构数据源的元数据信息由元数据库综合管理,进一步研究了数据仓库中关键技术,最后实现了使用灵活、操作简捷、可扩充的异构数据集成交换工具.     

面向高校多源异构数据环境的元数据集成方法

高校信息化建设已由各类应用开发为主的数字化校园阶段发展到以系统整合为主的智慧校园阶段,当前工作难点在于多源异构数据集成的存储成本、传输成本均较高,且对网络带宽有很高的要求.考虑使用本体和元数据所蕴含的丰富语义信息可以极大降低数据集成成本,提出了一种面向高校多源异构数据环境的元数据集成方法.该方法首先构建局部本体,在局部本体基础上生成高校领域本体,同时抽取局部元数据;然后在高校领域本体的指导下对局部元数据进行集成,得到全局元数据;最后,在高校实际环境中进行了实例分析.分析结果表明所提方法切实可行,用元数据集成替代数据集成能够避免大量数据的存储和传输,有效降低数据集成的成本.     

组件式数据抽取工具的设计与实现

结合数据抽取处理的多源性、数据预处理功能的集成、数据抽取处理描述信息的重用等特征，讨论数据抽取事务逻辑划分及组件包设计。给出数据抽取包的定义、包的逻辑结构及可视化管理工具设计。提出用元数据生成数据抽取包，用DTS包作为数据抽取包的执行载体的方法，以提高数据传输性能和简化系统实现。     

基于CWM的元数据集成中交换模式的研究

企业数据集成是解决"信息孤岛"的关键和重点,基于CWM的企业元数据集成是企业数据集成的一种有效途径.该文分析了CWM在企业元数据集中的缺陷,提出了基于模式思想的解决方案--元数据交模式,并给出了元数据交换模式的求解过程.     

震害评估数据的集成共享研究与应用

为了能够更好地整合集成不同震害评估数据库中的数据资源,实现异构数据库之间数据共享,提出了一种基于XML/VS.NET的异构数据库集成方案。该方案一方面通过基于ADO.NET的数据工厂模式实现了异构数据源之间的连接与访问,另一方面通过基于XML的数据库集成模型进行数据抽取与转换,实现了震害异构数据库之间的数据共享。应用结果表明,该方案为系统提供了一套切实可行的数据集成方法,取得了良好的应用效果,实现了地震地质数据的高效收集与集成。     

综合测试系统的信息集成的研究与实现

运用当前数据库和信息集成技术,结合测试系统实际,对综合测试系统的信息集成问题进行了分析探讨,提出了基于数据库技术的数据转换、基于XML的信息交换两类解决方案,给出了相应的实现方法。其中前一种相对简单易行,方便实施;后一种更具有普遍性。     

电信经营分析系统中抽取转换子系统的设计与实现

针对电信运营分析系统的特殊要求，仔细分析了系统的数据源情况和数据转换要求，设计并实现了一个能够完成经营分析系统数据抽取转换工具．     

面向商业OLAP的并行数据抽取接口设计

商业竞争日趋激烈的今天,单纯的联机事务处理系统已经不能满足管理者的决策支持要求,联机分析处理(OLAP)技术的出现具有重要意义.研究了目前联机分析处理的关键技术,数据仓库的经典解决方案,数据预处理的相关方法,提出了一种面向商业OLAP的并行数据抽取接口设计方案,并对设计过程中的数据清理、数据集成和变换、数据归约等数据预处理技术作了重点介绍和应用研究.最后结合实际应用阐明了提出的数据抽取方案对于实现商业OLAP功能的有效性和实用性.     

数据仓库中的数据集成

首先提出了数据仓库中数据集成的一个总体框架;然后探讨了数据集成在数据仓库设计方案中的作用、所要解决的问题、工作流程等;最后,介绍作者依据这一框架所开发的"铁路货票信息综合利用系统数据仓库解决方案"的数据集成工具DWE-DI.     

基于CWM的企业元数据集成中对象到关系映射模式的研究

公共仓库元模型(CWM)是为数据仓库和业务分析环境间方便地交换元数据而制定的一个标准,并已经成为模型驱动体系结构(MDA)新策略方向中的核心组成部份.本文介绍了基于CWM的企业元数据集成,设计了一个对象到关系的映射模式,并给出了映射模式的应用实例.     

基于企业网格的ETL技术的应用研究

随着网格技术的迅速发展,特别是网格产品的商业化,如何对网格中资源信息数据及时、高效地监控、管理成为网格用户的迫切需求.针对目前企业级网格系统高效处理资源信息数据的要求,提出了将ETL(Extract、Transformer、loader)技术应用到网格系统的解决方案.在该方案中,把ETL技术应用到服务接口中,然后将其架构在网格系统上;通过启动服务接口对数据进行抽取、转化、加载,实现资源信息数据的集成处理,最终向网格用户提供有效的资源信息数据.     

基于元搜索引擎技术的新闻对象抽取方法研究

以w3c文档对象模型(DOM)为基础,利用元搜索引擎原理实现了一个互联网新闻自动抽取系统.该系统通过搜索引擎获取相关新闻的web页面,分析后得到其元数据,然后利用元数据表现出来的信息进行新闻正文抽取,该方法不依赖于原网页结构,不需要人工干预,是自动、可靠、通用的方法.试验表明,该抽取方法有着较高的准确率,平均可达到96%以上.     

数据仓库的数据采集与建模问题研究

本文讨论了建设大型数据仓库系统中的关键问题,对源数据的抽取、转换与加载和数据仓库建模问题进行了比较深入的分析.应用数据仓库技术,可以改善企业决策支持模式,提高企业参与国际市场的竞争能力.     

基于CWM的标准ETL的设计与实现

目前开发ETL(Etract Transform Load)系统过程中,最典型的问题就是元数据管理混乱,在分析ETL和元数据之间关系的基础上,提出了一种基于公共仓库模型开发的标准ETL系统设计思想,给出了该标准ETL系统的实现过程。将该方法应用于某医疗保险系统的ETL开发过程中,结果表明,与传统的ETL开发过程相比,该系统开发效率提高40%以上,系统具有良好的通用性和易集成性,解决了元数据管理混乱的问题。     

基于元数据的检察机关与政法部门信息共享方法研究

基于元数据的检察机关与政法部门信息共享方法研究是分析检察机关信息共享实际业务,提出并建立基于检察业务信息共享实际的元数据字典,在元数据字典的基础上建立数据交换平台,对各单位提供交换数据进行检测、清洗、分类、入库,对各单位交换请求进行数据相应.数据交换平台负责对元数据进行存储、管理和共享,同时广播发布交换数据格式,对各单位应用系统提供信息资源共享接口.系统交换平台根据各单位数据交换内容定义各元数据实体,通过元数据实体提取中心库的元数据信息,生成相应交换数据包.为确保数据安全性,系统平台对各交换数据包采用3DES加密算法进行加密控制,防止系统数据泄密.     

校园信息化关键技术平台之研究与实践

高校的数字化校园建设是一个复杂的工程,特别是随着目前数字化校园进入了信息集成阶段,需要在各业务系统之间实现数据集成与业务集成,因此一个成熟的信息技术平台,是保证校园数字化集成成功实现的基础.本文基于上海交通大学信息资源综合服务平台项目的建设经验,对信息平台的架构与关键技术作出一个总结.     

一种实现Web数据到XML文档的转换算法

为实现简捷的信息抽取和信息利用,提出一种采用树型结构实现Web数据到XML文档的转换算法.使用基于树型结构的类型定义和信息抽取方法,可有效将Web文档中的数据抽取出来并表示为XML格式的文档,形成可用的XML数据源,便于其他应用程序使用结果数据,为实现Web中的信息共享与数据交换提供便利条件.     

科研管理信息资源核心元数据的研究

随着信息技术的不断发展,科研管理信息系统已经实现了业务的信息化。然而这些系统无法进行信息交流,导致了“信息孤岛”的现象。业务间关联使得科研管理需要进行数据交换,因此有效解决数据集成问题具有重要的现实意义。而元数据中包含的数据结构和语义说明信息是数据集成的重要信息,因此元数据建设是数据集成关键技术。本文以都柏林核心元数据DC（Dublin Cord）、中国科学院科学数据库核心元数据标准2.0 和政务信息资源目录体系为主要参考依据,结合科研管理信息资源的特点,研究确定了科研管理信息资源核心元数据主要内容,并分析了其在科研信息资源管理平台中的作用以及其工作流程。