共查询到18条相似文献,搜索用时 156 毫秒
1.
提出了基于MAS的分布式ETL模型,该模型将数据处理分配到多计算服务器,利用Agent的协作性、主动性、反应性和交互性,控制多计算服务器的协同处理来提高系统计算能力.与原有的ETL工具相比,该模型不仅可以提高ETL流程的运行效率,而且充分利用了企业系统中所有的服务器资源,从而降低了运行ETL服务器的硬件成本. 相似文献
2.
将数据的抽取转换加载(ETL)过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法.为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法,并讨论了加入并行机制后可能会遇到的数据源并发控制等问题,并给出了解决方法.所提出的方法对提高数据集成效率很有效,在国产数据库系统的应用中可起到积极推动作用. 相似文献
3.
PowerMart是一款性能强大的ETL工具,但在基于PowerMart的项目开发过程中,其界面操作繁琐,开发耗时长。本文通过对powermart.dtd的分析,提出了一种基于XML技术的开发方式,针对具有类似ETL映射或Workflow的作业,设计出统一的XML模版,通过修改XML模版来生成新的Workflow作业。在广东发展银行EDS项目开发过程中证明了这种方法可以显著提高开发效率。 相似文献
4.
随着数据模型的升级等,企业需要将原来数据库中存储的数据迁移到新的数据库,一般的做法都是通过开发专用迁移软件来实现,而仅仅依靠数据库系统本身提供的工具是不能满足实际数据迁移需求的。通过对ETL模型、元数据驱动技术的研究,结合中国石油数据中心大型数据迁移需求,定义了数据迁移的通用框架模型体系。对其中的关键技术-映射模式的元数据表示进行了重点研究,用元数据对映射模式进行描述与存储。最后,采用元数据来驱动对ETL引擎进行功能实现。该技术与功能已在中国石油数据中心大型数迁移中得到了应用。 相似文献
5.
6.
基于元数据的ETL工具设计与实现 总被引:7,自引:0,他引:7
通过分析ETL与元数据的关系,改进传统ETL构架,自行设计ETL工具,生成数据对象描述和数据对象之间映射关系描述的元数据,指导从多数据源抽取数据,在临时数据库中完成转换并加载到目标数据库,利用临时数据库减轻目标数据库压力,实现通过用户设计修改元数据,从多源业务数据到数据仓库转化的一种灵活设计思想. 相似文献
7.
为解决企业数据模型升级等多异构数据库间的数据交换问题,构建基于元数据的通用异构数据交换工具。重点研究ETL驱动元数据描述、通用异构数据交换体系、元数据存储模型。实现基于本体映射的元数据的自动抽取,并用元数据驱动数据抽取、转换和加载引擎功能。工具在大庆石油勘探研究院数据中心建设中应用,取得了良好效果。 相似文献
8.
针对财政部门预算编制的特性及发展方向,提出了辅助决策分析系统在财政行业中应用的ETL基础功能的解决方案,为建立行业数据仓库提供了一种方法.该方法作为财政部门预算决策分析系统的重要模块,为财政辅助决策分析系统的建设构建了较好的基础平台. 相似文献
9.
为解决政府"信息孤岛"现状,提高政府部门间数据共享和交互,从根本提高数据利用率,故建设基于CWM的ETL元数据管理系统。本设计主要基于CWM标准,利用数据的ETL技术,根据政府电子政务实际情况,结合工信部相关条例,在技术上利用先进数据抽取工具并采用成熟的数据建模方式。用户反馈情况良好,需进一步对该系统进行完善和改进,从而更好地服务电子政务的信息化建设。 相似文献
10.
数据仓库中数据抽取、转换及加载工具研究 总被引:7,自引:0,他引:7
分析数据仓库体系结构,描述数据加载过程中的不同实现方法.在实现过程中引入工作流的思想,提出了一种以工作流为模式的基于元数据的ETL模型,将数据加载分解成可配制的具有不同语义的过程,并给出了相关元素的定义,提供了一个可配置的具有良好伸缩性的ETL解决方案。 相似文献
11.
面向对象方法在元数据研究中的应用 总被引:1,自引:0,他引:1
面向对象设计技术,将元数据标准中的元数据子集、元数据实体和元数据元素抽象为面向对象中的对象类和属性,将元数据管理中涉及的对象抽象为对象类,提出了元数据标准和元数据管理的对象模型.这种设计理念增强了元数据标准之间的兼容性、元数据管理的可扩展性及代码重用. 相似文献
12.
实时元数据管理的软件体系结构研究 总被引:10,自引:0,他引:10
针对数据仓库环境中元数据互操作困难和老化的问题,提出了一种实时分布式元数据管理的软件体系结构.通过对元数据管理模式的分析,基于公共仓库元模型(CWM)规范,以CWM元模型规定的元数据集成、交换内容,用XML元数据交换提供实时元数据交换和共享机制,结果使每个异构软件成员仅需对应一个接口驱动程序即可实现分布式元数据的动态读取和集成.利用模型管理算子,在模型的抽象层次上讨论了模式集成和进化的实现过程.在原型实验中,所有实时操作都在10s内完成,这验证了在该体系结构下元数据的互操作性和实时分布式存取的可行性、有效性。 相似文献
13.
梁兵 《四川大学学报(自然科学版)》2004,41(2):328-333
描述了一个地球科学源数据管理和检索系统中元数据(Metadata)的功能、设计与实现、这种Metadata的设计与实现方法使该地球科学源数据管理和检索系统具有可扩展性、可伸缩性、统一性、透明性及多样性等特点,解决了目前地球科学源数据共享和互用方面遇到的困难、该系统Metadata的设计思想和方法也适用于其他多种学科的数据管理和检索系统.说明了系统中Metadata的功能、设计与实现方法. 相似文献
14.
元数据管理是基于决策支持的数据仓库技术研究的重点。元数据可以很好地对数据仓库中的数据进行描述。介绍了数据仓库中元数据的内容与功能。阐述了元数据在数据仓库中的具体工作流程。 相似文献
15.
元数据技术在油气资源数据共享服务中的应用 总被引:1,自引:0,他引:1
为满足国家级油气资源基础数据库开发需要,针对数据源异构问题提出了一种基于元数据的解决方案.该方案利用面向对象方法和原型法分别设计油气资源总体数据库和各专题的元数据,参照国标制定元数据的构造标准,使用元数据字典表实现数据的组织与管理.研究结果表明:元数据在数据库管理和web发布过程中具有重要作用. 相似文献
16.
17.
季莉 《吉林大学学报(信息科学版)》2011,29(4):365-369
为提高网络教育资源的利用率,共享不同结构的资源库的数据,针对我国各院校的教育资源库的建设缺乏统一规划,存在重复建设、数量庞杂、形式不规范等,使网络远程教育系统中资源信息不能有效共享传播的问题,提出了基于XML(eXtensible Markup Language)的教育资源库元数据标准化的方案,研究了基于模板的XML数... 相似文献
18.
地学数据共享网络中的元数据扩展和互操作技术 总被引:5,自引:0,他引:5
利用元数据技术整合分散的数据资源,并借助网络提供共享服务已成为当前数据交换中心的主导模式.这一模式隐含了3个潜在的缺陷,元数据的可扩展性和互操作性是其在数据共享网络中应用的关键.针对地学数据共享网络,建立了元数据的扩展模式,并依此构建多学科元数据扩展体系;分5个方面分析了元数据互操作技术(核心元数据互操作、元数据映射、RDF技术框架、基于协议层的互操作和Web Service互操作).结合元数据分布查询服务(SRW)介绍了基于ZING标准的元数据互操作的开发应用实例. 相似文献