数据仓库中数据抽取、转换及加载工具研究

分析数据仓库体系结构，描述数据加载过程中的不同实现方法．在实现过程中引入工作流的思想，提出了一种以工作流为模式的基于元数据的ETL模型，将数据加载分解成可配制的具有不同语义的过程，并给出了相关元素的定义，提供了一个可配置的具有良好伸缩性的ETL解决方案。     

一种改进的基于概念格的数据挖掘算法

为解决多维数据模型与关系数据模型之间的双向数据系统查询、数据清洗、数据转换、实现集中和分发数据的准确性与一致性等问题,通过对概念格的相关研究,将全局数据挖掘与局部数据挖掘相结合,提出一种改进的基于局部信息的全局概念格的数据挖掘算法,并将挖掘过程分解为ETL(Extraction-Transformation-Loading)动作,结合ETL处理工作流,实现并行分布式海量数据的时序挖掘。实验证明,该算法对增强数据加工能力具有一定的实用性。     

数据仓库中ETL技术的研究与改进

ETL是数据仓库构建中的核心环节,通过对传统的ETL架构体系的介绍,从数据抽取、数据转换等方面对ETL过程进行了改进,让数据转换环节在数据抽取和数据清洗加载的过程中同时进行,并增加了一个临时存储区,以此来缓解在数据抽取和转换过程中由于数据量太大或过于复杂而引起的数据拥堵和冗余的现象。通过改进后的ETL系统,可以提高整个数据仓库运行的效率,大大改善运行速度,提高了数据仓库的数据质量。     

智能导库工具研究与实现

针对金融系统数据的特点,基于ETL基本原理,结合工作流调度引擎,设计开发了具有结构化数据和半结构化数据处理能力的ETL(Extract Transfer move and Loading)处理平台——SETL(SMART ETL)智能化ETL处理平台。     

基于分层映射的ETL过程建模

ETL是数据仓库建设的首要环节,在数据仓库建设过程中占有极其重要的地位。为了使ETL过程更加清晰、可靠,设计更加规范、便捷,提出了一种基于分层映射的ETL过程建模方法。本方法建立的ETL模型,具有严格规范的控制流程,能够清晰直观地反映数据的来源和流向、源数据与目标数据之间的映射和转换关系。本方法有效提高了开发效率,能够...     

基于多色集合的工作流建模及路径求取算法

描述了工作流基本节点的出入度及连通性质，并根据这些性质提出了工作流基本节点的多色集合表示方法．在这种表示方法的基础上提出了基于多色集合理论的工作流建模步骤，并给出了工作流路径求取算法．最后，以模具制造工作流过程为例，根据基于多色集合理论的工作流建模理论提出的步骤和算法，建立了模具制造流程的多色集合功能围道矩阵，给出了节点的布尔矩阵，并得出了表示模具制造过程中所有可能的流程路径．采取基于多色集合理论的工作流建模理论，用计算机可以正确、便捷地求取复杂系统的工作流程路径，算法简单且易于编程实现．     

基于CWM的标准ETL的设计与实现

目前开发ETL(Etract Transform Load)系统过程中,最典型的问题就是元数据管理混乱,在分析ETL和元数据之间关系的基础上,提出了一种基于公共仓库模型开发的标准ETL系统设计思想,给出了该标准ETL系统的实现过程。将该方法应用于某医疗保险系统的ETL开发过程中,结果表明,与传统的ETL开发过程相比,该系统开发效率提高40%以上,系统具有良好的通用性和易集成性,解决了元数据管理混乱的问题。     

云计算和大数据环境下工作流数据感知调度

为了解决具有数据约束的工作流多标优化调度问题,提出了一种在保证业务逻辑前提下并考虑数据约束的数据感知调度算法.首先通过将工作流调度建模为一个多目标优化问题,开发了一种数据感知蚁群算法(DACO)来搜索最优调度方式,其次在该算法中将判断每个任务所需的数据量和任务之间的数据约束,感知每个业务之间的数据流,最后分治策略来搜索最优调度.实验结果表明,该算法在效率和成本效益方面优于现有的求解方法.     

视频数据存储方式及运动估计算法的内存访问效率

通过分析常用运动估计算法的内存访问模式,揭示出他们在通用计算机和数字信号处理器上使用时存在的效率问题,以及造成此问题的原因,并提出一种新的内存访问效率高的视频数据存储方式即叠瓦式存储方式。研究结果表明:使用新的视频数据存储方法,解决了跨缓存线访问数据的问题,并显著降低了运动估计过程中的高速缓存跑靶率;对全搜索算法,在算法本身不做任何改动的情况下,其运动估计过程速度提高28%。因此,叠瓦式存储方式的使用,可以有效地加速运动估计过程。     

基于本体的语义数据融合方法

针对网格中语义数据的按需访问问题,提出了基于本体的语义数据融合方法OSDF.该方法以数据对象为基本元素,利用数据对象和领域本体之间的映射关系来表达数据对象的语义,使用嵌套关系模型来表达数据对象的模式信息,通过把一个网格节点中集成的所有数据对象作为下一个节点的数据对象来实现数据资源由粗到细的融合.文中定义了OSDF的语义模型,给出了虚拟数据库的查询执行过程和算法,为使用者提供了具有语义支持、服务质量保障的数据访问服务.原型系统验证了OSDF的正确性和可行性.     

基于带权有向图的网格工作流数据传输策略

针对网格中数据传输忽略网络状况的问题，提出了一种基于带权有向图的网格工作流数据传输策略．该策略针对不同数据处理率的网格工作流作业，首先根据网格内各结点之间的带宽，然后选择合适的数据传输方式，计算出两点之间的权重从而生成一个带权有向图．最后从图中选出最佳的传输路径进行数据传输，从而提高了工作流的执行性能．实验证明了在网络结构及传输速度一定时，该策略的数据传输性能优于传统的利用GridFTP直接传送的数据传输方法。     

Study and Implementation of a New SQL-Based ETL Approach

This paper analyzes the main characteristics, benefits, and disadvantages of existing traditional ETL （extraction, transformation, loading） methods, and summaries some factors affecting the performance of ETL tools. Then, a new ETL approach, E-LT （extraction, loading and transformation）, is proposed. The E-LT approach applies database mapping technique to realize that loading stage and transformation stage in the ETL process are performed at the same time after the extraction stage. Thus, it can use SQL commands to complete loading and transformation processing, and eliminates the staging area before loading in traditional ETL process. The framework of an ETL engine based on E-LT method is presented. The ETL process including initial loading and incremental refreshment is discussed in detail, and the SQL-based algorithm for initial loading is presented. The performance of E-LT method on loading throughout outperforms some commercial ETL approaches by experimental proof and theoretical analysis. At last, a real case in marine data warehousing of the E-LT method is discussed for illustrating the validity of the proposed method.     

ETL多点缓存技术的数据仓库系统构建

由于数据库中处理数据标准不同,当用户构建数据仓库时,会产生不同效果的问题.而ETL作为数据处理的基本工具,能够在数据仓库构建的过程中提供稳定、高效、可靠的数据.ETL在数据仓库创建过程中起着举足轻重的地位,构建一种基于ETL多点缓存技术的数据仓库,可为用户提供一种稳定的、高质量的数据仓库.     

Graphical-based data placement algorithm for cloud workflow

When workflow task needs several datasets from different locations m cloud, data transfer becomes a challenge. To avoid the unnecessary data transfer, a graphical-based data placement algo- rithm for cloud workflow is proposed. The algorithm uses affinity graph to group datasets while keeping a polynomial time complexity. By integrating the algorithm, the workflow engine can intelligently select locations in which the data will reside to avoid the unnecessary data transfer during the initial stage and runtime stage. Simulations show that the proposed algorithm can effectively reduce data transfer during the workflow＇ s execution.     

BPGM: A Big Graph Mining Tool简

The design and implementation of a scalable parallel mining system target for big graph analysis has proven to be challenging. In this study, we propose a parallel data mining system for analyzing big graph data generated on a Bulk Synchronous Parallel （BSP） computing model named BSP-based Parallel Graph Mining （BPGM）. This system has four sets of parallel graph mining algorithms programmed in the BSP parallel model and a well-designed workflow engine optimized for cloud computing to invoke these algorithms. Experimental results show that the graph mining algorithm components in BPGM are efficient and have better performance than big cloud-based parallel data miner and BC-BSP.     

ETL在福建省房地产市场数据仓库建设中的应用

针对福建省房地产市场数据仓库建设中,各设区市房地产市场数据源存在异构性、低质量和数据标准不统一的特点,定义了ETL过程中数据交换标准和数据交换前置包,并详细阐述了ETL在福建省房地产市场数据仓库建设中的实现过程.     

基于水厂数据仓库系统的ETL技术研究

ETL是指数据抽取(extract)、转换(transform)、装载(load)的过程,是数据仓库构建过程中的核心环节和技术难点.基于水厂数据仓库系统,研究了如何运用ETL技术实现水厂数据仓库中数据的抽取、转换和装载.     

一种通用工作流信息图示方法的研究与实现

工作流技术在企业级管理软件中应用越来越广泛,工作流在运行过程中状态不断变化,及时了解工作流程的运行情况对用户来说至关重要,它既可以为用户采取的下一步处理提供依据,也可以让用户清楚了解该工作的处理情况,让用户做到“心中有数”。向用户展示工作流运行状态可以采用历史记录、流程图示等方式,而图示的方式更加形象、直观。以开源工作流为例,在研究典型的开源工作源图示模型的基础上,结合软件分层、设计模式等先进的软件设计理念提出一种通用的图示模型,有效减轻了表现层代码量,使得程序结构更加规范、合理与清晰,功能更加完善,提高了软件的健壮性、安全性、可维护性和可移植性,并在应用中取得了较好的效果。     

PDM在机械制造企业技术管理中的应用

通过对PDM与企业技术管理的关系的阐述,论证了PDM在企业、特别是制造企业管理中的重要性。针对PDM的实施及调研过程中发现的一些问题,从产品结构管理、图文档和版本管理、分类和查询管理、项目和工作流管理、系统安全和数据备份管理等5个方面叙述了PDM的推广在技术管理中所起到的提升作用,并对PDM与企业所使用的其他相关系统之间的集成作了简要分析。就PDM在某企业的实施目标与效益分别做了较为细致的分析及预见。