基于工作流的数据抽取转换加载

将数据的抽取转换加载（ETL）过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法．为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法,并讨论了加入并行机制后可能会遇到的数据源并发控制等问题,并给出了解决方法．所提出的方法对提高数据集成效率很有效,在国产数据库系统的应用中可起到积极推动作用．     

数据仓库中数据抽取、转换及加载工具研究

分析数据仓库体系结构，描述数据加载过程中的不同实现方法．在实现过程中引入工作流的思想，提出了一种以工作流为模式的基于元数据的ETL模型，将数据加载分解成可配制的具有不同语义的过程，并给出了相关元素的定义，提供了一个可配置的具有良好伸缩性的ETL解决方案。     

一种自动化的网页数据抽取方法

数据抽取是当前网络飞速发展的背景下衍生的一类技术。简单介绍了数据抽取技术的发展和研究现状,并针对目前数据抽取技术的不足提出了一种新的数据抽取方法．能够自动化地并高准确度地从网页上抽取数据。     

异构数据库间的数据复制技术及其应用

介绍了数据复制技术 ,针对实际应用构建了数据仓库的DB—ODS—DW三层体系结构 ,并实现了异构数据库之间的数据复制 .     

教学管理数据仓库中ETL的实现

ETL 工具从异构数据泺抽取数据,并将数据清洗,规范化后装载到数据仓库.文章从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案.提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出成绩管理模块的具体实施步骤.     

Java和XML实现异构数据库环境下的数据抽取

从Java、XML等方面入手,利用Java的跨平台特性和XML信息交流的标准平台特性,在数据挖掘和开发基于Web/Server的统一信息平台时,可便利地进行数据抽取工作,提出一个基于异构数据库环境数据抽取的系统结构     

基于XML的异质多数据库集成系统的设计与实现

目前由于各厂商数据库产品之间的差异,对多种异质数据库的访问存在较大障碍,影响了在Web服务体系框架下信息的统一交换与共享.本文通过分析目前较流行的XML文件同关系型数据库之间的转换算法,提出了一套可行的映射方案,实现了关系型数据库数据与XML文件数据的双向转换.同时屏蔽各种数据库之间的差异,支持各种数据库的数据类型,实现了多数据库的统一访问和数据集成.     

电信经营分析系统中抽取转换子系统的设计与实现

针对电信运营分析系统的特殊要求，仔细分析了系统的数据源情况和数据转换要求，设计并实现了一个能够完成经营分析系统数据抽取转换工具．     

利用VBA实现数据抽取——数据挖掘之数据准备阶段

本文介绍从Informix数据库下载数据到Excel中,然后利用VBA编程实现表中数据的抽取、分类及转换的方法。     

采用多叉树模型数据迁移算法的设计与实现

针对目前传统关系型数据库中的历史数据向非关系型数据库迁移的低效率问题,提出利用多叉树模型对历史数据存储模式进行重构.基于4种模式迁移规则对各表节点之间的关联关系进行分析,推导算法完成传统关系型数据库中存储模式和历史数据的自动化迁移.该算法不受源数据库存储模式的限制,具有一定的通用性.数据迁移实验表明:在查询性能上,基于多叉树的迁移算法比官方迁移工具Sqoop有较大的提高.     

航空安全生产数据采集、集成与挖掘

探讨了航空安全生产数据的集成和应用。产生于各应用系统的航空安全生产数据是航空安全管理的成果和基石,为准确把握航空公司整体的安全状况,需要对这些数据进行采集、集成。安全生产数据集成平台利用ETL等数据仓库技术,采用面向主题的方法将来源多样的各类数据组织成不同的数据模型,为数据挖掘等应用提供可靠的、一致的数据基础。     

数据仓库的数据采集与建模问题研究

本文讨论了建设大型数据仓库系统中的关键问题,对源数据的抽取、转换与加载和数据仓库建模问题进行了比较深入的分析.应用数据仓库技术,可以改善企业决策支持模式,提高企业参与国际市场的竞争能力.     

交通车流量数据的数据库存储及应用

分析传统交通车流量数据管理的不足，对交通车流量数据进行建模，通过数据库方式实现数据的存储，并利用数据库中的数据由程序自动生成交通车流量流向图、柱状图和饼状图等图表，提升数据的管理水平，保证数据的一致性，促进数据的共享，方便用户的访问。     

桥梁结构监测数据预处理方法及其应用

介绍了桥梁结构监测数据预处理的几种方法,并基于九江大桥健康监测系统,对系统采集的数据首先选用其中的两种数据预处理方法,分别判别数据中的异常值,剔除粗大误差,其次采用数据平滑方法对噪声数据进行处理,采取这些合理的数据预处理方法最终可以获得对桥梁结构健康状态评估起重要作用的有效数据.     

MAKF算法及其在雷达数据处理中的应用

为了实现雷达对高动态目标距离和速度的精密跟踪测量,引入衰减记忆卡尔曼滤波(MAKF)算法,并提出一种集判断发散和抑制发散于一体的衰减记忆因子确定方法. 该方法通过增加观测量在状态估计中的权重,大幅降低加速度引起的距离、速度跟踪偏差,从而有效地抑制标准卡尔曼滤波(KF)算法在跟踪高动态目标过程中产生的滤波发散现象. 仿真结果表明,在低动态下,该算法的性能与标准KF算法接近,但在高动态下,该算法状态估计的系统偏差和随机误差相对标准KF算法均有明显改善;同时,该算法可以有效地抑制标准KF算法在一般加速运动下的滤波发散.     

A Novel Ranking Framework for Linked Data from Relational Databases

This paper investigates the problem of ranking linked data from relational databases using a ranking framework. The core idea is to group relationships by their types, then rank the types, and finally rank the instances attached to each type. The ranking criteria for each step considers the mapping rules and heterogeneous graph structure of the data web. Tests based on a social network dataset show that the linked data ranking is effective and easier for people to understand. This approach benefits from utilizing relationships deduced from mapping rules based on table schemas and distinguishing the relationship types, which results in better ranking and visualization of the linked data.     

粗糙关系数据库及其发展

对粗糙关系数据库(rough relational database,RRDB)在国内外的发展状况进行了探讨.具体分为两部分,其一,对于与粗糙关系数据库相关的几个概念及它们之间的关系进行了研究;其二,从多值信息系统的规则生成及属性约简、RRDB的粗糙算子研究、RRDB的数据查询及数据更新、RRDB的度量研究及粗糙函数依赖等几方面对目前粗糙关系数据库在国内外的发展状况进行了总结回顾.     

一个数据库应用系统通用界面算法设计

本文结合应用系统实例,利用ＵＣＤＯＳ的特殊显示功能,设计出一种能够利用光标键进行灵活控制的通用界面算法,该算法有效地解决了在ＤＯＳ环境下的数据库应用系统的界面设计问题,具有良好的移植性．     

数据ETL问题研究

数据ETL(Data Extraction,Transformation and Loading)是数据仓库、数据挖掘以及商业智能等技术的基石,其主要用来实现异构多数据源的数据集成．首先简单介绍了ETL概念、背景、应用领域,然后着重讨论了ETL在异构数据源集成和脏数据检测中的应用、所面临的挑战等问题．最后总结介绍了ETL的三大发展趋势。     

基于非线性拟合的汽车动态称重数据处理新方法

针对影响汽车动态称重精度的低频动态载荷问题,提出了基于非线性拟合的数据处理新方法.根据称重信号的特点,以Levenberg-Marquardt算法为基础,进行了去除低频动态载荷的仿真试验和实际信号试验.结果表明,该方法可以有效地降低低频动态载荷对称重精度的影响,车速小于14.5 km/h时的最大相对误差为3.46%.