一种通用的多数据库间数据抽取方法及应用

为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽取转换基于抽取规则,抽取规则采用可视化方法编辑生成;抽取规则存储于规则库,供多次调用修改;多个抽取任务组成抽取任务队列.开发的抽取工具软件DbBridge,支持从Oracle,SQL Server,SAS,Access,Excel等数据源抽取数据.软件成功应用于某数据仓库的建立及数据迁移工作.     

基于数据挖掘的白酒企业决策支持系统研究

以数据仓库,联机分析处理(OLAP)和数据挖掘技术构建白酒企业决策支持系统.系统通过数据仓库对来自不同数据源、历史的数据进行存储;采用联机分析处理技术对数据仓库中的数据进行多角度、多层次等分析;通过数据挖掘,从数据仓库中识别和提取隐含的知识,为企业决策人员提供强有力的决策辅助支持.     

一种主动实时数据仓库的体系架构分析

传统数据仓库的主要目标是从不同的异构数据源中分析并提取商业战略信息,在传统的数据仓库中,数据不能及时从源系统导入,成功地做出决策会有延时。主动实时数据仓库的提出用来零延时地获取数据和减少正确做出商业决策的时间。本文讨论了主动实时数据仓库与传统数据仓库的区别并进行分析,最终介绍了一种改进的主动实时数据仓库体系结构。     

基于数据仓库和作业的高效改进Apriori算法

数据挖掘需要有"纯净"的数据和良好的数据组织,数据的质量直接影响到数据挖掘的效果,数据仓库从各类数据源中抽取数据,经过清洗、集成、选择、转换处理,为数据挖掘所需要的高质量数据提供了保证.本文提出以数据仓库为数据源,采用作业定时预先生成简化的频繁2.项集,应用存储过程执行效率高的特点,在压缩数据库大小的同时也压缩频繁i项集的大小,实现高效改进Apriori算法.     

基于元数据的ETL工具设计与实现

通过分析ETL与元数据的关系,改进传统ETL构架,自行设计ETL工具,生成数据对象描述和数据对象之间映射关系描述的元数据,指导从多数据源抽取数据,在临时数据库中完成转换并加载到目标数据库,利用临时数据库减轻目标数据库压力,实现通过用户设计修改元数据,从多源业务数据到数据仓库转化的一种灵活设计思想.     

基于ETL的数据仓库ODS数据查询

ETL是构建数据仓库的一个非常重要的环节,是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程成为众多计划或正在实施数据仓库项目的单位考虑的重要问题。针对数据来源一是Oracle数据库,二是Excel格式的经济普查电子年鉴系统的异构性,提出了一种并行数据抽取接口设计方案,解决了异构数据源的模式匹配问题,对数据进行清理、集成和变换后,整合两种异构数据源为统一的Oracle数据存储模式,消除了异构数据源之间的隔离,保证了对数据资源的有效集成。提出在数据源和数据仓库之间增加一个中间层ODS(操作型数据存储),通过在ODS中的转换策略研究,论述了如何实现个性化的数据转换,将信息仓库中的数据以多维的形式表示,满足各种方式的个性化查询。     

公积金管理系统数据仓库基础架构设计与实现

数据仓库（Data Warehouse）是决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。本文结合公积金信息管理系统oracle数据库压力较大的现状,对数据库的业务重新进行了设计,并在此设计的基础上对公积金信息管理系统oracle数据库进行了重新规划实施。     

数据ETL问题研究

数据ETL(Data Extraction,Transformation and Loading)是数据仓库、数据挖掘以及商业智能等技术的基石,其主要用来实现异构多数据源的数据集成．首先简单介绍了ETL概念、背景、应用领域,然后着重讨论了ETL在异构数据源集成和脏数据检测中的应用、所面临的挑战等问题．最后总结介绍了ETL的三大发展趋势。     

ETL在福建省房地产市场数据仓库建设中的应用

针对福建省房地产市场数据仓库建设中,各设区市房地产市场数据源存在异构性、低质量和数据标准不统一的特点,定义了ETL过程中数据交换标准和数据交换前置包,并详细阐述了ETL在福建省房地产市场数据仓库建设中的实现过程.     

DTS工具在建立数据仓库过程中的应用

本文介绍了在数据仓库建立过程中,数据从事务型数据库向数据仓库抽取,转换,加戴的过程——ETL,并详细讲述了利用SQL Server 2000的数据转警工具（DTS）实现数据从FOXPRO到SQL Server．再到数据仓库的导入过程。     

一种新型的多OROLAP模型及其优化算法

OLAP模型是实现高效的联机分析处理、数据挖掘和高级商务智能应用的基础，ROLAP模型、MOLAP模型和OOLAP模型是当前数据仓库和商务智能领域的研究热点.提出了一种新型的基于组播服务的多对象-关系型OLAP模型，简称多OROLAP模型.具有扩展性好、计算速度快、可分布性等特点.研究了多OROLAP模型、数据仓库增量式快速刷新算法、内外存对象存储优化算法、内外存对象透明交换算法、内外存对象自适应选择算法.同时还研究了典型的用户查询和分析模式对多OROLAP模型及其算法、分布式数据仓库中组成员的管理和维护的影响.     

多数据源挖掘中的模式合成技术

现在的数据挖掘技术大多只针对单一数据源进行挖掘,但在实际应用中,碰到的大多是多个数据源的情况。作者在对多数据源的挖掘进行研究的基础上,进一步提出了一个多数据源模式合成的算法,并验证了此种算法的正确性和效率。     

一种多源数据融合过程中的实体关联性计算方法

针对公安多数据源数据融合分析过程中常出现不同数据源中同一实体对象存在不同关系描述的情况,提出了一种结合实体关系时间属性权值和数据源权重的实体关系真实度计算算法,以数据源为基准单位,实现了对多数据源融合的实体关系关联度计算和有效性分析。实验结果表明,此算法能有效降低数据融合过程中带来的实体关联值计算偏差,提高实体关系之间发现的实时性和准确率,提升数据资源的情报价值。     

基于GEP的多数据流预测算法

针对传统的基于线性回归预测建模方法只能适应简单的预测建模和只能预测未来窗口平均值的不足,提出了基于基因表达式编程(gene expression programming,GEP)的多数据流预测方法。在多数据流环境中使用滑动窗口对多数据流的划分方法,给出了多数据流环境中的数据流名称的定义,揭示了这些数据流之间存在的映射关系;进而提出了对多数据流进行预处理的方法,并建立了基于GEP的多数据流的自适应预测模型。使用真实数据进行实验,验证了算法的有效性。     

一种改进的数据仓库模型

数据仓库被看作是海量数据仓储,准确及时反映源数据库的改变对数据仓库查询响应的正确性至关重要。文章提出一种改进的数据仓库体系结构,在数据仓库中添加一个辅助结构作为接收和存储更新数据的暂存库,直到数据仓库获得空闲周期,加入新的数据和更新必要的视图;通过试验模拟2种数据仓库结构,验证了新的模型在设计和性能上的优越性。     

多数据链任务分配模型及算法仿真

不同数据链所支持的消息格式有所不同,因此多数据链间相互通信时难以进行互操作。针对这一问题,提出了基于消息处理平台的多数据链系统任务分配模型。该模型通过一个消息处理平台对消息格式进行转换并分发给相应的数据链,同时在分析多数据链互操作性的几个主要度量指标的基础上,给出了数据链系统分配模型的数学表达式。然后,结合多数据链消息交换的一个典型应用,采用模拟退火粒子群算法对该模型进行求解。结果表明,在低负载和中等负载情况下,多数据链系统能够在满足互操作性指标的前提下有效地进行消息交换,而且相比于采用标准粒子群算法,模型求解的收敛速度更快,粒子的全局搜索能力更强。     

ERP环境下数据仓库的应用研究

针对ERP决策能力的不足,把数据仓库和数据挖掘技术应用到当中去,提出了ERP环境下数据仓库的体系结构,并对实施要点进行了阐述。     

基于目标视图的数据交换引擎的研究

借鉴数据仓库在线维护技术思想,提出利用全局目标视图来表达部门用户对数据共享或交换的需求;然后通过全局目标视图分解与重写算法,将全局目标视图分解为仅仅与单个底层数据源相关的局部目标视图,通过对它们的实化来达到企业各部门之间数据共享与交换的目的.     

并行组合映射序列扩频通信方式

提出了并行组合映射序列扩频通信方式(PC—MSSS)，分析了系统的并行多路传送能力及其实现方法，对系统的并行传送能力进行了深入研究。研究表明在不降低系统性能的情况下，能够较大地提高系统的并行传送能力。在满足一定数据速率的条件下，通过对3路数据进行2bit预编码可以使系统的传送能力达到Ntot 3路。当组合数较大时,接收系统的解调路数将大大增加，使得接收系统的复杂度提高。