基于Cluster结构的多维动态数据分布方法

数据分布是数据库查询并行处理的基础，良好的数据分布方法对查询性能有着重要影响，本文提出了一种新的基于Cluster结构的多维动态数据分布方法，该方法能保证数据均匀分布在多个处理机上；能动态调整数据片段的大小，使关系始终保持最优并行度；并能有效地支持各属性上的查询操作，性能分析及实验结果表明，在大规模的并行系统中，本文方法的性能优于过去的数据分布方法。     

基于主从模式的并行决策树算法研究

针对对等模式下并行决策树分类算法的通信开销太大,提出了一种基于主从模式的FPM_DT并行决策树挖掘算法,此算法综合使用了横向与纵向的数据划分模型,并采用根据分支数据分布情况进行结点分组的策略.实验结果表明,它与对等模式下并行SPRINT分类算法相比,降低了通信开销,具有更好的可扩展性与加速比性能.     

一个机群环境下抗数据偏斜的JOIN算法

提出了一种计算机机群环境下JOIN算法，防止数据偏斜对机群执行效率的影响．给出了数据分布树的形式化定义，构造了基于数据分布树的数据均衡分布机制、抗数据偏斜的JOIN算法．分析和实验表明，该算法适合于海量数据查询并能有效地解决机群并行环境下数据偏斜所造成的查询性能低下的问题．     

按序选取的并行存储系统数据分布方式研究

针对采用轮转方式的并行存储系统在增加新存储节点后的重均衡操作中移动数据量大、资源消耗高的问题,提出了按序选取的数据分布方式.它通过多次模拟数据重均衡操作来完成并行存储系统的数据分布,从而使得系统更易于节点扩展.基于此,又提出了优化按序选取方式,这样可以通过改变数据抽取规则来提高按序选取方式的访问并行度.理论分析和模拟实验表明,采用所提方式的并行存储系统,数据重均衡操作均可达到零无效移动率,从而最大程度地减少数据的移动量,降低系统的资源耗费.     

数据仓库的子立方体及其相应算法

数据仓库是研究大数据集的快速、灵活查询的一种技术,系统的执行效率是致关重要的.本文提出了一种新的概念--OLAP子立方体,并且给出应用这一概念改进数据仓库查询性能的相应算法.作者结合铁道部货运数据仓库及数据挖掘系统,深入的研究了这一技术,实验证明这种方法是有效的.     

基于近似等深柱状图的数据流并行聚集算法

针对数据流并行聚集问题,提出了一种不同于关系数据和时间序列数据处理的并行聚集方法.为解决已经划分出的数据流元组无法再现的特点,提出能够感知数据流变化的采样算法对数据流采样.利用近似等深柱状图技术描述采样数据的分布特征,平均分配数据流量.使用时间聚集森林结构计算时间窗聚集.通过验证采样个数对并行聚集的影响,数据分布对近似划分向量算法性能的影响,测试数据流量与并行聚集加速比的关系,证明本算法能够高效地计算数据流聚集查询.     

OLAP技术的分析

介绍了OLAP的概念 ,OLAP的分类 ,ROLAP和MOLAP的比较分析 ,OLAP与数据仓库的关系 ,OLAP工具的评估 ,流行的OLAP工具 ,为提高OLAP的性能可以采用星型模式组织数据、采用索引技术、大的数据表分片为许多小表、维的逆规范化、构建概要表、采用并行查询技术     

金融业数据仓库中星型衍生子维度模式

数据仓库建模是构建数据仓库的核心,通常采用维度模型的建模方式.分析了维度模型中星型模式和雪花模式的优缺点,并针对金融业数据仓库特点,以证券业务为例,提出了星型衍生子维度模式概念,阐述了此结构的生成条件、算法和优点,即在典型的星型模式中,对大维度表中基数较小的相对独立的维度属性进行分解,生成子维度表,用代理键将其与父维度表及事实表关联,这有利于数据装入、提高数据仓库综合查询效率及一定程度上减少数据冗余,这对于金融业数据仓库中多主题的数据建模具有实际应用价值.     

基于ETL的数据仓库ODS数据查询

ETL是构建数据仓库的一个非常重要的环节,是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程成为众多计划或正在实施数据仓库项目的单位考虑的重要问题。针对数据来源一是Oracle数据库,二是Excel格式的经济普查电子年鉴系统的异构性,提出了一种并行数据抽取接口设计方案,解决了异构数据源的模式匹配问题,对数据进行清理、集成和变换后,整合两种异构数据源为统一的Oracle数据存储模式,消除了异构数据源之间的隔离,保证了对数据资源的有效集成。提出在数据源和数据仓库之间增加一个中间层ODS(操作型数据存储),通过在ODS中的转换策略研究,论述了如何实现个性化的数据转换,将信息仓库中的数据以多维的形式表示,满足各种方式的个性化查询。     

基于OLAP查询的数据集市系统的研究

研究了通过对数据仓库视图进行水平分割来建立数据集市系统，提高OLAP查询效率的方法和技术。提出了根据OLAP查询中的选择谓词构造其最小项谓词，选择数据仓库立方体视图进行水平分割，利用视图分割后的裂片建立的数据集市来回答查询，达到减少访问的视图元组数和加快查询响应时间，从而提高OLAP查询效率，削减维护费用。     

基于数据仓库的客户关系管理系统研究

介绍了数据仓库的基本概念和结构,分析客户关系管理系统对数据仓库的需求,研究了客户关系管理系统中数据仓库的数据建模技术,建立起客户关系管理系统数据仓库中客户主题的星型雪花模式.最后提出了一种基于数据仓库的客户关系管理系统解决方案.     

一种改进的数据仓库模型

数据仓库被看作是海量数据仓储,准确及时反映源数据库的改变对数据仓库查询响应的正确性至关重要。文章提出一种改进的数据仓库体系结构,在数据仓库中添加一个辅助结构作为接收和存储更新数据的暂存库,直到数据仓库获得空闲周期,加入新的数据和更新必要的视图;通过试验模拟2种数据仓库结构,验证了新的模型在设计和性能上的优越性。     

数据仓库技术在金融系统中的应用

数据仓库技术是计算机数据库系统发展的新方向 ,近几年来许多专家为此付出很大的精力 .信息大量存在于计算机处理的系统中 ,这些信息被并没有得到充分的利用 ,通过人工智能技术 (包括数据挖掘、基于知识与规则的专家系统、神经网络等 ) ,信息才能被加工、分析、产生决策支持效果 .本文根据金融界对数据仓库的需求 ,重点介绍数据仓库的数据采集、数据加载、具体应用的过程 .使数据仓库作为未来金融市场的预测、决策分析有着重大影响的关键技术 .     

基于数据仓库的决策支持系统的体系结构

传统决策支持系统由于其功能的不足,不能满足现代企业的决策需求,而数据仓库技术是解决该问题的有效途径之一.文章分析了数据仓库技术在决策支持系统中的应用现状,提出了一种基于数据仓库的决策支持系统的体系结构,详细讨论了该体系结构中的数据仓库系统的结构,并简要介绍了相关的联机分析处理与数据挖掘技术.     

融合小波分析检测大坝数据仓库中数据孤立点

为充分利用大坝迅速增长的海量监测数据,剔除大坝数据仓库中有害的错误数据,为大坝安全监控提供有效的决策支持,探讨了以数据仓库作为基础分析平台,利用小波分析的时频局域化等特点检测大坝数据仓库中数据孤立点的方法,有效地提高了大坝数据仓库中数据信息的质量.     

数据仓库中可视化决策支持系统模型构建

在构建“税务纳税评估数据仓库”模型的数据分析阶段,通过对可视化决策支持系统模型的研究和设计,采用面向对象的方法,将可视化决策支持系统分为方法层、模型层和应用层三个层次,通过对各层次定义和功能介绍,为数据仓库体系中可视化决策支持系统模型的建立提供了理论基础和实践依据.通过对可视化决策支持模型的构建,提供给用户一个分析界面可视、可互动地分析展示数据仓库可视化的分析决策系统,以便更好地利用现有的税务联机事务处理系统的数据进行复杂访问、报告和分析、决策,充分体现税务数据仓库所蕴涵的价值.     

数据挖掘技术在油田生产决策支持中的研究及应用

油田生产过程积累了大量的历史数据,从大量沉淀的数据环境中挖掘有用的决策信息,探索出油田生产中的规律性,能够更有效地指导生产,为石油企业提供生产决策支持。文中提出了基于油田生产数据采用数据抽取、转换和加载技术的数据仓库的构建策略以及基于多维数据集的数据挖掘的实施方案,并对包括数据仓库体系结构的设计、数据仓库的构建、多维数据集数据存储模式的优选策略、在线分析处理以及基于分层聚类分析的方法实现数据挖掘等在内的各主要环节进行了系统详细的阐述。最后结合油田生产数据,综合运用数据仓库、联机分析处理和数据挖掘技术构建了一套油田企业生产决策支持系统,并提取和挖掘出了对于油田生产决策支持有用的信息。