一个机群环境下抗数据偏斜的JOIN算法

提出了一种计算机机群环境下JOIN算法，防止数据偏斜对机群执行效率的影响．给出了数据分布树的形式化定义，构造了基于数据分布树的数据均衡分布机制、抗数据偏斜的JOIN算法．分析和实验表明，该算法适合于海量数据查询并能有效地解决机群并行环境下数据偏斜所造成的查询性能低下的问题．     

数据仓库增量维护技术的研究

提出了数据仓库设计中的一种新的"基于多delta文件的选择增量维护算法",该算法实现了加载、维护的较小结果集,另外采用多层体系结构,用基库将操作型OLTP环境和DSS和OLAP环境桥接起来,在基库端和仓库端采用多版本控制思想控制抽取动态结果集大小以及在数据仓库端采用增量维护的算法,从而在维护后台进程中用的是较小的数据结果集批量加载,并不影响数据仓库端的查询操作,明显地减少了对OLAP和OLTP环境的影响.该算法和体系结构宜于实现,具有较强的工程参考价值.     

数据仓库中实现图聚集函数的增量更新

提出在视图表达式树中由下到上的方式计算中间结点的变化，将计算出的中间结果作为辅助视图保存在数据仓库中，利用这些辅助视图或子视图计算出来的聚集函数的变化，来计算本视图聚集函值的更新，实现视图的增量维护，从而缩短数据仓库更新维护时间，提高OLAP查询效率，同时，介绍了实视图中聚集函数的增量更新算法，实现实现图聚集函数的更新维护。     

基于堆栈模型的数据挖掘算法研究

基于关联规则的数据挖掘算法的时空耗费关键主要有两个：一个是需要对海量事务数据库进行多趟趋势，另一个是在JOIN运算中产生了大量潜在频繁项集。提出了利用堆栈模型动态生成频繁项集，每次用上次为产生新的频繁项集，边产生边判断，把满中最小信任度的频繁项集存放于链表中，减少了JOIN运算产生的多余项所占用的空间耗费。利用事务压缩法来减少事务库数据规模，对每次扫描后的事务数据库进行优化，从而达到减少空间耗费和扫描规模，提高效率的目的。     

网吧管理系统中的财务管理子系统设计

主要介绍了网吧管理系统的一些设计思想、结构模块及其功能和实现方法等,并且对其中的数据库的转储方法和步骤送行了详细阐述,采用了数据仓库的增量刷新办法,算法采用基于三层体系结构模型的VSRA算法,克服了3VWQ算法容易导致基库与数据仓库之间通信流量增加的缺点.     

一种基于星型模型的增量更新算法

在进行数据仓库的OLAP联机分析处理时,通常采用预先聚集(Aggregate)操作生成概括数据的方法提高查询效率;但是,基于星型模型的数据仓库中的维表的纠错改变和自然改变将会引发概括数据的不正确问题.本文通过研究星型模型维表及其变化的特点,提出了一种增量更新算法,在几乎不增加空间的情况下,降低时间复杂度的增量更新;并通过性能验证,分析算法的可行性.     

数据仓库中实视图聚集函数的增量更新

提出在视图表达式树中以由下到上的方式计算中间结点的变化 ,将计算出的中间结果作为辅助视图保存在数据仓库中 ,利用这些辅助视图或子视图计算出来的聚集函数的变化 ,来计算本视图聚集函数值的更新 ,实现视图的增量维护 ,从而缩短数据仓库更新维护时间 ,提高OLAP查询效率 .同时 ,介绍了实视图中聚集函数的增量更新算法 ,实现实视图聚集函数的更新维护     

一种适用于数据仓库环境的增量聚类方法

聚类分析要求较高聚类质量和快速响应能力,各行业数据仓库中的大量、高维数据对算法的效率提出了更大的挑战.CURE算法能够提供高质量聚类结果但不满足联机聚类要求.结合数据仓库数据不定期批量、增量更新的特点,提出了一种新的增量式CURE聚类算法——InCURE,利用对象的互连性和近似度,保持原算法的动态聚类特性的同时大大缩短聚类时间.5维、20维、50维的大量数据实际测试表明无论低维还是高维数据,InCURE都比CURE具有更高的效率,适合数据仓库环境下的增量式聚类分析.     

数据仓库集合刷新联机维护算法

随着数据仓库应用的不断扩展和深入,它的联机维护技术也显得越来越重要。提出一种版本控制集合刷新算法VSRA(Version-controlSetRefreshingAlgorithm),它采用增量维护和批处理思想,首先根据原始数据的变化集合,计算出实体化视图的刷新集合,然后据此集合刷新实体化视图,同时利用版本控制保持数据仓库与当前数据库状态的一致性,达到对数据仓库联机维护的目的。VSRA算法采用集合方式一次处理一批数据,不但减少了数据仓库与数据库之间的通信开销,而且提高了数据仓库的刷新效率.严格的版本控制使用户可以随时使用数据仓库进行联机分析处理(OLAP),并得到正确一致的结果.在文后,通过一个典型示例说明了算法的具体应用.     

一种快速生成大素数的方法

基于中国剩余定理对改进的增量素数生成算法进行了改进，设计了基于中国剩余定理的门限素数生成算法(TCPG),以提高大素数生成的效率。具体地说，TCPG算法用中国剩余定理对小素数数组进行随机抽样，然后求解同余方程；在素性测试失败后，不需要对整个小素数数组重新抽样，而是仅抽样门限个随机数，降低了随机数的抽样个数，从而提高素数生成算法效率。最后，对TCPG算法与原生素数生成算法、增量素数生成算法、改进的增量算法、M-J特例算法、改进的M-J算法和中国剩余定理素数生成算法(简称CRT)进行素数生成平均时长的对比分析实验。实验结果表明TCPG算法生成长度为512 bit的素数的平均时长(7.80 ms)略多于改进的增量算法所需时长(7.73 ms),但是，生成长度为1 024 bit和2 048 bit的素数的平均时长最短：TCPG算法在Miller-Rabin素性测试算法下生成1个长度为512 bit的素数的平均时长为7.80 ms,比CRT算法耗时减少1.46 ms;生成1个长度为1 024 bit的素数的平均时长为53.30 ms,比改进的增量素数生成算法、CRT算法耗时分别减少5.50、4...     

面向Web与基于Web的数据仓库

针对Web与数据仓库的结合应用，即面向 Web和基于Web，简要介绍了数据仓库的基本体系，分析了一种5层结构的系统，以说明面向Web应用的数据仓库的特点.根据数据仓库的发展趋势，提出了基于Web（Web-based）的数据仓库概念，并将点击流（Clickstream）数据仓库作为基于Web的数据仓库的一个特例，讨论了其体系结构.     

联机增量聚类算法研究

研究了联机数据挖掘系统中的并行和增量聚类算法,并给出了算法伪码。实验表明,联机增量聚类算法相对于传统的Apriori算法具有较大优势,同时证明了增量聚类算法及其联机数据挖掘系统的实用性。     

一种改进的关联规则增量更新算法

数据挖掘技术引起了数据库和人工智能等领域的专家和学者的广泛关注。关联规则的挖掘是数据挖掘研究的一个重要领域,本文分析了经典的增量更新算法FUP的不足,提出了一种改进的增量更新算法EFUP,详细论述算法思想,并与FUP算法比较分析,表明了该算法的优越性。     

基于CWM的企业元数据集成中对象到关系映射模式的研究

公共仓库元模型(CWM)是为数据仓库和业务分析环境间方便地交换元数据而制定的一个标准,并已经成为模型驱动体系结构(MDA)新策略方向中的核心组成部份.本文介绍了基于CWM的企业元数据集成,设计了一个对象到关系的映射模式,并给出了映射模式的应用实例.     

数据库连接类视图的物化和增量保持技术

目前，对数据视图的物化和增量保持技术已有很多讨论，但基本上局限于ISA关系由单个类导出现图的范围内，而对于由两个或多个类通过连接操作导出的视图这一范围尚无涉及，本文提出了基于这一范畴的视图物化和增量保持的一种数据模式和基于该模式的增量保持技术。     

基于遗传算法和粗糙集理论的增量式规则获取方法

规则获取的增量式算法是数据挖掘领域的一个热点问题.基于粗糙集理论,从规则获取和优化两方面研究了基于遗传算法的增量式规则挖掘方法,它具有结构简单、搜索效率高、求解速度快等优点.通过研究决策表和决策规则系数,建立基于粗糙集表示和度量的知识,并且将遗传算法和规则挖掘算法相结合,建立了新的优化方法,提出了一种基于遗传算法的增量式规则挖掘的方法.在原有规则集的基础上进行规则和规则参数的增量式更新,避免了为更新规则而重新运行规则获取算法.试验结果表明,执行增量式GA的能够有效地获取最优规则.     

浅谈数据仓库中ETL的重要性

ETL是数据仓库的重要环节,本文主要论述了ETL在数据仓库中的作用,以及通过对数据仓库概念、搭建数据仓库的难点、ETL在数据仓库中的位置和其实现过程的介绍论证了ETL在数据仓库中的重要性。     

大型指纹数据库自动识别系统设计

随着指纹数据库规模的不断扩大,识别效率逐渐降低。本文通过对已有自动指纹识别系统的分析、研究,针对目前的大型数据库中自动指纹识别系统存在的建库速度慢,采集速度慢,匹配效率差等缺陷,探讨了基于数据挖掘的自动指纹识别系统。     

数据仓库实现实例探索

简要介绍了数据仓库的概念 ,数据仓库的实现方式 ,比较详细的对数据仓库的实现进行实例探索     

对连接依赖及5NF的修正

本文通过对连接依赖[1]的分析和研究,提出了真连接依赖和最简连接依赖的概念。剔除了两类容易造成误解的连接依赖,在此基础上给出了新的5NF的定义,为判定算法的研究奠定了基础。