共享多版本源视图的多实化视图异步增量维护

为了解决补偿和多版本在多实化视图维护上性能不理想的问题,提出了共享多版本源视图的多实化视图异步增量维护方案SMVM(源多版本视图维护).在SMVM中,集成端的实化视图直接定义在多个数据源的共享引用多版本源视图上,并且在收到源视图的数据更新后,向其他相关数据源发送基于版本的维护查询,以此来进行多实化视图的异步增量维护.这样在完全避免数据源并发更新导致增量查询异常的同时,提高了多个实化视图异步增量维护的整体性能,且基于元组标志的视图增量补偿方法使得对源视图的维护更有效.实验结果验证了SMVM的可行性和有效性.     

数据仓库中实视图聚集函数的增量更新

提出在视图表达式树中以由下到上的方式计算中间结点的变化 ,将计算出的中间结果作为辅助视图保存在数据仓库中 ,利用这些辅助视图或子视图计算出来的聚集函数的变化 ,来计算本视图聚集函数值的更新 ,实现视图的增量维护 ,从而缩短数据仓库更新维护时间 ,提高OLAP查询效率 .同时 ,介绍了实视图中聚集函数的增量更新算法 ,实现实视图聚集函数的更新维护     

数据仓库中实体化视图的一种维护算法

实现实体化视图是提高系统响应时间的一个关键技术和有效的解决方案,在具体的实现过程中面临着实体化视图的维护问题. 由于源数据的不稳定性,其数据的变化必须及时传播到实体化视图中,以保持实体化视图与源数据的变化一致性,否则会降低实体化视图中数据的新鲜度,并影响联机分析处理(OLAP)查询结果的真实性和有效性. 针对视图的维护问题,提出了实体化视图的一种维护算法,它将使视图重计算代价最小化.     

数据仓库中实现图聚集函数的增量更新

提出在视图表达式树中由下到上的方式计算中间结点的变化，将计算出的中间结果作为辅助视图保存在数据仓库中，利用这些辅助视图或子视图计算出来的聚集函数的变化，来计算本视图聚集函值的更新，实现视图的增量维护，从而缩短数据仓库更新维护时间，提高OLAP查询效率，同时，介绍了实视图中聚集函数的增量更新算法，实现实现图聚集函数的更新维护。     

一种物化Web视图的在线选择算法

建立了一个考虑更新代价的Web视图置换测度模型,并以此为基础,提出一种物化Web视图在线选择算法DCR.该算法在简单的缓存算法基础上引入了选择置换机制, 通过监测提交的用户查询, 决定是否将其结果予以保存, 必要时依据置换测度值的大小进行置换, 实现Web视图物化总量的控制, 防止视图过分物化, 以降低动态缓存管理、索引和检索的开销.同时可结合适当的维护方式, 提高更新效率, 避免频繁的更新对查询性能产生太大的影响, 使整个算法更具适用性. 实验表明, 在查询集较大、数据源更新比较频繁的场合, DCR算法可以降低视图检索开销, 并可通过机会更新有效减少了失效视图的数量,使算法在用户查询响应性能方面显示出较大的优势.     

一种基于时空因素的实化视图选择算法的研究与设计

分析了几种经典视图选择算法存在的不足,提出了一种新的基于时空因素的价值模型,在此基础上设计了一个新的视图选择算法——PBPUS(preprocessing benefit perunit space)算法。该算法与原有算法相比,降低了视图搜索的时间,减少了实化视图更新维护的代价,有效提高了实化视图的查询效率。     

实视图维护中的更新检测

在关系数据库系统中,视图是从一个或几个表中导出的表,为了提高访问视图数据的效率,人们将视图数据也保存起来,这样的视图称这实视图,当基表发生了变化,为使实社图与基表保持一致,必须对实视图进行维护。实视图的维护可分类一个阶段：即无关更新检测,可自处理更新检测和实际维护。     

利用维护代价约束的物化视图选择方法

为了在一定维护代价约束条件下,使查询过程中花费的总查询成本最优化,提出了最小/最大候选集变换算法.该算法构造最大候选视图集和最小候选视图集,基于最小有效的极大基数配比技术,并通过单位维护代价内的查询收益而设计的代价计算模型来获得最佳物化视图集.理论分析和实验结果表明该算法是高效、动态、近似最优的.与以往算法相比,在数据维度大、维层次复杂的情况下,该算法有着更优的执行效率.     

基于OLAP查询的数据集市系统的研究

研究了通过对数据仓库视图进行水平分割来建立数据集市系统，提高OLAP查询效率的方法和技术。提出了根据OLAP查询中的选择谓词构造其最小项谓词，选择数据仓库立方体视图进行水平分割，利用视图分割后的裂片建立的数据集市来回答查询，达到减少访问的视图元组数和加快查询响应时间，从而提高OLAP查询效率，削减维护费用。     

FOLAPE：基于位向量索引的快速OLAP引擎研究

提高联机分析处理OLAP效率是学术界和工业界共同关注的课题.传统OLAP在处理复杂应用时,运算代价随维度增大而增大,为解决这一问题,做了如下工作:(1)分析现有OLAP模型的不足,设计了一种采用位向量索引技术的快速OLAP模型,FOLAPE;(2)FOLAPE支持索引的增量式更新,提高了数据更新效率;(3)针对FOLAPE特点,设计了新的聚集函数算法;(4)在真实数据上进行了实验验证.实验表明,FOLAPE相对于最新OLAP模型,其平均查询时间最低减少90%,最高减少95%,同时存储空间需求也显著降低.     

基于层次序列OLAP-Cache在大规模监测数据查询优化中的应用

利用OLAP进行大规模监测数据查询时存在效率低和实时性差的问题,传统解决方法主要利用缩小数据集市数据的方法,虽然在一定程度上提高了查询效率,但是会出现丢失数据的现象。提出在基于聚类方法基础之上进行层次序列OLAP查询优化,并针对大规模海洋监测数据的特点提出OLAPCache多级查询方法。在该算法中,首先分析OLAP序列立方体的查询效率问题;其次以等价类的层次关系为基础,确定等价的上下界和聚类值;然后利用改进的各级查询层次的运算策略来判断OLAP查询的语义特性,提高其Cache性能;最后结合OLAP查询集的闭包中存在最小蕴含关系的特点,对OLAP查询的蕴含关系进行分组查找。通过大规模监测的海洋数据对该算法进行仿真验证,仿真表明,该算法有效地避免了对大规模海量数据的递归查询,具有较好的执行效率。     

R-树聚集在空间数据仓库中的应用

 空间数据库存储空间对象的相关信息,在很多实际应用中需要汇总空间数据,但这种汇总非常耗费时间而且计算代价很高.受非空间数据仓库的启发,可以建立空间数据仓库来加速空间OLAP操作.考虑星型模式且着重于空间维的概念分层,这种分层主要根据空间R-树索引来建立.提出了一个空间查询算法,并考虑了数据更新.     

数据物化策略研究

提高OLAP的响应速度和减少数据仓库中的数据存储量进行查询优化是数据仓库研究的核心问题。本文根据多维数据仓库的结构特点在满足OLAP需求下提出了一种视图物化的策图和分介质、变粒度存储策略,提高了OLAP响应速度。减少了数据仓库中的数据存储量。     

基于动态学习的Deep Web数据源选择算法

提出了基于查询过程的动态计算数据源和查询关键词相似度的算法.当用户查询时,从数据源中选择子集进行查询,然后计算结果网页与查询关键词的相似度,按加权均值法调整该数据源的相似度,随着系统的运行,数据源与关键词的相似度不断被动态调整以反映数据源的实际情况,从而为数据源选择做出判断依据.     

基于覆盖码预排序的数据立方体部分和top-k查询算法

在决策支持系统中,排序查询是研究的热点问题。提出了一种在OLAP(数据仓库)数据立方体中对部分和查询结果进行排序的高效算法,该算法综合利用覆盖码和预排序,有效地解决了对部分和结果的top-k查询问题。实验结果表明无论数据在随机分布还是存在主导集情况下,该算法都能很好地改进查询的时间代价。     

不对称内存计算平台OLAP查询处理技术研究

给出了一种面向当前和未来不对称内存计算平台的OLAP查询处理技术.不对称内存计算平台是指配置有不同计算类型的处理器、不同存储访问设备的计算机,因此需要对OLAP查询处理模型按不同的计算特点进行优化存储配置和实现算法设计,从而使OLAP查询处理的不同阶段更好地适应相应的存储与计算设备的硬件特点,提高硬件设备的利用率,更好地发挥硬件的性能.提出了3阶段OLAP计算模型,将传统基于迭代处理模型的OLAP查询处理过程分解为计算密集型和数据密集型负载,分别由功能完备的通用处理器和并行计算能力强大的协处理器分而治之地完成,并最小化不同存储与计算设备之间的数据传输代价.实验结果表明基于负载划分的3阶段OLAP计算模型能够较好地适应CPU-Phi不对称计算平台,实现通过计算型硬件加速计算密集型负载,从而加速整个OLAP查询处理性能的目标.     

ROLAP Server中一种实体化视图选择改进算法

数据仓库中用存储大量的实体化视图来加速OLAP的查询响应,如何在存储空间受限制的条件下高效准确地从实体化视图中找到用户需要的结果,成为ROLAP Server设计的一个重点和难点。这里提出了一个有效的实体化视图选取改进算法,考虑了加入候选视图和减少候选视图对整体空间和整体成本的影响因素,以达到候选实体化视图的加入与删除的最优化,获取较低的选取视图成本,经分析与测试表明,该算法取得良好的效果和效率。     

基于目标视图的数据交换引擎的研究

借鉴数据仓库在线维护技术思想,提出利用全局目标视图来表达部门用户对数据共享或交换的需求;然后通过全局目标视图分解与重写算法,将全局目标视图分解为仅仅与单个底层数据源相关的局部目标视图,通过对它们的实化来达到企业各部门之间数据共享与交换的目的.     

基于浓缩数据立方的内存实化数据立方的构建

为提高联机分析查询的速度,在浓缩数据立方的基础上,构建了元组级别的内存实化方法.以内存空间至少能容纳最细粒度数据小方为前提,在内存中构造两级Hash结构:第一级Hash结构存放最细粒度的数据小方以保证所有查询都可从内存中响应;第二级Hash结构按照聚集度高的小方元组优先、相同聚集度情况下尺寸小的小方中元组优先的选择策略,选择立方元组在内存实化.处理点查询时,首先从第二级结构中直接查找满足条件的立方元组.若对范围查询,则需从第一级结构中计算获得.由于最细粒度立方元组和其他一些粗粒度元组都在内存中,避免了费时的外存存取,数据立方更新和维护代价也得以降低.     

一种基于星型模型的增量更新算法

在进行数据仓库的OLAP联机分析处理时,通常采用预先聚集(Aggregate)操作生成概括数据的方法提高查询效率;但是,基于星型模型的数据仓库中的维表的纠错改变和自然改变将会引发概括数据的不正确问题.本文通过研究星型模型维表及其变化的特点,提出了一种增量更新算法,在几乎不增加空间的情况下,降低时间复杂度的增量更新;并通过性能验证,分析算法的可行性.