基于层次序列OLAP-Cache在大规模监测数据查询优化中的应用

利用OLAP进行大规模监测数据查询时存在效率低和实时性差的问题,传统解决方法主要利用缩小数据集市数据的方法,虽然在一定程度上提高了查询效率,但是会出现丢失数据的现象。提出在基于聚类方法基础之上进行层次序列OLAP查询优化,并针对大规模海洋监测数据的特点提出OLAPCache多级查询方法。在该算法中,首先分析OLAP序列立方体的查询效率问题;其次以等价类的层次关系为基础,确定等价的上下界和聚类值;然后利用改进的各级查询层次的运算策略来判断OLAP查询的语义特性,提高其Cache性能;最后结合OLAP查询集的闭包中存在最小蕴含关系的特点,对OLAP查询的蕴含关系进行分组查找。通过大规模监测的海洋数据对该算法进行仿真验证,仿真表明,该算法有效地避免了对大规模海量数据的递归查询,具有较好的执行效率。     

最小方方法的一种优化方法

数据立方体在许多多维数据的数据仓库的高速OLAP操作中扮演着重要的角色. 但在许多高维的数据仓库的应用中，查询分析效率是个关键的问题.例如超过100维，大约106个元组.在这样高维情况下建立全物化数据立方体来减少分析时间是不可行的.利用最小方的方法可以在高维数据集上进行有效OLAP操作的方法.如果能根据查询分析的历史记录合理地为立方体的维分片,就能在相同空间复杂度的情况下提高OLAP操作的效率.     

数据物化策略研究

提高OLAP的响应速度和减少数据仓库中的数据存储量进行查询优化是数据仓库研究的核心问题。本文根据多维数据仓库的结构特点在满足OLAP需求下提出了一种视图物化的策图和分介质、变粒度存储策略,提高了OLAP响应速度。减少了数据仓库中的数据存储量。     

不对称内存计算平台OLAP查询处理技术研究

给出了一种面向当前和未来不对称内存计算平台的OLAP查询处理技术.不对称内存计算平台是指配置有不同计算类型的处理器、不同存储访问设备的计算机,因此需要对OLAP查询处理模型按不同的计算特点进行优化存储配置和实现算法设计,从而使OLAP查询处理的不同阶段更好地适应相应的存储与计算设备的硬件特点,提高硬件设备的利用率,更好地发挥硬件的性能.提出了3阶段OLAP计算模型,将传统基于迭代处理模型的OLAP查询处理过程分解为计算密集型和数据密集型负载,分别由功能完备的通用处理器和并行计算能力强大的协处理器分而治之地完成,并最小化不同存储与计算设备之间的数据传输代价.实验结果表明基于负载划分的3阶段OLAP计算模型能够较好地适应CPU-Phi不对称计算平台,实现通过计算型硬件加速计算密集型负载,从而加速整个OLAP查询处理性能的目标.     

OLAP聚集计算中的维存储技术

为解决传统行存储结构导致OLAP聚集计算效率低下的问题,设计了基于维存储的OLAP数据存取技术.首先,将OLAP事实表中的维属性集和度量属性集定义为2个列族,每张维表的所有属性定义为1个列族.对维表进行二进制编码,生成维层次编码,从而保持了维的层次语义特性.以(维层次编码,度量值)对形式按列组织数据,消除查询时维表与事实表的复杂连接操作运算.然后,采用自底向上方法构建B+树,对维层次编码进行索引,加快了数据读取效率.通过增删事实表和维层次编码-度量表中相应的列,实现维和度量的增加和删除.性能分析结果表明,这种OLAP数据存取技术具有良好的可扩展性,能高效地管理和存取OLAP海量多维数据,有效支持上层OLAP聚集计算.     

数据仓库增量维护技术的研究

提出了数据仓库设计中的一种新的"基于多delta文件的选择增量维护算法",该算法实现了加载、维护的较小结果集,另外采用多层体系结构,用基库将操作型OLTP环境和DSS和OLAP环境桥接起来,在基库端和仓库端采用多版本控制思想控制抽取动态结果集大小以及在数据仓库端采用增量维护的算法,从而在维护后台进程中用的是较小的数据结果集批量加载,并不影响数据仓库端的查询操作,明显地减少了对OLAP和OLTP环境的影响.该算法和体系结构宜于实现,具有较强的工程参考价值.     

决策支持系统中OLAP的设计与实现

目的设计和实现对数据仓库中的信息进行决策分析的OLAP。方法以零售企业销售预测为切入点,研究决策支持系统中OLAP的设计。结果建立了用来进行OLAP分析的多维数据集,并对多维数据集中的数据用切片、切块、钻取和旋转等方式进行分析,用MDX多维查询语言对多维数据集中的数据进行复杂查询,提出了对OLAP分析数据展现的3种解决方案。结论在研究决策支持系统中OLAP的基础上,建立和实现了对数据仓库进行决策分析的OLAP。     

数据仓库中一种基于维层次编码的位图索引方法

为了减少OLAP中的多表连接,压缩维属性连接关键字,对查询数据进行有效地分组聚集操作,来提高OLAP查询速度.利用维属性具有层次特性对维成员进行编码,生成其维层次编码,来代替维表中原关键字,实现了维表关键字的压缩.通过编码长度较小的维层次编码及其层次前缀路径,对维层次编码进行前缀匹配操作,快速检索出与查询关键字相匹配的维层次编码,求得维层次属性的查询范围,从而大大减少和简化了事实表与维表之间的多表连接,减少了I/O开销,提高了OLAP查询效率.     

基于OLAP技术的医疗信息多维数据集设计与分析

OLAP是基于多维数据模型的复杂数据分析技术,是数据仓库中最典型应用.以医疗信息分析系统数据仓库为基础来构建OLAP系统,并根据医疗信息数据分析的需求,选取OLAP主题,进行多维数据模型设计,以及运用多维分析方法和MDX查询设计实现多维数据分析.     

中间件异构数据库集成中基于半连接的查询优化算法

全局查询效率一直是中间件异构数据库集成中的热点和难点问题,由于目前异构数据库绝大多数是关系型数据库,所以采用半连接方法优化连接操作,并在半连接图的基础上提出了多个站点的半连接执行方案优化算法,该算法根据半连接图生成有向无序树,使多个半连接操作能够并行执行,经分析能有效地提高全局查询效率.