OLAP聚集计算中的维存储技术

为解决传统行存储结构导致OLAP聚集计算效率低下的问题,设计了基于维存储的OLAP数据存取技术.首先,将OLAP事实表中的维属性集和度量属性集定义为2个列族,每张维表的所有属性定义为1个列族.对维表进行二进制编码,生成维层次编码,从而保持了维的层次语义特性.以(维层次编码,度量值)对形式按列组织数据,消除查询时维表与事实表的复杂连接操作运算.然后,采用自底向上方法构建B+树,对维层次编码进行索引,加快了数据读取效率.通过增删事实表和维层次编码-度量表中相应的列,实现维和度量的增加和删除.性能分析结果表明,这种OLAP数据存取技术具有良好的可扩展性,能高效地管理和存取OLAP海量多维数据,有效支持上层OLAP聚集计算.     

一种基于多层次链的Data Cube维层次编码

研究了Data Cube的索引技术,提出一种能够处理复杂维层次结构情况的维层次编码.维层次编码充分利用了Data Cube中维的层次性及其语义特性,结合二进制编码与维层次结构编码对维成员值进行编码,通过二进制操作,可以快速检索出与查询关键字相匹配的维层次编码.同时,基于维层次编码定义的层次链掩码,层次掩码及检索函数能够充分利用多维数据中的语义信息,实现基于语义的检索,减少了I/O开销,提高了OLAP查询效率.     

基于维层次性的Data Cube存储优化方法

根据Data Cube模式中维的层次性,提出了层次式B^＋树及维层次编码的概念,并应用于层次树形Cube（HT Cube）方法中．HT Cube将维划分为聚集维与分析维,在分析维上利用层次式B^＋树除去了冗余数据,并在查询过程中形成维层次编码,在聚集维上则利用维层次编码组合而成的分析维编码进行索引,从而可以高效地检索到聚集值．理论分析和实验证明,该方法不但节省了存储空间,而且可利用层次信息高效地进行各种OLAP查询,为Data Cube模式更新、OLAP查询导航和OLAP查询行为分析的实现提供了可能．     

最小方方法的一种优化方法

数据立方体在许多多维数据的数据仓库的高速OLAP操作中扮演着重要的角色. 但在许多高维的数据仓库的应用中，查询分析效率是个关键的问题.例如超过100维，大约106个元组.在这样高维情况下建立全物化数据立方体来减少分析时间是不可行的.利用最小方的方法可以在高维数据集上进行有效OLAP操作的方法.如果能根据查询分析的历史记录合理地为立方体的维分片,就能在相同空间复杂度的情况下提高OLAP操作的效率.     

基于Spark/Shark的电力用采大数据OLAP分析系统

用电信息大数据上的OLAP查询涉及数据量大,具有多表连接操作频繁、SQL结构复杂等特点,传统关系型数据库面对该类应用,表现出可扩展性弱、数据写入吞吐量低与查询效率低等问题.为此设计了一套基于Spark/Shark的电力大数据OLAP分析系统,该系统采用分布式文件系统HDFS保存电力用电信息采集系统的大数据,通过Shark进行前端SQL解析,Spark进行查询计算;然而,原生Shark只支持粗粒度分区,不支持细粒度的索引技术,难以高效地过滤无关数据,影响了查询性能.为克服这一不足,该系统设计了一种基于前缀树的细粒度索引结构TrieIndex,并通过数据重组技术优化了数据在HDFS的分布,提升了Shark的数据过滤能力以及用电信息大数据OLAP分析的性能.真实用电信息采集系统数据与查询的实验结果表明,该系统比关系型数据库的写入速度提升了12倍,比原生Shark的查询效率提升了10倍以上.     

一种基于XML前缀编码的路径查询

为了解决XML文档树子结点过多时前缀编码长度增加的问题,提出一种改进的XML前缀编码——IPE编码.基于IPE编码,结合倒排索引表,给出XPath路径查询算法,可以有效地提高XML文档的查询速度.     

关系模式设计的规范化与非规范化

关系模式的规范化设计存在表的数量多、连接运算复杂、数据库执行速度慢等缺点；非规范化设计减少了查询操怍所需的连接，减少了外部键和索引的数量，可以预先进行统计计算，提高了查询时的响应速度；用实例说明设计关系数据库时应根据属性数量、属性间的函数依赖、关系中元组的数量和应用来确定应采用的方法。     

一种基于维层次的Data Cube压缩存储方法

针对维层次的特点,提出一种利用基表元组的标识维来对Data Cube来进行压缩存储（Hierarchical Compress Storage Cube,HCSCube）的方法。在定义基表元组与Data Cube中聚集元组的导出关系后,DataCube中的一些聚集元组的聚集值可以由基表元组导出关系得到,因而可以合并保存,从而实现了Data Cube的压缩存储。理论分析和实验表明,基于维层次的压缩存储方法不仅能显著的减小Data Cube的存储空间,而且在查询效率上也有改进。     

基于B+树的XML数据查询处理

基于B 树,并借鉴XB树的特点设计一种XM L文档的索引方法.索引关键字分为元素关键值和XM L编码的范围.利用元素编码的范围查询,不必在整XM L文档中搜索,提高了查询效率.对于复杂分支查询,提出了拆分成简单查询路径的规则.在结构化连接问题上,提出了不仅要进行祖孙(父子)关系的连接,还要进行兄弟关系的判断,以得到正确的匹配结果.     

基于层次序列OLAP-Cache在大规模监测数据查询优化中的应用

利用OLAP进行大规模监测数据查询时存在效率低和实时性差的问题,传统解决方法主要利用缩小数据集市数据的方法,虽然在一定程度上提高了查询效率,但是会出现丢失数据的现象。提出在基于聚类方法基础之上进行层次序列OLAP查询优化,并针对大规模海洋监测数据的特点提出OLAPCache多级查询方法。在该算法中,首先分析OLAP序列立方体的查询效率问题;其次以等价类的层次关系为基础,确定等价的上下界和聚类值;然后利用改进的各级查询层次的运算策略来判断OLAP查询的语义特性,提高其Cache性能;最后结合OLAP查询集的闭包中存在最小蕴含关系的特点,对OLAP查询的蕴含关系进行分组查找。通过大规模监测的海洋数据对该算法进行仿真验证,仿真表明,该算法有效地避免了对大规模海量数据的递归查询,具有较好的执行效率。     

基于OLAP查询的数据集市系统的研究

研究了通过对数据仓库视图进行水平分割来建立数据集市系统，提高OLAP查询效率的方法和技术。提出了根据OLAP查询中的选择谓词构造其最小项谓词，选择数据仓库立方体视图进行水平分割，利用视图分割后的裂片建立的数据集市来回答查询，达到减少访问的视图元组数和加快查询响应时间，从而提高OLAP查询效率，削减维护费用。     

一种支持结构化P2P的多维范围查找方法

提出一种基于结构化P2P的分层聚类查询系统. 利用空间填充曲线建立从高维特征空间到一维相邻空间的映射,根据映射过程提出一种分层聚类的概念,并将相似的多维数据归入在相同的聚类中,使聚类内的数据具有更大的相似性与更小的值域区间. 模拟结果显示,该方法可减少查询所需的带宽,具有良好的查询准确度和可扩展性.     

改进的半连接查询优化算法

在多关系连接查询中,普通半连接查询方法没有优化子查询的半连接顺序,导致查询代价较高,为此,本文提出了一种改进的半连接查询优化算法.首先,将多关系连接组织成较小代价的类树形结构,然后利用半连接操作对处于根节点处的关系进行最大化缩减,并以此为基础利用PERF位向量对其他节点进行缩减,最后回收缩减关系进行连接操作.模拟实验表明改进的半连接查询优化算法能够有效地缩减查询关系,降低查询代价.     

基于操作序列挖掘的OLAP查询推荐方法

针对联机分析处理(OLAP)操作复杂导致的用户使用效率低下问题,提出基于操作序列挖掘的OLAP查询推荐方法.首先从多维表达式(MDX)查询语句记录中提取整数数列形式的查询序列,再利用PrefixSpan方法对查询序列进行频繁序列模式挖掘,并基于挖掘出的模式及其子模式建立概率矩阵,最后通过搜索与用户当前查询操作或查询序列...     

一种新的基于编码的XML结构连接算法

XML文档的结构查询处理中通常包含判断XML结点间父子关系或祖先-后代关系的结构连接操作。目前,已经提出了一系列有效的结构连接算法,这些结构连接算法大都基于归并的思想,充分利用XML数据结构的特点来减少连接的扫描代价。本文提出了一种新的XML文档树编码方案,并在该编码方案的基础上设计了一种新的结构连接算法StruContact。该算法集成了Holistic Twig的两个结构连接算法（PathStack和TwigStack算法）的功能,实验表明,可有效提高结构连接操作的效率。     

SQL Server 2005中ROW_NUMBER()函数在存储过程分页中的应用

SQLServer2005中新增的ROW_NUMBER（）函数为存储过程分页提供了便利，提出了多表关联查询时，在一个Select语句中同时使用ROW_NUMBER（）与DISTINCT，DISTINCT失效的解决方法．