OceanBase中基于布隆过滤器的连接算法

在大数据时代,"去IOE"运动的推进以及"双11"等活动的兴起对分布式数据库系统提出了更高的要求.OceanBase是阿里巴巴集团自主研发的开源分布式数据库,支持海量数据跨行跨表事务,但是对复杂查询的处理性能仍有待提高,其中连接操作带来的网络传输严重影响了数据库的性能.本文提出了一种基于布隆过滤器的连接算法,通过构建布隆过滤器对右表数据进行过滤,减少了不必要的数据传输开销,降低了数据处理带来的内存资源的消耗.本文在OceanBase上实现了该算法,并通过实验证明,该算法极大提高了连接操作的效率.     

面向OLAP应用的OceanBase模式设计

随着大数据时代的来临,用户查询需求也越来越复杂,对数据库的可扩展性和SQL查询效率都提出了很高的要求.OceanBase是Alibaba研发的适应互联网规模的关系型分布式数据库,能够做到可扩展、低成本、高可用,并能应用到很多业务场景,包括OLTP和OLAP.然而,当前发布的最新OceanBase只支持主键索引,还不能支持二级索引.其次,OceanBase在连接上没有并行处理,使得查询效率较低.因此,为了能够使用主键索引及减少连接来加快查询速率,OceanBase模式设计是必要的.本文主要以TPC-H的22个查询为OLAP的研究案例,分析传统数据库的模式设计,并提出OceanBase分布式数据库下的模式设计规则,最后将会通过实验来验证这套模式设计规则的有效性.     

分布式环境中数据库模式设计实践

近年来,数据规模呈爆炸式增长,使得传统集中式数据库难以满足业务需求.而分布式数据库可以将数据存储在多个节点上,具有更好的扩展性,从而可以支撑业务的不断增长.目前,许多企业已经开发出了成功的分布式数据库产品,例如Google Spanner、淘宝的OceanBase等.传统数据库模式设计中,三大范式(1NF、2NF和3NF)及其扩展范式能够减少数据冗余和更新异常,并保证数据的完整性.然而,在分布式架构下,严格遵循范式的模式设计可能带来查询效率较低等问题,而使用反范式模式设计方法通常可以有效提高查询效率.OceanBase是淘宝自主研发的分布式数据库,支持跨行跨表事务,并在OLTP中具有良好的性能,但是对于OLAP业务,其性能并不高.本文将以OceanBase为例,介绍如何利用反范式设计分布式数据库模式,以改善OLAP的查询性能,并通过在OceanBase上部署TPC-H基准评测验证了反范式模式设计的有效性和高效性.     

OceanBase一致性与可用性分析

OceanBase作为一个面向海量数据查询的分布式数据库,支持关系查询和跨行跨表事务,同时保证了一致性和可用性.本文在详细阐述了一致性与可用性的背景基础上,根据传统数据库和分布式数据库保证一致性和可用性的协议和策略,对OceanBase的一致性和可用性架构进行分析.最后,探讨了基于OceanBase架构演变而来的3种架构的实现方案.     

分布式数据库系统中的并行分组聚合实现

伴随着新型互联网应用中对数据统计、分析需求的增大,分组、聚合已经成为数据分析应用中出现频率最多的请求之一.本文就类OLAP(on-line transaction processing)应用中常见的Aggregation、GroupBy原理进行了分析.针对一般事务型数据库采用排序分组的缺点,提出了两种Hash分组聚合的具体实现方案,并提出一种利用统计信息动态决策Hash桶数、Hash分组聚合方案的策略.根据分布式数据库多副本的特点,本文又提出了一种Hash分组聚合节点级的并行方案.最后,在开源数据库OceanBase进行了具体的实现.通过实验证明,本文提出的利用统计信息动态决策Hash分组聚合方案相比排序分组具有极大的效率提升.     

一种面向海量分布式数据库的嵌套查询策略

面向大数据分析和处理的NoSQL数据库具有非常好的读写性能和可扩展性,但是无法支持完整的SQL查询和跨行跨表的事务,对于传统的以关系数据库为主的金融业务在应用上有所限制.OceanBase是面向海量数据查询的分布式数据库,结合了关系数据库和非关系数据库的优势,同时支持关系查询和跨行跨表事务,具有可扩展性.但是,目前OceanBase只支持简单的、非嵌套子查询的SQL语句,无法很好地支持金融应用.本文在研究OceanBase架构和查询策略的基础上,提出了一种基于BloomFilter和HashMap的查询策略,实验表明该策略能够提高和改善现有查询策略的不足,在实现嵌套查询的基础上,可提高查询性能.     

分布式数据库中重复查询的半连接算法研究

 分布式数据库系统中查询优化处理是非常重要的一环.在分析了基于半连接查询优化算法的同时,结合分布式数据库应用中存在的大量的重复查询操作的特点,提出了一种基于重复查询的半连接算法,利用存储少量的中间结果,从而缩短了计算时间和传输时间,提高了查询效率.     

对等式查询在分布式数据库中的应用

由于数据的分布和冗余使得分布式查询处理更加复杂,因此如何进行查询优化是分布式数据库系统中的重要问题．现有的查询方法主要有集中式查询、全局用户查询、遗传算法、回溯法等,但这些方法的查询效率都较低．针对这个问题,本文根据分布式数据库的特点,首先采用诱导分割对数据进行合理的分布,然后在回溯法的基础上提出了对等式查询思想,并给出一种优化查询方案．该方案根据数据特点构造相关联接表,查询时首先从联接表中得到相关信息,从而缩小范围并迅速得到查询结果,有效地提高了分布式数据库系统的查询效率。     

分布式数据库系统中的查询优化

分布式数据库系统由于数据的分布和冗余使得分布式查询处理增加了许多新的内容和复杂性,因此分布式查询处理的优化显得尤为重要.本文简要介绍分布式查询优化的特点和目标,并针对分布式数据库系统的查询优化,讲述三个典型的算法:INGRES算法、System R*算法、SDD-1算法,并对SDD-1算法进行改进.     

基于布谷鸟过滤器的外连接算法

近十几年,由于互联网的发展异常迅猛,数据规模不断增加,分布式数据库的分析效率亟待优化,其中连接操作更是分布式数据库的主要性能瓶颈.外连接在商业中运用非常广泛,分布式外连接算法涉及到大量的网络传输,严重影响系统性能,虽然有一些研究针对内连接进行了优化,但这些优化方法并不能直接应用于外连接.文章中基于Cuckoo filter(布谷鸟过滤器)的分布式外连接算法,通过构建Cuckoo filter对数据进行筛选和分配,减少数据传输量的同时,提高执行的并行度,使得查询性能得到提升.通过在Ginkgo上实现该算法,并加以充分实验,验证得出该算法提高了分布式外连接操作的效率.