OceanBase关系数据库架构

传统关系数据库本质上是单机系统,通常采用昂贵的高端服务器和高端存储,难以应对互联网应用的高可扩展、高性能、高可用和低成本的挑战.OceanBase是阿里巴巴研制的开源分布式无共享关系数据库,采用主流通用PC服务器,很好地满足了互联网对关系数据库的需求.OceanBase已经用于淘宝、天猫和支付宝的多个生产系统.本文介绍了OceanBase关系数据库系统的架构、目标和系统特点,特别分析了基于该系统架构的读写事务流程.     

面向OLAP应用的OceanBase模式设计

随着大数据时代的来临,用户查询需求也越来越复杂,对数据库的可扩展性和SQL查询效率都提出了很高的要求.OceanBase是Alibaba研发的适应互联网规模的关系型分布式数据库,能够做到可扩展、低成本、高可用,并能应用到很多业务场景,包括OLTP和OLAP.然而,当前发布的最新OceanBase只支持主键索引,还不能支持二级索引.其次,OceanBase在连接上没有并行处理,使得查询效率较低.因此,为了能够使用主键索引及减少连接来加快查询速率,OceanBase模式设计是必要的.本文主要以TPC-H的22个查询为OLAP的研究案例,分析传统数据库的模式设计,并提出OceanBase分布式数据库下的模式设计规则,最后将会通过实验来验证这套模式设计规则的有效性.     

基于分布式系统OceanBase的并行连接

随着应用数据的飞速增长以及分布式数据库系统的不断涌现,数据存储在物理独立的节点已经成为一种趋势.在这种情况下,当应用需要进行复杂join查询时,就会不可避免地产生非常多的网络传输代价.所以,如何提高分布式系统中join查询的效率成为研究热点.本文在分析分布式数据库系统OceanBase执行nested loop join、Hash join、semi-join等算法的基础上,提出了合理利用硬件资源采用多线程并行执行join操作的优化思想,并在OceanBase数据库中分别对nested loop join、Hash join、semi-join等算法进行了并行改造.实验结果表明,在一定线程数内join算法执行效率与并行度呈正相关.     

OceanBase中基于布隆过滤器的连接算法

在大数据时代,去IOE运动的推进以及双11等活动的兴起对分布式数据库系统提出了更高的要求.OceanBase是阿里巴巴集团自主研发的开源分布式数据库,支持海量数据跨行跨表事务,但是对复杂查询的处理性能仍有待提高,其中连接操作带来的网络传输严重影响了数据库的性能.本文提出了一种基于布隆过滤器的连接算法,通过构建布隆过滤器对右表数据进行过滤,减少了不必要的数据传输开销,降低了数据处理带来的内存资源的消耗.本文在OceanBase上实现了该算法,并通过实验证明,该算法极大提高了连接操作的效率.     

高可用数据库系统中的分布式一致性协议

可用性和一致性是分布式数据库系统中的两个重要特性和基础,需要借助分布式一致性协议来保证.保证一致性需要使用一致性协议为并发的事务更新操作确定一个全局的执行顺序,并协调局部状态和全局状态不断地达到动态一致.可用性的实现,需要一致性协议协调多副本之间的一致来实现主备节点的无缝切换.可见,分布式一致性协议是高可用数据库系统的实现基础.本文梳理、综述了经典的分布式一致性协议以及一致性协议在高可用数据库系统中的主要应用,并对分布式一致性协议的实现代价和局限性进行了分析与评估.     

一种维护分布式数据库数据一致性的方法

在分布式数据库系统中,并发控制是分布式事务管理器的的基本任务之一,它能够为并发的事务产生一个可串行化调度,但即使每个局部调度都是可串行化的,也不能保证分布式数据库的一致性.提出了在每一个局部站点上设置事务登记表的方法,使子事务间能够按照同一种串行化顺序执行,保证了多副本一致性.     

分布式环境中数据库模式设计实践

近年来,数据规模呈爆炸式增长,使得传统集中式数据库难以满足业务需求.而分布式数据库可以将数据存储在多个节点上,具有更好的扩展性,从而可以支撑业务的不断增长.目前,许多企业已经开发出了成功的分布式数据库产品,例如Google Spanner、淘宝的OceanBase等.传统数据库模式设计中,三大范式(1NF、2NF和3NF)及其扩展范式能够减少数据冗余和更新异常,并保证数据的完整性.然而,在分布式架构下,严格遵循范式的模式设计可能带来查询效率较低等问题,而使用反范式模式设计方法通常可以有效提高查询效率.OceanBase是淘宝自主研发的分布式数据库,支持跨行跨表事务,并在OLTP中具有良好的性能,但是对于OLAP业务,其性能并不高.本文将以OceanBase为例,介绍如何利用反范式设计分布式数据库模式,以改善OLAP的查询性能,并通过在OceanBase上部署TPC-H基准评测验证了反范式模式设计的有效性和高效性.     

分布式非一致性数据的聚集查询

结合原有的概率数据库技术,提出了一种新的基于聚类的非一致性数据的概率方法,给出了非一致性数据的元组概率计算方法和基本的查询重写技术,对于有聚集的查询考虑了合适的元组概率、区间值和期望值.考虑了从非一致性数据的粒度的角度去理解方法的适应性,方法不要求程序的预处理,重写能被商业数据库系统有效地优化和执行.使用TPC-H决策支持基准的数据和查询比较系统的重写策略,实验表明方法是有效的.     

产品设计过程的可用性研究与应用

简述了可用性和可用性工程的定义以及常用的可用性工程方法，重点介绍了在反复、周期性的产品设计过程中引入可用性工程的方法，以提高产品的可用性程度。同时介绍了可用性测试方法及其应用实例。     

机群系统的可用性分析计算

结合设计应用于金融领域的,由曙光天阔服务器搭建的高可用机群系统,从硬件、系统软件和应用服务软件三个方面进行分析,提出对系统可用性进行估算的一种方法,计算出所设计的高可用机群系统的可用性,证明了该高可用机群系统的可用性达到99.999%.     

OceanBase高可用方案

传统关系数据库基于共享存储或者主备同步的方式实现高可用.这些方案要么依赖硬件的高可用,但成本高昂;要么无法同时满足强一致性和高可用性.OceanBase将云计算和数据库两种技术有机地融合起来,实现了基于Paxos协议的高可用方案.该方案构建在普通服务器上,成本低廉,且同时满足强一致性和高可用性.     

面向OceanBase的存储过程设计与实现

存储过程是数据库管理系统的一个重要特性,它是标准结构化查询语言(Structured Query Language,SQL)的一个扩展.OceanBase是一个新型的支持海量数据处理的分布式数据库系统,但现有OceanBase的开源版本不支持存储过程功能,影响了该系统在企业和机构中的推广和应用.本文在深度分析存储过程原理以及OceanBase查询处理策略的基础上,设计并实现了支持PL/SQL(Procedural Language/SQL)的存储过程机制.     

OceanBase内存事务引擎

OceanBase是一个分布式可扩展的关系数据库,采用基线静态数据与动态增量数据分离存储的架构设计.其内存事务引擎提供了动态数据的存储、写入和查询服务,用户写入的数据被存储在内存中称为Memtable的数据结构中.Memtable及其周边的事务管理结构共同组成了内存数据库引擎,来实现事务的ACID特性.在事务引擎中,通过多版本的并发控制技术实现读写相互不阻塞,实现只读事务满足"快照隔离"级别;通过经典的行锁方式实现多个写之间的并发控制,实现最高满足"已提交读"的事务隔离级别.     

分布式系统动态配置一致性算法的实现

在基于构件的分布式系统中进行动态配置是目前研究的重点与热点,动态配置必须保证系统的一致性.该文提出一种基于事务及其静止状态理论的动态配置一致性算法,采用等待方式驱动目标构件进入静止状态,即目标构件启动和参与的所有事务只可能处于未启动状态或已经正常完成状态,使得对目标构件实施任何动态配置意图都不会破坏事务的完整性,从而在所有动态配置场景下严格保证行为一致性.在基于CORBA的模型原型实现中对该算法的性能测试验证了其可行性.     

实时数据库中的时序一致性

实时数据库是实时系统中极其重要的一个系统软件 ,时间相关特性决定了系统能否满足实时应用需求 文中通过对实时数据库时序一致性的讨论 ,说明了实时数据库绝对时序一致性和相对时序一致性的概念和定义 并提出了在实时数据库系统开发中用优先级解决绝对时序一致性和用数据视图解决相对时序一致性的方法 通过解决系统的时序一致性 ,保证了实时数据库满足应用的实时数据一致性问题     

一种维护分布式数据库中数据一致性的方法

通过对几种维护分布式数据库一致性方法的优缺点的比较分析，提出一种基于事务日志表的数据一致性的维护方法，给出一个简单例子的部分实现．这种方法较成功地运用于黑龙江省公路养路费微机管理系统的实施中．     

The Reliability Design and Availability Analysis of a Distributed Storage System

Current distributed parallel file systems and database systems can not satisfy the demands of data-intensive applications, such as storage capacity, access performance, reliability, scalability, and so on. Cluster-based storage sys tems have some shortcomings, too. To solve this kind of problems, a novel PC storage cluster solution is proposed, a distributed storage system based on 3-tiered agent architecture is designed, the system reliability model based on the masterslave backup mode is built, and the system availability is analyzed with the Markov model. According to the system availability formula and the values of the system parameters, the novel system can provide higher reliability and availability to satisfy users＇ requirements,