面向OceanBase的存储过程实现技术研究

存储过程是一段被命名后保存在数据库服务器端,并预先编译好的代码,可以减少前台应用程序和后台数据库间的网络传输量.本文主要研究基于静态语言和动态语言,两种典型的存储过程实现方法,来阐述存储过程实现的基本原理.并基于此,进一步探讨了在OceanBase主存数据库服务器中添加存储过程模块的解决方案和技术难点.     

OceanBase分布式存储引擎

OceanBase是一个分布式关系型数据库,其目的是存储海量的高速增长的结构化数据,以廉价的服务器集群实现高可用、高可扩展、高性价比的服务.OceanBase采用内外存混合存储的模式,使用内存存储增量(新写入)数据,而使用外存存储基线(只读)数据,并将基线数据划分成大致等量的数据分片并采用分布式B+tree的形式将分片存放在很多的数据服务器上,利用定时合并机制不断将增量数据与基线数据融合.本文介绍OceanBase基线数据存储的基本结构和分布方式、定时合并机制,以及基线数据在OceanBase中的具体存储格式的设计和实现.     

面向OLAP应用的OceanBase模式设计

随着大数据时代的来临,用户查询需求也越来越复杂,对数据库的可扩展性和SQL查询效率都提出了很高的要求.OceanBase是Alibaba研发的适应互联网规模的关系型分布式数据库,能够做到可扩展、低成本、高可用,并能应用到很多业务场景,包括OLTP和OLAP.然而,当前发布的最新OceanBase只支持主键索引,还不能支持二级索引.其次,OceanBase在连接上没有并行处理,使得查询效率较低.因此,为了能够使用主键索引及减少连接来加快查询速率,OceanBase模式设计是必要的.本文主要以TPC-H的22个查询为OLAP的研究案例,分析传统数据库的模式设计,并提出OceanBase分布式数据库下的模式设计规则,最后将会通过实验来验证这套模式设计规则的有效性.     

面向Cedar的列存储设计与实现

随着数据规模和分析需求的日益增长,数据库面向联机分析处理(On-Line Analytical Processing,OLAP)应用的查询性能变得愈发重要.Cedar是一款基于读写分离架构的分布式关系数据库,由于它主要面向联机事务处理(On-Line Transaction Processing,OLTP)业务,在面对分析处理负载时性能表现不足.对于这个问题,很多研究表明列存储技术能够有效地提高I/O(Input/Output)效率,进而提升分析处理的性能.在Cedar上提出了一种列存储机制,分析了其适用场景并针对这种机制改进了Cedar的数据扫描和批量更新方法.实验结果表明,该机制能大幅度地提升Cedar分析处理性能,并且对事务处理性能的影响控制在10%以内.     

Sybase存储过程生成工具的设计与实现

通过几个实例介绍Sybase存储过程的基本组成,然后分析Sybase系统表。依据系统表所提供的信息,作为生成工具生成存储过程的基础,最后给出生成含SELECT语句的存储过程的算法。     

SPMutation:存储过程变异工具的设计与实现

针对存储过程混合了SQL语句以及流程控制等语句的特点,设计了一个变异工具SPMutation.定义了一个覆盖存储过程语法规则的变异算子集合,该算子集包含22个算子,能够对存储过程进行元素级、表达式级和语句级三种不同层次的变异操作.SPMutation通过配置变异算子集文件可以实现对存储过程新的语法规则的错误模拟,具有良好的可扩展性.实验表明:SPMutation能有效地生成变异体集合,生成的等价变异体数量少于总变异体数15%;通过变异测试过程完善测试用例集,可以使测试用例集的变异分数高于0.9,并趋近于1;对存储过程的变异测试可以在有限的时间内完成.     

面向CLAIMS基于Smart物化策略的列存储设计与实现

物化是列存储数据库查询中必不可少的操作,物化策略和物化技术在查询执行过程中起着至关重要的作用.因此设计一种针对列存储数据库的物化策略尤为重要.提前物化生成的元组中存在无关属性;而延迟物化对选择率较高的查询可能无法优化其性能,且某些列会被访问多次.针对以上缺点,本文提出了有别于上述两种策略的策略——Smart物化策略.本文提出了在逻辑查询计划中使用结构——projection,该结构是由用户选取查询所需的属性来生成的,相当于对全表进行物理上的切分;在查询开始时,能减少直接加载到内存的数据量,避免额外的开销.在构建逻辑查询计划过程中,Smart物化策略将projection作为扫描操作标准来对数据进行按列划分,根据一组语句集中对列访问的相关性来对下一次查询所需要的列进行预测,将所需要的列加入到一个最合适的projection中来进行物化.本文通过在分布式内存数据库CLAIMS上使用TPC-H数据集来验证其有效性.     

面向高性能计算的混合存储系统设计与实现

提出了一种采用RAM-disk的混合存储系统,在计算节点的并行文件系统的元数据服务器和对象存储服务器组件中设置不同用途的RAM-disk,用于缓存各种访问模式的文件并提高系统的读写性能.结果表明,采用RAM-disk的混合存储系统可以明显提高系统的读写性能,同时可提高系统的可用性和可维性.     

应用程序存储设计研究与实现

文章在对影响磁盘性能的关键因素进行分析的基础上,重点研究了基本输入输出对应用程序存储容量设计的影响,给出了应用程序存储容量设计的基本方法.     

OceanBase一致性与可用性分析

OceanBase作为一个面向海量数据查询的分布式数据库,支持关系查询和跨行跨表事务,同时保证了一致性和可用性.本文在详细阐述了一致性与可用性的背景基础上,根据传统数据库和分布式数据库保证一致性和可用性的协议和策略,对OceanBase的一致性和可用性架构进行分析.最后,探讨了基于OceanBase架构演变而来的3种架构的实现方案.     

OceanBase高可用方案

传统关系数据库基于共享存储或者主备同步的方式实现高可用.这些方案要么依赖硬件的高可用,但成本高昂;要么无法同时满足强一致性和高可用性.OceanBase将云计算和数据库两种技术有机地融合起来,实现了基于Paxos协议的高可用方案.该方案构建在普通服务器上,成本低廉,且同时满足强一致性和高可用性.     

OceanBase内存事务引擎

OceanBase是一个分布式可扩展的关系数据库,采用基线静态数据与动态增量数据分离存储的架构设计.其内存事务引擎提供了动态数据的存储、写入和查询服务,用户写入的数据被存储在内存中称为Memtable的数据结构中.Memtable及其周边的事务管理结构共同组成了内存数据库引擎,来实现事务的ACID特性.在事务引擎中,通过多版本的并发控制技术实现读写相互不阻塞,实现只读事务满足"快照隔离"级别;通过经典的行锁方式实现多个写之间的并发控制,实现最高满足"已提交读"的事务隔离级别.     

Java中Oracle存储过程的使用方法研究

分析在Java中如何调用oracle存储过程来优化数据库访问并给出实例.具体包括使用存储过程的优点、使用存储过程与SQL语句的性能比较、如何使用带参数的存储过程等.最后给出在Java中使用oracle存储过程的几点建议.     

存储过程在ASP/ADO中的应用

使用存储过程可以优化对数据库的访问，本文详细介绍存储过程在ASP／ADO中的应用，并通过一个实例说明如何在ASP页面中使用存储过程。     

分布式环境中数据库模式设计实践

近年来,数据规模呈爆炸式增长,使得传统集中式数据库难以满足业务需求.而分布式数据库可以将数据存储在多个节点上,具有更好的扩展性,从而可以支撑业务的不断增长.目前,许多企业已经开发出了成功的分布式数据库产品,例如Google Spanner、淘宝的OceanBase等.传统数据库模式设计中,三大范式(1NF、2NF和3NF)及其扩展范式能够减少数据冗余和更新异常,并保证数据的完整性.然而,在分布式架构下,严格遵循范式的模式设计可能带来查询效率较低等问题,而使用反范式模式设计方法通常可以有效提高查询效率.OceanBase是淘宝自主研发的分布式数据库,支持跨行跨表事务,并在OLTP中具有良好的性能,但是对于OLAP业务,其性能并不高.本文将以OceanBase为例,介绍如何利用反范式设计分布式数据库模式,以改善OLAP的查询性能,并通过在OceanBase上部署TPC-H基准评测验证了反范式模式设计的有效性和高效性.