OceanBase一致性与可用性分析

OceanBase作为一个面向海量数据查询的分布式数据库,支持关系查询和跨行跨表事务,同时保证了一致性和可用性.本文在详细阐述了一致性与可用性的背景基础上,根据传统数据库和分布式数据库保证一致性和可用性的协议和策略,对OceanBase的一致性和可用性架构进行分析.最后,探讨了基于OceanBase架构演变而来的3种架构的实现方案.     

一种面向海量分布式数据库的嵌套查询策略

面向大数据分析和处理的NoSQL数据库具有非常好的读写性能和可扩展性,但是无法支持完整的SQL查询和跨行跨表的事务,对于传统的以关系数据库为主的金融业务在应用上有所限制.OceanBase是面向海量数据查询的分布式数据库,结合了关系数据库和非关系数据库的优势,同时支持关系查询和跨行跨表事务,具有可扩展性.但是,目前OceanBase只支持简单的、非嵌套子查询的SQL语句,无法很好地支持金融应用.本文在研究OceanBase架构和查询策略的基础上,提出了一种基于BloomFilter和HashMap的查询策略,实验表明该策略能够提高和改善现有查询策略的不足,在实现嵌套查询的基础上,可提高查询性能.     

数据存储与处理分离架构下的子链接消除及优化

在数据存储与处理分离架构下的NewSQL数据库中实现了子链接消除的功能,使其支持大部分子链接的执行,减少了从集中式数据库向分布式数据库迁移所需要的SQL改造代价,使得NewSQL数据库可以在电信、银行等传统行业投入使用.同时针对数据存储与处理分离的架构,对子链接消除之后的执行进行了优化,尽量减少了不同服务器之间数据的传输量.实现的结果使得NewSQL成功支持了大部分的子链接,且子链接执行效率也得到了提升.     

分布式环境中数据库模式设计实践

近年来,数据规模呈爆炸式增长,使得传统集中式数据库难以满足业务需求.而分布式数据库可以将数据存储在多个节点上,具有更好的扩展性,从而可以支撑业务的不断增长.目前,许多企业已经开发出了成功的分布式数据库产品,例如Google Spanner、淘宝的OceanBase等.传统数据库模式设计中,三大范式(1NF、2NF和3NF)及其扩展范式能够减少数据冗余和更新异常,并保证数据的完整性.然而,在分布式架构下,严格遵循范式的模式设计可能带来查询效率较低等问题,而使用反范式模式设计方法通常可以有效提高查询效率.OceanBase是淘宝自主研发的分布式数据库,支持跨行跨表事务,并在OLTP中具有良好的性能,但是对于OLAP业务,其性能并不高.本文将以OceanBase为例,介绍如何利用反范式设计分布式数据库模式,以改善OLAP的查询性能,并通过在OceanBase上部署TPC-H基准评测验证了反范式模式设计的有效性和高效性.     

校园网格环境下异构数据库的集成与分布式查询

针对校园数据网格的分布式异构数据库环境,提出了一种基于网格服务的异构数据库访问和集成方法。该系统为用户提供一致的虚拟数据视图和分布式数据查询支持。在分析和研究现有分布式数据库查询技术的基础上,介绍了一种适用于网格环境下海量数据的连接操作算法,算法依据分布式数据库的固有并行性,利用数据划分来提高查询的并行处理程度,以改进响应时间。理论分析表明,该算法在减少网络通信开销和降低响应时间方面具有较好的性能。     

支持地铁车体开发的工程数据库系统

在车体产品数据模块和数据库功能分析的基础上,建立以SQL Server 2000为后台数据库,以Java为W eb Service开发工具的工程数据库系统,完成前台功能化查询、可视化查询和参数化查询的功能设计.数据库内存储所有已建CAD模型和CAE模型的一般信息、分析结果信息及模型指针.该数据库系统管理设计过程、图纸文件、设计结果和分析结果,支持产品的设计变更、审批和发布,实现快速设计信息的检索与查询.实际应用表明,该系统能有效地管理车体开发中的产品数据.     

文件格式存储大数据的SQL访问架构设计与实现

本文介绍通过移植和修改SQLite数据库引擎来实现File SQL架构,支持对以文件格式存储数据的SQL访问方法,用以快速、准确访问大数据量文件,解决了各种数据管理系统中对于大数据量文件的查询,修改等一系列的访问难题。     

基于HBase的车联网海量数据查询

针对如何高效存储并快速查询海量数据问题,提出一种基于分布式数据库HBase的车联网海量数据存储查询方案.首先对实测交通数据进行数据预处理,剔除劣质数据并对车辆定位信息做地图匹配;其次,针对车联网数据特征和查询应用场景设计HBase表结构,包括列族与行键设计,使数据得到合理的分布;最后,根据行键结构设计多种车联网交通信息的查询模式.实验表明,该行键方案在查询耗时上相比没有行键设计的方案具有明显优越性.     

基于HBase的分布式空间数据库技术

针对在大型地理信息系统(GIS)中, 需要对海量矢量据和栅格数据进行存储并对高并发的用户查询请求提供高效响应, 传统的设计方案难以满足需求的问题, 提出一种使用基于内存存储的分布式数据库HBase存储空间数据, 并设计基于GeoHash的分布式空间索引, 实现了矢量空间数据与栅格空间数据的分布式存储与快速查询. 实验表明, 该方法提升了海量空间数据的查询速度.     

基于Raft一致性协议的高可用性实现

随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供单集群和多集群两种部署模式.但多集群部署模式下的可用性较低,无法满足关键性应用的需求,包括:发生故障时不支持主备集群的自动切换;主备集群之间无法保证日志的强同步.针对上述问题,本文分析了传统数据库的高可用方案,针对OceanBase架构的特点,结合了Raft算法的思想,设计并实现了基于时间戳的分布式选举模块、自动化的集群切换模块和基于QUORUM策略的日志强同步模块.经实验验证,以上模块的实现能够提高系统整体的可用性.