一种面向海量分布式数据库的嵌套查询策略

面向大数据分析和处理的NoSQL数据库具有非常好的读写性能和可扩展性,但是无法支持完整的SQL查询和跨行跨表的事务,对于传统的以关系数据库为主的金融业务在应用上有所限制.OceanBase是面向海量数据查询的分布式数据库,结合了关系数据库和非关系数据库的优势,同时支持关系查询和跨行跨表事务,具有可扩展性.但是,目前OceanBase只支持简单的、非嵌套子查询的SQL语句,无法很好地支持金融应用.本文在研究OceanBase架构和查询策略的基础上,提出了一种基于BloomFilter和HashMap的查询策略,实验表明该策略能够提高和改善现有查询策略的不足,在实现嵌套查询的基础上,可提高查询性能.     

OceanBase一致性与可用性分析

OceanBase作为一个面向海量数据查询的分布式数据库,支持关系查询和跨行跨表事务,同时保证了一致性和可用性.本文在详细阐述了一致性与可用性的背景基础上,根据传统数据库和分布式数据库保证一致性和可用性的协议和策略,对OceanBase的一致性和可用性架构进行分析.最后,探讨了基于OceanBase架构演变而来的3种架构的实现方案.     

OceanBase分布式存储引擎

OceanBase是一个分布式关系型数据库,其目的是存储海量的高速增长的结构化数据,以廉价的服务器集群实现高可用、高可扩展、高性价比的服务.OceanBase采用内外存混合存储的模式,使用内存存储增量(新写入)数据,而使用外存存储基线(只读)数据,并将基线数据划分成大致等量的数据分片并采用分布式B+tree的形式将分片存放在很多的数据服务器上,利用定时合并机制不断将增量数据与基线数据融合.本文介绍OceanBase基线数据存储的基本结构和分布方式、定时合并机制,以及基线数据在OceanBase中的具体存储格式的设计和实现.     

OceanBase高可用方案

传统关系数据库基于共享存储或者主备同步的方式实现高可用.这些方案要么依赖硬件的高可用,但成本高昂;要么无法同时满足强一致性和高可用性.OceanBase将云计算和数据库两种技术有机地融合起来,实现了基于Paxos协议的高可用方案.该方案构建在普通服务器上,成本低廉,且同时满足强一致性和高可用性.     

面向OLAP应用的OceanBase模式设计

随着大数据时代的来临,用户查询需求也越来越复杂,对数据库的可扩展性和SQL查询效率都提出了很高的要求.OceanBase是Alibaba研发的适应互联网规模的关系型分布式数据库,能够做到可扩展、低成本、高可用,并能应用到很多业务场景,包括OLTP和OLAP.然而,当前发布的最新OceanBase只支持主键索引,还不能支持二级索引.其次,OceanBase在连接上没有并行处理,使得查询效率较低.因此,为了能够使用主键索引及减少连接来加快查询速率,OceanBase模式设计是必要的.本文主要以TPC-H的22个查询为OLAP的研究案例,分析传统数据库的模式设计,并提出OceanBase分布式数据库下的模式设计规则,最后将会通过实验来验证这套模式设计规则的有效性.     

基于Raft一致性协议的高可用性实现

随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供单集群和多集群两种部署模式.但多集群部署模式下的可用性较低,无法满足关键性应用的需求,包括:发生故障时不支持主备集群的自动切换;主备集群之间无法保证日志的强同步.针对上述问题,本文分析了传统数据库的高可用方案,针对OceanBase架构的特点,结合了Raft算法的思想,设计并实现了基于时间戳的分布式选举模块、自动化的集群切换模块和基于QUORUM策略的日志强同步模块.经实验验证,以上模块的实现能够提高系统整体的可用性.     

基于SaaS的数字水表远程监控系统的设计

本文基于SaaS模式的数字水表远程监控系统总体设计方案。设计了系统的总体架构,将系统分为水表、中央服务器及终端用户三层,水表通过GPRS技术建立与中央服务器的双向连接,终端用户通过互联网使用该系统。设计了基于多租户的数据存储架构和应用可配置,将SaaS技术在监控系统中进行了实现。系统实际效果达到了预期目的。相关技术的创新开发可为其它计量仪表所借鉴。     

面向OceanBase的存储过程设计与实现

存储过程是数据库管理系统的一个重要特性,它是标准结构化查询语言(Structured Query Language,SQL)的一个扩展.OceanBase是一个新型的支持海量数据处理的分布式数据库系统,但现有OceanBase的开源版本不支持存储过程功能,影响了该系统在企业和机构中的推广和应用.本文在深度分析存储过程原理以及OceanBase查询处理策略的基础上,设计并实现了支持PL/SQL(Procedural Language/SQL)的存储过程机制.     

分布式环境中数据库模式设计实践

近年来,数据规模呈爆炸式增长,使得传统集中式数据库难以满足业务需求.而分布式数据库可以将数据存储在多个节点上,具有更好的扩展性,从而可以支撑业务的不断增长.目前,许多企业已经开发出了成功的分布式数据库产品,例如Google Spanner、淘宝的OceanBase等.传统数据库模式设计中,三大范式(1NF、2NF和3NF)及其扩展范式能够减少数据冗余和更新异常,并保证数据的完整性.然而,在分布式架构下,严格遵循范式的模式设计可能带来查询效率较低等问题,而使用反范式模式设计方法通常可以有效提高查询效率.OceanBase是淘宝自主研发的分布式数据库,支持跨行跨表事务,并在OLTP中具有良好的性能,但是对于OLAP业务,其性能并不高.本文将以OceanBase为例,介绍如何利用反范式设计分布式数据库模式,以改善OLAP的查询性能,并通过在OceanBase上部署TPC-H基准评测验证了反范式模式设计的有效性和高效性.     

新型OLTP系统的技术与实践

自20世纪70年代以来,硬件已经得到了巨大的发展,高性能服务器大多数配备TB级的容量、数十个物理核.然而,传统的事务型系统仍旧是基于磁盘存储,运行在物理核数较少的硬件环境上,无法有效地、充分地利用新硬件的运算能力.另一方面,随着互联网的发展,应用对事务型系统的性能有了更高的要求.部分应用在极端情况下需要服务百万甚至千万的并发访问,然而传统的数据库系统并不能支撑这些高并发、高吞吐率的应用.因此,在高性能硬件上重新设计与实现事务型数据库系统已成为重要的研究热点.本文将重点介绍在大内存、多核环境下,事务型数据库系统在各个方面最新的研究工作,并结合开源数据库系统OceanBase,综合介绍新型OLTP(on-line analytical processing)系统的设计.     

用制度传承文明让制度彰显力量——如何制定有效制度

人类文明的历史,实际上就是制度发展创新的历史,人类历史上的每一次跨越,都离不开制度的创新。如果说,文化是民族的精神生命,那么,制度就是民族精神生命的DNA。面对全球化浪潮和改革开放深入发展的态势,制定有效制度,促进制度创新,既是弘扬中华文化的题中之义,又是当代中国人振兴中华的光荣使命。     

山东省公路货运系统管理模式的探讨

运用系统论的观点,提出了公路货运市场系统的概念,通过系统现状分析,提出了我省公路货运系统管理模式及其实现的条件。     

企业系统形态分类及其演化

本文通过对企业系统的结构－环境－行为分析，对企业系统形态进行了基本分类，并分析了企业系统形态间的基本演化规律。在此基础上，对我国当前企业系统形态转化的必要性、可能性，以及所面临的问题与对策进行了探讨。     

多媒体希望MIS信息系统的设计与开发

按照软件工程的要求和开发步骤具体探讨图书资料管理子系统的设计思想,其开发思路完全适用于设备管理子系统的设计与开发。     

创建科技新体制的几项重要任务

文章论述了创建科技新体制的几项重要任务其中包括：建立宏观科技调控体系、研究开发体系、技术进步体系及有利于科技进步的其它支撑体系。     

基于Web的社区服务信息系统的分析与设计

社区信息化是是电子政务工程的重要组成部分。本文详细介绍了一个基于B/S结构的社区政务系统,分析了该系统的总体架构,重点对系统的系统结构和主要功能进行了分析说明。最后还给出了系统的安全策略。     

一个对合系的一般生成元与有限维可积系统

共焦对合系对确定有限维Hamiltonian系统的可积结构起着重要的作用，与有限维可积系统相联系的许多对合系可由共焦生成元生成．据此，提出一个一般的对合系的生成元．作为应用，导出一类新的Liouville意义下的有限维完全可积系统．     

城市旧城区排水体制选择

通过分析排水工程实际中遇到的情况,探讨了排水体制存在的问题,提出在城市旧城区中应推行合流制排水系统。     

广义不确定性系统概念及其基本原理

给出了包含自然系统和人为系统的复合系统定义．以及确定性系统、不确定性系统的定义．论述了随机系统、模糊系统、粗糙系统、灰色系统、未确知系统、泛灰系统的内涵;进而引入了广义不确定性系统的概念,它涵盖了复合系统和广义泛灰系统．论述了广义不确定性系统的7个基本原理：给出了广义不确定性系统的基本结构,为综合研究客观存在的各类系统奠定了理论基础．     

时滞系统的自治性

研究了一类含有一个滞量但不显含t的时滞系统,给出了使之化为时变系统的条件,从一个侧面反映出了时滞系统与非时滞系统的本质区别.最后讨论了几本专著中相关定理的缺陷,并举例加以说明.